常用爬虫框架汇总

常用框架列表

名称	网站	语言	简介
puppeteer	https://github.com/puppeteer/puppeteer	nodejs	Google 出品的Headless 浏览器
scrapy	https://www.osgeo.cn/scrapy/intro/overview.html https://docs.scrapy.org/en/latest/intro/tutorial.html	python	python里很强大的爬虫框架
gocolly	https://github.com/gocolly/colly	go	go 语言的
ruby	https://github.com/afeiship/generator-tiny-rails	ruby	个人自己的一个爬虫模板
cheerio	https://cheerio.js.org/	nodejs	nodejs平台的一个 js 选择器
spider-flow	https://github.com/ssssssss-team/spider-flow	java	新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。