小编收集了一些比较高效的Python爬虫框架。分享给大家。1.ScrapyScrapy是一个为爬取网站数据，提取结构化数据而编写的应用框架。它可用于一系列程序，包括数据挖掘、信息处理或存储历史数据。.使用此框架，您可以轻松爬取亚马逊产品信息等数据。项目地址：https://scrapy.org/2.PySpiderpyspider是一个用python实现的强大的网络爬虫系统。可以在浏览器界面编写脚本，实时调度功能，查看爬取结果。终端使用常用的数据库存储爬取结果，还可以定时设置任务和任务优先级。项目地址：https://github.com/binux/pyspider3.CrawleyCrawley可以高速爬取对应网站的内容，支持关系型和非关系型数据库，数据可以导出为JSON、XML等。项目地址：http://project.crawley-cloud.com/4.PortiaPortia是一个开源的可视化爬虫工具，让你无需任何编程知识也能爬取网站！只需在您感兴趣的页面上添加注释，Portia就会创建一个蜘蛛来从相似的页面中提取数据。项目地址：https://github.com/scrapinghub/portia5.NewspaperNewspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。项目地址：https://github.com/codelucas/newspaper6.BeautifulSoupBeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库。它可以通过您喜欢的转换器文档方式实现惯用的文档导航、搜索和修改。BeautifulSoup将为您节省数小时甚至数天的工作时间。项目地址：https://www.crummy.com/software/BeautifulSoup/bs4/doc/7.GrabGrab是一个用于构建网络爬虫的Python框架。使用Grab，您可以构建各种复杂的网络抓取工具，从简单的5行脚本到处理数百万网页的复杂异步网站抓取工具。Grab提供了一个API，用于执行网络请求和处理接收到的内容，例如与HTML文档的DOM树交互。项目地址：http://docs.grablib.org/en/latest/#grab-spider-user-manual8。ColaCola是一个分布式爬虫框架。对于用户来说，只需要写几个具体的功能，不需要关心分布式操作的细节。任务自动分配到多台机器上，整个过程对用户透明。项目地址：https://github.com/chineking/cola
