数据是创造和决策的原材料，高质量的数据才有价值。使用爬虫，可以获取大量有价值的数据，经过分析可以有很大的价值，例如：豆瓣、知乎：爬取优质答案，筛选各种话题下的热门内容，挖掘用户舆论导向。淘宝和京东：抓取商品、评论和销售数据，分析各种商品和用户消费场景。搜房网和链家：捕捉房地产销售和租赁信息，分析房价趋势，分析不同区域的房价。拉勾和智联：抓取各类职位信息，分析各行业人才需求和薪酬水平。雪球网：捕捉雪球高回报用户的行为，分析预测股市。爬虫是开始使用Python的最佳方式。Python的应用方向很多，比如后台开发、web开发、科学计算等，但是爬虫对初学者比较友好，原理也比较简单。几行代码就可以实现基本的爬虫，学习过程更顺畅。掌握了基本的爬虫之后，再学习Python数据分析、Web开发甚至机器学习都会得心应手。学习Python包，实现基本的爬取过程。大多数爬虫遵循“发送请求——获取页面——解析页面——提取和存储内容”的过程，这实际上模拟了使用浏览器获取网页信息的过程。Python中有很多爬虫相关的包：urllib、requests、bs4、scrapy、pyspider等，建议从requests+Xpath入手。Requests负责连接到网站并返回网页。XPath用于解析网页以提取数据。如果你用过BeautifulSoup，你会发现它比XPath简单多了，省去了所有逐层检查元素代码的工作。应对特殊网站的反??爬虫措施在爬虫过程中，会遇到被网站屏蔽、各种奇怪的验证码、userAgent访问限制、各种动态加载等问题。当遇到这些反爬虫手段时，当然会采用一些高级的手段来应对，常规的技术比如访问频率控制、代理IP池的使用、抓包、验证码的OCR处理等。往往网站会更倾向于前者之间高效的开发和反爬虫，这也为爬虫提供了空间。掌握这些反爬虫技巧对大多数网站来说都不是难事。Scrapy构建工程爬虫。Scrapy是一个非常强大的爬虫框架。它不仅可以轻松构建请求，还具有强大的选择器，可以轻松解析响应。然而，它最让人惊喜的是它的超高性能。您可以设计和模块化爬行动物。在处理大规模数据存储时，当爬回的数据量较小时，可以采用文档的形式存储。一旦数据量大了，这就不行了，所以需要掌握一个数据库。MongoDB可以方便的存储一些非结构化的数据，比如各种评论的文字、图片的链接等等。您还可以使用PyMongo更轻松地在Python中操作MongoDB。分布式爬虫实现大规模并发采集，利用多线程的原理，让多个爬虫同时工作。掌握Scrapy+MongoDB+Redis这三个工具是很有必要的。Scrapy用于基础页面爬取，MongoDB用于存储爬取的数据，Redis用于存储待爬取网页的队列，即任务队列。当你可以编写分布式爬虫时，你可以尝试构建一些基本的爬虫架构，以实现更自动化的数据获取。
