爬虫技术是做什么的？简单来说，爬虫就是检测机器。它的基本操作是模拟人的行为在各种网站上徘徊，从一个链接跳转到另一个链接，查看数据，或将看到的信息传回。就像一只蜘蛛在互联网的大网上不知疲倦地爬行。你天天用的百度，其实就是用了这种爬虫技术：它每天向各个网站发布无数的爬虫，抓取它们的信息，然后化上淡妆，排成一队等着你去检索。抢票软件相当于分发了无数个头像，每个头像都帮你不断刷新12306网站剩余的火车票。一找到票立马拍下来，然后跟你喊：土豪过来买单。所有这些都可以使用爬虫来实现。事实上，爬虫可以代替人类完成一些重复枯燥的工作。举个例子：你想把小明的网站博客搬到自己的网站上，但是又不想一个一个复制，所以用爬虫批量采集可能需要3天左右的人工完成采集，但是只使用爬虫大约需要1-2分钟，大大节省了人力。当然，大部分爬虫技术还是用于收集数据，然后清洗数据以满足项目需求。
