在爬虫的工作中，总会遇到一些困难和挫折。他们总是不希望我们一帆风顺，不是封了我们的IP，就是返回一堆乱七八糟的东西，什么都没有返回，留给你一片空白去猜。那么，世事如此艰难，我们如何才能顺利完成爬虫工作的任务呢？1、分析目标网站的数据模块拿到一个网站后，不会马上埋头写爬虫代码，而是先分析目标网站的数据模块。以电子商务网站为例，会有商品信息和价格信息、评论信息、销售信息、促销信息等；再比如一个综合性的信息网站，会有娱乐新闻、体育新闻、科技新闻、农业新闻等等，同时每个版块下面可能会有各种分类。2、写一个demo，分析网站结构。首先模拟HTTP请求目标网站，查看网站响应的数据信息是什么样子的。正常访问时，可以获取列表中的数据和进入列表的详细链接，然后通过链接收集详细包收集各个模块的信息。3、分析目标网站的反爬虫策略。正常发送到目标网站的HTTP请求会返回200状态，表示请求被合法接受，可以看到返回数据。但如果触发了对方的反爬虫机制，该IP就会被列入异常黑名单，无法再正常访问。那么如何分析目标网站的反爬虫策略，就得不断尝试，比如某个IP访问多少次会触发，短时间内访问多少次会触发，还有一些其他的限制，比如验证码、cookies等。通过不断的试验，我渐渐明白了。4、数据分析，代理IP池需要我们通过需要获取多少数据来知道需要访问多少页面；通过目标网站的反爬策略，我们可以大致知道需要多少个代理IP，需要多大的代理IP池。如果要访问100万个页面，每个IP可以访问100个页面并触发反爬虫机制，那么需要10000个左右唯一的代理IP；如果每次抓取一个页面需要10秒，加上抓取频率控制为5秒，100个页面需要1500秒。可以得出单个IP的使用时间在30分钟左右。当然，这只是一个大概的数字，不一定准确。毕竟目标网站的响应时间是不固定的。频率控制也是随机的，抓取过程中还有其他事情发生。5.数据存储、数据库设计如果要抓取的数据量比较大，那么数据库的设计也很重要。合理的设计会大大提高访问和管理的效率，这里就不多说了。
