【Part1——理论】想象一个问题，如果我们想抓取一条微博大V微博的评论数据，应该如何实现？最简单的方法就是找到微博评论数据接口，然后更改参数获取最新的数据并保存。首先找到微博API抓取评论的接口，如下图所示。不过可惜这个接口频率有限，抓了几下就被ban了，还没开始起飞就凉了。接下来，小编选择微博的手机网站，先登录，然后找到我们要抓取评论的微博，打开浏览器自带的流量分析工具，一直下拉评论，找到评论数据接口，如下图所示。然后点击“参数”选项卡，可以看到参数如下图：可以看到一共有4个参数，其中第一个和第二个参数是微博的id，就像一个人的身份证号码相同，相当于微博的“身份证号码”。max_id是改变页码的参数，每次都变。接下来的max_id参数值在本次请求的返回数据中。【Part2—实战】有了上面的基础之后，我们就开始写代码，用Python来实现吧。1.首先区分url，第一次不需要max_id，第二次需要第一次返回的max_id。2、请求时，需要携带cookie数据。微博cookies的有效期比较长，足以抓取一条微博评论数据。Cookie数据可以从浏览器分析工具中找到。3、然后将返回的数据转换成json格式，取出评论内容、评论者昵称、评论时间等数据，输出结果如下图所示。4、为了保存评论内容，我们需要去掉评论中的表情，使用正则表达式进行处理，如下图。5、然后将内容保存到txt文件中，使用简单的open函数实现，如下图所示。6.重点来了。通过该接口最多只能返回16页数据（每页20条）。网上也有报道说可以返回50页，但是界面不一样，返回的数据项个数也不一样，所以加了一个for循环，一步到位，遍历还是很厉害的，as如下图所示。7.在这里命名函数作业。为了能够一直获取到最新的数据，我们可以使用schedule在程序中加入定时功能，每隔10分钟或者半小时抓取一次，如下图所示。8、对得到的数据进行去重处理，如下图所示。如果评论已经在里面了，就直接pass过去，如果没有，就继续添加。这项工作基本完成。[Part3——总结]这种方法虽然不能抓取所有的数据，但是在微博这种限制条件下，也是一种比较有效的方法。最后，如需本文代码，请后台回复“微博”二字。觉得不错的话记得给个star哦~看完这篇文章有没有收获呢？请转发分享给更多的人加入IT分享之家群，请在微信后台回复【进群】如果想深入了解Python网络爬虫和数据挖掘，可以上专业网站：http://pdcfighting.com/
