当前位置: 首页 > 科技观察

我抓取并分析了美团,原来北京和上海的十大美食就是他们的

时间:2023-03-19 15:39:00 科技观察

数据爬取三部曲。对于美食家来说,这没什么大不了的。..然而,最后的结果是,午餐和晚餐都没有时间吃。..情况如下:ChromeF12直接定位get请求,响应结果为json。研究了get的参数,发现了一个奇怪的参数token?!我们先不理它,直接修改参数翻页,请求数据!!!数据爬取三步走的开始填坑的问题来了!折腾了半天,发现这个token是时效性的,是js生成的。..这也不是问题,get请求不起作用,我们仍然有selenium。悲催的是,美团真的是直接封杀selenuim数据爬取三部曲,填坑又回到原点的大厂。没办法,只能从令牌入手。经过一番搜索,我找到了一个js文件。..好,继续,因为之前没有用python直接调用js,百度了一下发现pyexecjs,PyV8等都可以用。悲催的是我的python2.7安装pyexecjs后一直不能正常工作,PyV8没有问题。只是PyV8的安装过程太悲催了,废话不多说,直接上代码:我把js文件存放在本地python中,用PyV8直接解析执行token的js事件程序自动生成token。上海数据的数据可视化显示,统计人员发现美团在数据上还是有限制的,每类餐饮场所每页最多可以显示32页,一共32页。即32*32=1024个京沪各类菜系占比的数据可视化。可以看出,两地川湘、烧烤、西餐的比重最大。陆川和马晓没有区别。数据中包含了每家店铺的产品评论数,我们可以通过分析每类食品的总评论数来显示受欢迎程度。由于展示效果,我们只展示top10北京和上海top10美食情况。京沪火锅繁荣对比一下两地同类美食的平均价格:上海的消费水平已经超过了首都。..哈哈哈以上仅为个人简单分析,不代表权威发布仅供娱乐。欢迎各界朋友交流学习。好了,我的方便面做好了。..嗯,真香!!!作者:Kying,喜儿旗节目单王。从事智慧旅游和数据挖掘。python新手,希望与志同道合的人煮酒谈英雄,数据森林特邀作者。