距离国庆中秋8天长假仅剩几天。朋友圈里各大厂商纷纷开始展示自己定制的中秋月饼礼盒,逢年过节走亲戚,朋友手里也少不了随身携带一盒月饼。每年中秋节,我总是去外婆家过年,买各种月饼。那时候科技还不是很发达。价格分布是怎样的?月饼销量哪里高?随着科学技术的飞速发展,互联网与你我交流。通过月饼在淘宝上的销售,可以解决很多我们想知道的问题。基于此,我爬取了淘宝4000多款月饼的销售数据,为大家展示了一个漂亮的可视化分析仪表盘,解决大家心中的难题。可视化大屏效果展示数据采集本次淘宝的爬取采用了最简单的方式:Selenium控制Chrome浏览器进行自动操作,中间只需要扫码登录一次即可完成整个数据的爬取。这种方法非常好用,不会有IP和账号被封禁的情况。您可以放心使用!在运行这段代码之前,你唯一需要做的就是下载谷歌版本对应的chromedriver驱动,然后进行配置。其实淘宝的整个数据爬取过程,我写了一篇很详细的文章,供大家参考。部分爬虫代码如下:fromseleniumimportwebdriver#搜索商品,获取商品页码defsearch_product(key_word):#定位输入框browser.find_element_by_id("q").send_keys(key_word)#定义点击按钮,点击browser.find_element_by_class_name('btn-search').click()#最大化窗口:为了方便我们扫码browser.maximize_window()#等待15秒,给我们足够的时间扫码time.sleep(15)#定位到这个“页码”,得到“一共100页Thistext”page_info=browser.find_element_by_xpath('//div[@class="total"]').text#需要注意的是:findall()返回一个列表,虽然此时只有一个元素,但也是一个列表。page=re.findall("(\d+)",page_info)[0]returnpage数据清理数据清理非常重要,这对我们后续的可视化展示极其重要。因此,我们需要根据后面要做的图形进行相应的数据清洗。爬取到的原始数据如下:整个原始数据看起来比较干净,但是还是有几个值得处理的地方。爬取的原始数据没有列名,我们需要添加一个新的列名;整个爬取过程中,会出现重复数据,需要提前去重;将购买人数记录替换为0人支付;买家数量换算成销量(注意有的单位是万);删除没有送货地址的产品,提取省份;数据清洗部分代码如下:#extractvaluedf['num']=[re.findall(r'(\d+\.{0,1}\d*)',i)[0]foriindf['payernumber']]#提取值df['num']=df['num'].astype('float')#转换数值#提取单位(万)df['unit']=[''.join(re.findall(r'(万)',i))foriindf['付款人编号']]#提取单位(万)df['单位']=df['单位'].apply(lambdax:10000ifx=='10,000'else1)#计算销售额df['sales']=df['num']*df['unit']我们现在来看一下,清洗后的数据是什么样的?数据清洗后的数据可视化可视化是整篇文章的亮点。所谓“文不如表,表不如图”。整个视觉分析基于以下五个问题。月饼销量前10名的直方图;月饼销量Top10门店柱状图;全国月饼销售区域分布图;不同价位月饼销量甜甜圈图;本文末尾提供了部分代码。1、月饼销量前10的条形图结语分析:月饼销量前10其实对我们买月饼还是挺有指导意义的。从图片上我们可以看到,稻香村的月饼还是卖的很好。在销量前10的产品中,稻香村月饼占据了3个位置。还有一个名字我特别熟悉:五芳斋。我只知道他家做的粽子不错。原来月饼也不错,所以品牌效应还是很好的。那么,你能不能再看看,看看这些店里还有没有其他比较好吃的零食呢?2、本店月饼销量前10的柱状图结论分析:这里图片显示的结果与第一张图显示的结果不同,巧合的是,不需要过多解释。我唯一感兴趣的就是这个稻香村。为什么销量这么好?百度了一下发现是百年老店,附上一张图如下。3、全国月饼销量地域分布图分析:从图中可以看出,广东、浙江、山东、福建、北京月饼销量在全国遥遥领先。查资料发现,几乎都有自己的品牌,比如广东的广式月饼、浙江的曲式月饼、山东的鲁式月饼。广式月饼油糖重,京式月饼油重糖轻,鲁式月饼口味清淡,苏式月饼甜味重。可以根据自己的需要,为亲戚长辈选择适合自己口味的月饼。4、不同价位段月饼销量甜甜圈图结论分析:当然,价格是大家关注的重点。看上图我们可以发现月饼的价格差不多在中等可以接受的区间(22-115),稍微贵一点的是115-633的区间(可以接受),是633元以上的月饼几乎是0。毕竟中秋节是传统节日,只有适中的价格才能被大家接受。利润只有几天,薄利多销才是王道。5、月饼销售关键词词云图结论分析:从图中可以看出,广式月饼在四大传统月饼(京式月饼、广式月饼、云南-式月饼,苏式月饼)(PS:我还没试过),论月饼的口味,小时候吃的五仁月饼是雷打不动的。豆沙月饼的提及率也很高。美心、酥皮、心奶、燕窝、白莲花等各种新鲜口味应有尽有,你喜欢哪一款呢?
