使用Python爬取某宝2008年棉服商品数据，进行可视化分析，最终找到一件值得购买的棉服。转载本文请联系志斌python笔记公众号。大家好，我是志斌~转眼就到了十一月。本以为可以在大连度过一个浪漫的秋天，没想到今年的大连没有秋天，变成了一个严寒的冬天。..于是志斌赶紧打开Python，用它??爬取分析了一波棉袄，找到了最适合自己裹身的。1.数据采集数据采集是数据可视化分析的第一步，也是最基础的一步。数据收集的数量和质量越高，后续分析的准确性就越高。我们来看看淘宝网的数据是如何爬取的。淘宝网站是一个动态加载的网站。以前我们都是通过解析接口或者Selenium自动化测试工具来爬取数据，现在淘宝对接口进行了加密，让我们很难去解析规则。同时，淘宝也使用Selenium实现了反爬限制，我们不得不换个思路获取数据。打开开发者模式，开始观察网页，发现淘宝商品的数据居然存放在源网页中。我翻了几页后，发现每翻一页，网页的params参数中的s参数就会增加44（初始值为0）。经过上面的分析，现在我们可以开始构建爬虫程序了。1、导入爬虫使用的库importrequestsimportreimporttimeimportrandomimportopenpyxl2。发起请求pageinrange(1,101):params=(('q','绗缝夹克'),('imgfile',''),('commend','all'),('ssid','s5-e'),('search_type','item'),('sourceId','tb.index'),('spm','a21bo.jianhua.201856-taobao-item.2'),('ie','utf8'),('initiative_id','tbindexz_20170306'),('hintq','1'),('s',str(page*44)),)response=请求。get(url,params=params)3.数据存储a=0b=0foriinrange(44):try:sheet.append([dianpumingcheng[i],shangpinming[i]],float(jiaage[i]),fahuodi[i],fukuanrenshu[i]])except:a+=1ifa>30:print(f"第{page}页的数据没有被爬取...")wb.save('绗缝夹克.xlsx')#ChangexxxIt可以是你想要的存储名称b=1breakifb==1:breakprint(f"第{page}页的数据已经被爬取...")time.sleep(random.randint(3,5))nt(f'共爬取{page}页数据...')2.数据清洗数据采集完成后，需要进行清洗，去除脏数据，以提高分析的准确性。1.导入商品数据使用pandas读取和预览爬取的商品数据。importpandasaspddf=pd.read_excel('羽绒服.xlsx',names=['店铺名称','商品名称','价格','产地','付款人编号'])print(df.head())2.删除重复数据df.drop_duplicates()删除重复数据后，还有2008条数据。3.数据类型转换我们发现付款人的数量是字符串类型，我们需要将其转换成整数类型。wb=openpyxl.load_workbook('cottonjacket.xlsx')int_list=[]sheet=wb['Sheet']foriinrange(2,2008):str=sheet[f'E{i}'].valueif'万+'instr:int_list.append(int(int(str[:-2])*random.uniform(1,2)*10000))elif'+'instr:int_list.append(int(int(str[:-1])+random.random()*1000))else:int_list.append(int(str))foriinrange(2,2008):sheet.cell(i,5).value=int_list[i-2]wb.save('3.xlsx')4.检查数据类型检查字段类型和缺失值，满足分析需要，不需要单独处理。df.info()3.可视化分析下面对2008年的棉袄产品数据进行可视化分析。可视化图由Python、Tableau和Excel联合绘制。1、在售棉服特点通过绘制棉服品名词云图，我们发现今年棉服的款式多以宽松、潮流、韩版、短款为主。生产代码如下：fromimageioimportimreadimportjiebafromwordcloudimportWordCloud,STOPWORDSwithopen("1.txt",'r',encoding='utf-8')asf:job_title_1=f.read()contents_cut_job_title=jieba.cut(job_title_1)contents_list_job_title="".join(contents_cut_job_title)wc=WordCloud(stopwords=STOPWORDS.add("One"),collocations=False,background_color="white",font_path=r"K:\msyh.ttc",width=400,height=300,random_state=42,mask=imread('paddedjacket.jpg',pilmode="RGB"))wc.generate(contents_list_job_title)wc.to_file("Recommendation.png")2.各省生产分布图根据统计每个商品的产地数据，并画出全国地图，发现浙江、广东和福建生产的棉袄最多，分别为914件、261件和203件。生产代码如下：importopenpyxlfromcollectionsimportCounterfrompyechartsimportMapwb=openpyxl.load_workbook('cottonjacket.xlsx')sheet=wb['Sheet']a=[]foriinrange(2,1960):D=sheet[f'D{i}']a.append(D.value)province_distribution=dict(Counter(a))provice=list(province_distribution.keys())values=list(province_distribution.values())map=Map("中国地图",width=1200,height=600)map.add("",provice,values,visual_range=[0,50],maptype='china',is_visualmap=True,visual_text_color='#000',is_label_show=True)map.render(path="map.html")我们进一步分析了浙江省的产地数据，发现杭州的棉袄商家最多，占全省的40%。3.棉袄价格区间分布我们将棉袄的价格以100分作为点进行可视化，发现100-200之间的棉袄有869件，其次是201-300之间的501件棉袄。看来棉袄的价格还是比较便宜的~4.棉袄月销售额前20名的商家不是旗舰店，而是李广森的自制时尚女装店。志斌打开他们的店看了看。感觉很好。对象可以get一套~四、总结1、本文仅供学习研究之用，所提供的评论仅供参考。如有不妥，请及时告知作者。
