转载本文请联系志斌python笔记公众号。大家好，我是志斌~再过几天，志斌将前往大连，开始三年的研究生生活。当然，读书学习之余，也想感受一下“魅力之城”的魅力，于是志斌用Python爬取了去哪儿上大连景点的相关数据，包括景点名称、市区、人气、价格、月销售额等，将数据可视化，简单分析，寻找性价比高的景点。1.数据采集去哪儿网的数据存储非常简单，都是静态存储在源网页中。我们只需要构造URL，使用Requests发起请求，然后使用Bs4提取数据存入Excel即可。爬虫核心代码如下：importrequestsfrombs4importBeautifulSoupimportopenpyxlforpageinrange(1,50):try:params=(('from','mps_search_suggest_h'),('keyword','大连'),('page',str(page)),)response=requests.get('https://piao.qunar.com/ticket/list_%E8%A5%BF%E5%AE%89.html',headers=headers,params=params)soup=BeautifulSoup(response.text,'html.parser')zongs=soup.find_all('div',class_='sight_item')foriinzongs:name=i.find('h3').textdiqu=i.find(class_='区域'）。find('a').textredu=round(float(i.find(class_='product_star_level').text.split()[-1][:4])*5,2)dizhi=re.findall('地址：(.*?)map',i.find(class_='addresscolor999').text)[0]jiaage=float(i.find(class_='sight_item_price').find('em').text)yuexiao=int(i.find(class_='sight_item_sold-num').find('span').text)xingji=i.find(class_='level')jingweidu=i['data-point']~~~2数据处理01导入景区数据使用pandas读取和预览爬取的景区数据。importpandasaspddf=pd.read_excel('大连景区数据_1.xlsx',names=['景点名称','城市','热度','地址','价格','月销售额','星级','经度','latitude'])print(df.head())02删除重复数据网站中存在一定的重复数据，需要删除。df=df.drop_duplicates()03查看数据信息查看字段类型和缺失值，满足分析需要，不需要单独处理。df.info()三可视化分析下面我们对这164个景点的数据进行可视化分析。01景点介绍通过绘制大连景点介绍的词云图，我们可以很容易看出大连的特色。博物馆、休闲、历史、文化等词语的多次提及，表明大连是一座具有悠久历史的现代化城市。建筑、动物、题材等词语也多次被提及，说明大连的旅游环境轻松、多元。代码如下：withopen("Recommendation.txt",)asf:job_title_1=f.read()contents_cut_job_title=jieba.cut(job_title_1)contents_list_job_title="".join(contents_cut_job_title)wc=WordCloud(stopwords=STOPWORDS.add("a"),collocations=False,background_color="white",font_path=r"K:\msyh.ttc",width=400,height=300,random_state=42,mask=imread('xin.jpg',pilmode="RGB"))wc.generate(contents_list_job_title)wc.to_file("Recommendation.png")02景区人气top10从景区评分来看，金石滩景区得分最高，4.55分，其次老虎滩公园和星海广场分别4.5分和4.4分。难怪搜大连旅游攻略，每本都有这些景点。03景点价格top10从景区价格来看，除了潜水中心稍微贵一点，其他景点的价格都可以接受。去大连的朋友，如果时间充裕，都可以体验一下。这三年，智斌都会经历。已经~4月份景区销量前10名，可以从下图看出。海昌探索王国的销量最高，为908，其次是天门峡漂流，为786。志斌还没有玩过漂流，正好这次在大连读书，抽空去一次。老虎滩海洋公园、大连森林动物园、大连圣亚海洋世界的销售额也不少，分别为542、488、458。5月销售额排名前20的景区可以从下图看出，其中海昌销售额最多月销量对于探索王国、老虎滩海洋公园、大连圣亚海洋世界来说，月销量受月销量的影响似乎大于价格。06景区等级分布从大连市景区等级分布看，3A级以上景区24个，其中3A级景区1个，4A级景区21个，5A级景区2个。07景点分布从图中可以看出，大部分景点分布在旅顺区、中山区、金州区的东南沿海。如果来大连旅游的话，建议住在旅顺口区或者中山区，因为那里交通比较方便。四、小结通过以上简单的分析，我们大致可以得出以下结论：1、大连是一座历史悠久的现代化城市，非常适合旅游。2、大连的景点主要集中在旅顺区、中山区、金州区。旅顺区和中山区的景点附近都有地铁。所以建议大家入住时选择住在这两个区，这样出行会更方便。.3.评分最高的景点是金石滩景点。4.本文仅供学习参考，不作其他用途。温馨提示：疫情尚未结束，出行做好个人防护。尽量避免前往高风险地区。
