当前位置: 首页 > 后端技术 > Python

Python爬取周杰伦200首歌曲+BI可视化分析

时间:2023-03-26 17:52:29 Python

最近一直在听周杰伦的歌(可能是小编长大了,也可能是春天来了。。。),所以想用Python来分析周杰伦歌曲的各种数据。但是熟悉它的应该都知道,Python爬取简单,但是分析起来非常困难。SQL语句、Pandas、Matplotlib都在参战,大部分人都不知道,而且要花很多时间去学习。于是我想到了一个新的方式,Python爬取+BI数据可视化分析,前者速度快,后者简单直接拖拽,两者结合简直无敌!1.分析什么数据?周杰伦!我的青春!可以有很多维度的分析。想看看他的每首歌适合什么季节听,歌词里出现次数最多的词是什么,词曲作词比较多,哪些歌适合失恋,哪些歌适合热血爱....太多了!2、爬取的过程首先我们先输入我们需要抓取的内容地址:网易云音乐首页。我们的目的是捕捉周杰伦的所有歌曲、歌词和评论。然后我们在搜索框中输入周杰伦。拿到这张图后,我们发现最多只有50首歌曲(很多人在分析网易云的歌曲时只选择TOP50)。我们要的是全部,所以这个URL不符合要求,我们继续寻找其他的URL地址。在这里折腾了好久,终于找到了一个间接的方法,先抓取周杰伦的所有专辑信息,然后再去通过专辑信息找到所有的歌曲。让我们看看标题中的内容。我们不需要关心这里的字符串,因为它已经在我们的url中了。我们只需要查看请求标头,这是我们发送给服务器的内容。代码部分:具体结果如下:用同样的方法,我们也可以分析歌曲信息和热门评论信息。具体代码在文末,最终数据量约30W~3.近几年用BI做数据可视化分析风险很大新兴的BI明星都在强调敏捷和自助服务,改变了传统的BI工具SAPBO和IBM的cognos垄断市场。这是一件好事,也证明了商业智能领域正在不断受到重视。如何选择BI产品?价格:在资助范围内,达到最高性价比。产品成熟度:成熟度高、实用性强是大多数企业的需求。一般来说,成熟度与产品的存在时间和客户数量成正比,因为它已经通过了市场的检验。产品快速部署:快速上线非常重要。开发功能:是否足够友好,是否足够敏捷,业务人员是否可以直接使用。鉴于以上几点,再加上我自己的研究,我发现Tableau和FineBI是BI领域的两个顶级工具。Tableau的可视化探索分析很好,也有语音版,但因为是国外产品,大部分都是代理,服务无法保证,操作方法不适合新手;同时,价格昂贵,企业使用较多。FineBI是国产品牌,是国内为数不多的能够占据全球领先地位的数据工具之一。它自带ETL,可视化很酷。它专注于业务人员的自助分析。企业版的价格也很良心,个人免费使用。4.周杰伦歌曲数据可视化FineBI不仅可视化分析精美,而且操作过程非常简单。有人会说Excel也不错,建议你醒醒。Excel对数据可视化完全不行,数据多了会卡顿,VBA也需要编程,图表种类也很少……1.有哪些伤感的歌曲?但细细分析就会发现,他的歌其实是伤感的情歌。下面是他的几首比较压抑的歌。建议失恋的人不要听(滑稽脸)。2.有哪些欢快的歌曲?比如稻香,就是一首很欢快的歌。还记得家是唯一的城堡,我继续沿着稻香河奔跑....小编堪称铁杆粉丝。3.人气排行榜因为都是比较老的歌曲,所以人气不会增加,但依然是经典!《说好不哭》是周杰伦的新歌。当晚上线直接导致QQ音乐崩溃,可见其影响力。4.赛季排名。看看周杰伦会出哪几季。不用分析也知道是秋天。情歌在秋天可能更有意境(我只是猜测)。5、作词比例提到周杰伦的歌曲,大家首先想到的是方老师,但是用FineBI分析后发现,周杰伦本人也是一个作词天才。5、总结使用BI产品的关键是业务和管理。涉及深度的数据分析和资源配置,需要很高的业务思维能力,这也是FineBI主打自助式分析的原因,让业务人员自己去发现数据的价值。以上是FineBI的实际数据分析,也是为了帮助大家更好的了解这款产品,但是以上只是冰山一角。欢迎亲身体验这款企业级数据分析工具。