当前位置: 首页 > 后端技术 > Python

实战|手把手教你用Python爬取存储数据,还能在Excel中自动可视化

时间:2023-03-26 00:27:11 Python

大家好,我们来讨论如何爬取虎扑NBA官网的数据,将数据写入Excel并自动生成折线图,主要有以下步骤:本文将分为以下两部分分别讲解:爬取虎扑NBA官网球员页面获取球员数据。清理和组织爬取的玩家数据并将其可视化。项目主要涉及的Python模块:requestspandasbs4爬虫部分爬虫部分整理思路如下观察URL1源码找到队伍名称和对应的URL2观察URL2源码找到选手对应的URL3观察源码URL3找到对应玩家的基本信息和游戏数据筛选存储其实爬虫是对html进行操作的,而html的结构很简单,只有一个,就是大框和小框,小框用小框嵌套,这样一层嵌套。目标URL如下:URL1:http://nba.hupu.com/players/URL2(这里以湖人队为例):https://nba.hupu.com/players/...URL3(以湖人为例)这里以James为例)例子:https://nba.hupu.com/players/...首先引用模块frombs4importBeautifulSoupimportrequestsimportxlsxwriteimportos查看URL1源码,可以看到球队名称及其对应的URL2在span标签中