当前位置: 首页 > 后端技术 > Python

教你用Python爬虫搞定三千美图

时间:2023-03-26 01:02:11 Python

想请教大家一个问题,大家学习Python爬虫的动机是什么?以下是我们部分同学的回答:1、学完Python爬虫,可以找到一份高薪的工作。2.我学习编程,希望为社会做贡献(手动滑稽)3.对于女生!(很直白的回答!)....总结了一些同学的答案,大部分的结论都是把所有你想看的想知道的事和人(妹子)都爬了!果然是妹子给我们码农打气了!今天我们在爬今日头条,你要问我为什么要爬今日头条?是因为爱吗?是因为责任吗?不是,是因为头条里面有很多美图,然后我们就可以全部爬下来了!!!是不是想想就觉得很激动,是不是要流鼻血了?!接下来我们要做的就是使用Python爬虫对上面的图片进行爬取。开始分析网站,按f12,然后点network,refresh就可以看到网页上能看到的这些图片,下拉网页会显示更多的图片。今日头条的网站是动态加载的,但是在xhr文件中很容易找到。不断的发送请求,点击这个请求,看看返回了什么数据,可以看到这是一个json,里面有图片的url,这就是我们要找的。我们可以使用json库来解析,而这个网站是一个get请求,所以我们可以使用requests库发送然后解析,非常简单。最后,让我告诉你结果。文中如有错误或不足,请在留言区指出,欢迎大家监督。更多相关Python爬虫教程会持续更新给大家!