1。讨论这些案例是为一些想进入Python行业的朋友写的。我看大家都满意，就又拿出来了。如果你已经开始学习python，对爬虫一窍不通，不妨看看这些例子吧！2.环境准备Python3requests库、lxml库、beautifulsoup4库pipinstallXXXXXX一起安装。三、Python爬虫小案例1、获取本机公网IP地址。使用python的requests库+公网IP查询接口自动获取IP地址2.使用百度的搜索接口，Python需要使用requests编写url收集工具库，BeautifulSoup库，观察百度搜索结构的url链接规则，以及绕过百度搜索引擎反爬虫机制的方法是在程序中设置User-Agent请求头。Python源码：用Python语言编写程序后，使用关键字inurl:/dede/login.php批量提取某网cms后台地址：3.使用Python创建搜狗壁纸，自动下载爬虫搜狗壁纸.该地址是json格式的，所以使用json库解析这组数据，将爬虫程序存放图片的磁盘路径修改为要存放图片的路径。效果图：4.Python自动填写问卷，和普通网页一样。如果多次提交数据，则需要输入验证码。这就是反爬虫机制。如图：那么如何绕过验证码的反爬措施呢？使用X-Forwarded-For伪造IP地址访问，Python代码如下：作用：5.获取Xithorn代理上的IP，验证这些代理被拦截的可能性和延迟时间，可以添加抓取的代理IP通过Python在代理链中，可以执行一般的渗透任务。这里linux系统命令ping-c1"+ip.string+"|awk'NR==2{print}'-被直接调用。要在Windows中运行此程序，需要修改倒数第二行os.popen中的命令，将其修改为Windows可执行。爬取到的数据如图：演示：结论其实我们可以用python做很多很有趣的事情。
