当前位置: 首页 > 后端技术 > Python

Python3网络爬虫开发实战读书笔记---第11章应用爬虫

时间:2023-03-25 21:39:02 Python

本系列文章是在阅读《Python3网络爬虫开发实战》等网络资料一书的同时学习爬虫过程中的一些笔记和心得,希望与你分享。章节概述:如何抓取App内容章节结构:CharlesmitmproxyAppium具体内容:CharlesCharles是一款网络抓包工具,可用于App抓包分析,支持跨平台。原理:Charles运行在PC端,会在8888端口开启一个HTTP/HTTPs代理服务,当手机和电脑处于同一局域网时,可以通过手机模拟器的虚拟网络进行连接。手机代理设置为Charles地址,手机APP上网。是的,包裹会经过Charles去抓取包裹。Charles有自己的图形界面,可以显示捕获到的请求和响应数据包的具体内容。还可以提取不同的字段进行分析。mitmproxymitmproxy是一个抓包程序,支持HTTP和HTTPS,并且有自己的控制台(CLI)。可用于拦截HTTP请求和响应,保存和分析HTTP会话,模拟客户端发起的请求,touchyourserver返回响应,使用代理转发等。具体操作:https://docs.mitmproxy.org/st...AppiumAppium是一个跨平台的移动自动化测试工具。可以为ios和android平台创建自动化测试用例。可以模拟App内部的操作,比如点击、滑动、拖动等。Python也有appium对应的库。通过在appium中引入webdriver库,可以远程操作手机端的应用。比如有find_element等方法获取应用中的元素,从而进行操作和抓取信息。