前言在开发爬虫的时候,最烦的不是它的反爬有多复杂,而是它的参数很多,还得一个一个复制。于是写了一个小工具,将抓包抓到的header、data、cookie参数转成python代码。大大提高了开发效率。其实代码之前已经开源了,但是用起来不是很方便,所以最近才放到网上,用起来方便多了。涉及的工具或技术Python3.7Fiddlerv5.0Charlesv4.2.8Gadget在线转换工具网址:https://alisen39.com/ConvertwebFormsdataintodictformat工具地址:https://alisen39.com/FiddlerData在Fiddler中,将数据webForms的是POST请求带的参数,可以直接复制,转换成dict格式,如下:然后将转换后的结果直接复制到你的爬虫代码中使用即可!ConvertHeaderdatatodictformat工具地址:https://alisen39.com/FiddlerHeaderFiddler中的Header部分,在Raw选项中:复制出来,然后粘贴到左边:ConvertCookiesdatatodictformat工具地址:Cookieshttps://alisen39.com/FiddlerCookieFiddler抓到的数据:复制出来粘贴到左边:重磅工具!最重要的将原始数据转换为请求代码的功能!直接把包里的内容转成python代码,真的是节省了90%的时间。推头推荐!!!工具地址:https://alisen39.com/HttpRaw复制抓取的Raw信息,可以从Fiddler或Charles中获取。复制出来,然后粘贴到左边:然后把右边的代码复制到你的IDE中,就这样了。
