当前位置: 首页 > 后端技术 > Python

闲鱼APP数据实时采集探索实验

时间:2023-03-26 11:07:28 Python

前言本文分享近期闲鱼APP商品数据采集的研究。技术栈PythonFridaJADXObjectionAndroidStudio思路使用AndroidStudio创建并运行一个x86模拟器,安装闲鱼和Frida使用ObjectionhookURL类,打印调用栈,分析关键函数,使用JADX打开APK,分析关键函数参数,使用firda构造参数,并调用关键函数python从frida脚本中获取回调写入es数据库,根据小时切片曝光接口实现任意关键词的实时查询效果。可以看到闲鱼每秒产生30-40条左右的新数据,而我们的请求速度是5s一次,刷新率甚至低于app手动操作的频率,不会对服务器造成任何影响.我们将它们写入到我们自己的数据库中,以实现实时分析。总结通过这次实验,我学会了使用frida来获取app的数据。它不需要破坏应用程序本身的任何东西,也不需要执行HTTP数据包捕获。直接hook函数就可以实现,非常友好。从技术角度来看,这样的Ideas可以搞定所有的app。