利用appnium实现抓取app数据
原创 2019-12-26 09:10:03

许多python大神一定都玩过selenium吧,它的作用可以用来爬取动态页面和做Web自动化测试,配合robotFramework框架可以很大程度节约测试时间。

那么App上的数据怎么去抓取呢?在这里也有2种方案供您选择,比如说通过Fiddler抓包,分析其协议传包,然后通过接口的方式直接获取数据,这种方式的特点是速度极快,容易被发现,不适用于有Sign签名或全数据加密情况。

null

也就是说如果这个App是银行级别的,你就拿他没辙了,我们现在常用的解决办法是通过H5的方式分析其加密代码,如果连H5端都没有,也可以通过逆向工程的方式获取App中的Sign和加密解密秘钥。不过这几种途径很容易又被堵死了,毕竟大企业都比较注重数据安全,如果连这种级别的加密都不做,那相当于是在互联网大街上裸奔。

爬虫最核心的技术应该就是模拟正常用户去增加浏览行为,从而获取到数据,appnium就是这么一个东西。小编可以使用安卓模拟器或USB连接真机的方式进行模拟,通过编写Python代码来让整个浏览行为自动化,特别适合那些看文章赚钱的App,只要写一套代码就可以自动浏览和赚钱了。

值得一提的是,前段时间双十一淘宝弄的喵币获取活动,有人开发了一套脚本,专门用来自动做喵币任务,浏览店铺和商品信息自动化操作。如果是安卓机也可以通过autoJs实现自动化操作,AutoJs的优点是贴合JavaScript,简单上手。