标题这个题目应该是我面试答的最好的一题了,所以咸鱼就来讲讲APP抓包环境搭建。
App抓包应该是每个爬虫工程师都避不开的话题,在之前我也写过关于自动参与「抽奖助手」 抽奖的文章,当时使用的抓包工具是Charles,有需要的朋友可以翻下之前的文章。
App抓包原理
-
客户端向服务器发起HTTPS请求 -
抓包工具拦截客户端的请求，伪装成客户端向服务器进行请求 -
服务器向客户端（实际上是抓包工具）返回服务器的CA证书 -
抓包工具拦截服务器的响应，获取服务器证书公钥，然后自己制作一张证书， -
将服务器证书替换后发送给客户端。（这一步，抓包工具拿到了服务器证书的公钥） -
客户端接收到服务器（实际上是抓包工具）的证书后，生成一个对称密钥， -
用抓包工具的公钥加密，发送给“服务器”（抓包工具） -
抓包工具拦截客户端的响应，用自己的私钥解密对称密钥，然后用服务器证书公钥加密， -
发送给服务器。（这一步，抓包工具拿到了对称密钥） -
服务器用自己的私钥解密对称密钥，向客户端（抓包工具）发送响应 -
抓包工具拦截服务器的响应，替换成自己的证书后发送给客户端
爬虫的本质就是「骗」过服务器,各种反反爬手段就是增强信任的过程,不停的让服务器相信你是自己人 如果你被反爬了,就是你骗术不精,被发现了。
App数据好抓吗？
App数据有易有难,目前我还是停留在简单的部分,这里简单说下我理解的(如果说错求放过):
简单:
app的数据比web端数据更容易抓取，基本都是http、https协议，返回的数据格式也相对规整, 大多是json格式
困难:
1.需要反编译的知识,需要分析加密算法
2.需要脱壳+反编译
3.需要破解各式各类的签名,证书。。
所以一个爬虫工程师慢慢就需要掌握以下技能:
java编程基础
android编程基础
app逆向
app脱壳
破解加密
…
从入门到全栈
常用抓包工具
fiddler
mitmproxy
Charles
fiddler安装和使用
下载:
https://telerik-fiddler.s3.amazonaws.com/fiddler/FiddlerSetup.exe
安装:一路Next
主要界面介绍:
会话列表界面:
监控面板在点击会话列表界面的某个请求后会出现下面两个界面:
请求面板:
响应面板:
本地CA证书安装
-
点击 Tools - Options - HTTPS - 勾选勾选 Capture HTTPS CONNECTs，勾选 Decrypt HTTPS trafic，会弹出安装证书的提示。一路点是或确定安装即可。 -
重启fiddler，点击右侧Actions，能看一个下拉菜单，点击 Export Root Certificate to Desktop，此时证书会生成到桌面上，名为 FiddlerRoot.cer，点OK保存 -
点击安装
连接手机抓包需要的配置
先设置PC端fiddler:
之后手机需要访问 本地主机IP + 设置的端口，安装证书，证书安装成功后即可抓包。
以上就是关于Fiddler的安装和简单使用,进阶使用还有很多骚操作,
mitmproxy安装和使用
mitmproxy在linux版本下和windows版本下略有不同。
linux下借助pip,可以一键安装:pip install mitmproxy
windows 下需要安装Microsoft Visual C++ V14.0以上,之后再使用pip install mitmproxy安装
mitmproxy有三大组件:
mitmproxy - linux下的抓包组件
mitmdump - python交互
mitmweb - windows下的可视化界面工具
在windows下仅支持后两种组件的使用。
证书配置
在安装目录下可以看到以下这些文件:
其中：
window安装证书
双击mitmproxy-ca.p12,一路确定直至结束。期间会弹出警告点击“确认”即可。 Mac安装证书
Mac下双击mitmproxy-ca-cert.pem即可弹出钥匙串管理页面，然后找到mitmproxy证书，打开其设置选项，选择“始终信任”即可 Android/iPhone安装证书
方法一: 将mitmproxy-ca-cert.pem发送到手机上点击安装就可以了,苹果手机点击安装描述文件即可。
方法二: 在linux下启动 mitmproxy,命令为mitmproxy -p 8889,同时将手机代理设置为linux的IP地址与端口后访问mitm.it安装证书。 简单使用
mitmproxy过滤功能的使用举例:
输入z,清除屏幕上全部的包
输入f,进入编辑模式,可在最下面编辑条件,ESC或Enter退出编辑
!(~c 200) #显示所有返回不是200的请求
!(~c 200) & ~d baidu.com #显示域名包含baidu.com,返回不是200的请求
~m post & ~u baidu #显示请求的链接里面包含baidu的post请求
~d baidu.com (http://baidu.com) 过滤所有域名包含baidu.com (http://baidu.com)的包
mitmproxy断点功能的使用举例:
输入i,进入编辑模式,可在最下面编辑条件,ESC或Enter退出编辑
断点的条件和过滤是一样的,符合条件的链接会被拦截
~d baidu.com & ~m get
域名包含baidu.com的get 请求会被拦截
按Enter进入详情页,在详情页输入e进入模式,可以修改各项数据
完成后,回到请求显示列表,输入a,将请求放行.
1.请求重放
2.选中需要重放的请求,输入r可以重放请求,也可以先编辑后再重放
3.输入Q可退出程序
mitmproxy经常配合appium使用:
首先我们需要写一个抓包的脚本,类似下面这个:
import json
def response(flow):
if 'aweme/v1/user/follower/list/' in flow.request.url:
for user in json.loads(flow.response.text)['followers']:
info = {}
nfo['share_id'] = user['uid']
info['_id'] = user['short_id']
save_task(info)
注意:这里的方法名必须使用response
编写完抓包的脚本后,使用 mitmdump -p [port] -s [脚本文件] 启动,配合appium自动化脚本即可实现app自动化抓取。 Charles的使用
之前写过了相关的实战,可以直接看下面的文章:
以上是我面试后的部分总结,希望对你有所帮助~
