准备工作

  • 启动fiddler

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_docker

本机ip 192.168.1.122

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_数据_02

  • 夜神模拟器设置

桥接

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_ico_03

wifi设置

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_数据_04

刚才windows系统查询出来的ip

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_ico_05

  • app安装（XX美食）

找个比较容易抓取的开始上手吧，在夜神模拟器市场中搜：豆果，下载图片中的app

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_ico_06

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_ico_07

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_docker_08

抓取目标

点击图片中的分类

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_docker_09

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_数据_10

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_ico_11

  • 分析app的数据

正常的app，请求的连接都是域名的方式，并且跟自己的app的名称相关。
例如：豆果美食，app的请求连接也都是有dougou。

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_数据_12

进入fiddler里面，ctrl+f，输入dougou

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_ico_13

找到一个请求，发现返回是Unicode编码，需要进行一些解码

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_docker_14

复制返回结果Unicode编码到json.cn查看

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_docker_15

分类发现跟app一致，任何app想进行动态的开发，都是通过请求获取的。

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_数据_16

查看详情

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_ico_17

下拉类别下牛肉的发现一个规律，原来每页15条，哈哈url里面有规律

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）_数据_18

PS：本次通过fiddler监控和发现app请求的规则。下次开始写python脚本进行爬取数据。