1 Fiddler抓包

在我看来Fiddler的对于python爬虫的最大意义就是抓包,当然FIddler不止这一个意义,只是我没说,不代表没有。

1.1 fiddler简介

  • 位于客户端和服务器之间的HTTP代理
  • Fiddler为什么可以作为一个代理,是如何实现的?(这就是Fidder的原理)
  • 在浏览器开启代理的前提下,客户端发送的所以请求都会先经过Fiddler,再转发到相应的服务器,同理响应也是相同的道理。而Fiddler就是通过代理的接口捕获相应的请求和响应的

1.2 Fiddler的下载

  • 这里就不细说了,网上教程还是比较多,下面配置就从安装好第一次打开开始

1.3 Fiddler页面

要想精通学会Fiddler,就需要在这里面每一个操作都需要了解

1.3.1 主界面介绍(6大块)

  • 分别是1. 菜单栏 2. 工具栏 3. 会话区(数据报文、数据包) 4. 功能页签 5. 命令行 6. 状态栏

fiddler python 密码 python fiddler模块_抓包

1.3.2 菜单栏

  • file栏
  • fiddler python 密码 python fiddler模块_fiddler python 密码_02

  • edit栏
  • fiddler python 密码 python fiddler模块_fiddler python 密码_03

  • rules栏
  • fiddler python 密码 python fiddler模块_fiddler python 密码_04

  • tools栏
  • fiddler python 密码 python fiddler模块_重启_05

  • help栏

1.3.3 工具栏

1.3.4 数据报文

  • 一般只看到URL就行了,后面的都是一般不需要的资源

1.3.5 功能页签

  • 在功能页签有4个最主要的功能
  • 查看,自动调试,接口请求,过滤器
  • 统计
  • fiddler python 密码 python fiddler模块_HTTPS_06

  • 查看
  • fiddler python 密码 python fiddler模块_抓包_07

  • 自动调试
  • fiddler python 密码 python fiddler模块_HTTPS_08

  • 接口请求
  • fiddler python 密码 python fiddler模块_fiddler python 密码_09

  • Fiddler脚本
  • fiddler python 密码 python fiddler模块_HTTPS_10

  • 过滤器
  • fiddler python 密码 python fiddler模块_重启_11

1.3.6 命令框

  • 可以输出一些常用命令

1.3.7 状态栏

fiddler python 密码 python fiddler模块_fiddler python 密码_12

1.4 抓包

  1. 选择过滤器,在第二个下拉框选择show only the following Hosts:仅展示主机的包
  • 例如:
  • 仅展示在这个地址下面的包。用英文分号结束
  1. 通过快捷键shift+F5缓存刷新获得目标页面
  • 因为浏览器一般默认通过缓存加载页面,不刷新可能得不到目标页面
  1. 找到目标包
  • 找包技巧:一般图片这些就直接跳过,找链接包,再通过包的请求头之类的查找是不是目标包

1.5 抓取HTTPS包(抓手机包)

在Fiddler中,抓取HTTPS包是需要做一点小设置的,通过设置HTTPS顺便讲一点点手机抓包

1.5.1 设置Fiddler

  1. Tools里面打开Options中的HTTPS
  2. fiddler python 密码 python fiddler模块_fiddler python 密码_13

    • Canure HTTPS CONNECTS:捕获HTTPS链接
    • Decrtypt HTTPS traffic:解密HTTPS报文
  3. 再在Connections
  • Allow remote computers to connect:允许外部电脑连接到FIddler
  • 因为我们要连接手机

1.5.2 安装证书生成器

  • 作用就是生成证书

1.5.3 更新Fiddler证书

  • 然后根据弹窗选择“是的/yes”

1.5.4 安装手机证书

要是不明白可以在网上查找相关文档

  • 要求:
  1. 手机电脑处于同一局域网
  • 步骤:
  1. 手机电脑连上同一局域网
  2. 打开浏览器下载证书
  • 连上同一局域网,在浏览器输入http://IP地址:Fiddler代理端口/
  • 例如:\(http://192.168.10.2:8888/\)
  • 注意:
  1. 加载不进网页的问题:排除输入的问题多半就是Fiddler更新证书后没有重启
  1. 手机设置FIddler代理服务器IP地址
  • - 为的是Fiddler能够捕获手机的HTTPS
  1. 下载完成后,重启FIddler,开始抓包