1. 手机APP数据----写在前面继续练习pyspider的使用，最近搜索了一些这个框架的一些使用技巧，发现文档竟然挺难理解的，不过使用起来暂时没有障碍，估摸着，要在写个5篇左右关于这个框架的教程。今天教程中增加了图片的处理，你可以重点学习一下。2. 手机APP数据----页面分析咱要爬取的网站是 http://www.liqucn.com/rj/new/ 这个网站我看了一下，有大概20000页
@author: ckg'''import urllib2import jsonfrom cookielib import CookieJarloginUrl = 'http://wmapi.meituan.com/api/v7/poi/homepage?utm_medium=android&utm_content=869818029363962&utm_term=50403&utm_source=1046&ci=1&utm_campa
原创
2021-08-28 09:51:44
5172阅读
一、
1.安卓端模拟器环境搭建
2.抓包利器使用
3.自动化控制工具使用
4.利用Python编写爬虫app数据
转载
2023-05-28 22:20:35
57阅读
目录：导读前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜） 前言Fiddler 抓不到浏览器包的常见原因代理未设置成功fiddler之所以能抓包，本质上是因为浏览器/App/软件设置了代理为fiddler。一旦遇到抓不到包的情况，
转载
2023-10-28 07:34:24
114阅读
HTTP代理神器FiddlerFiddler是位于客户端和服务器端之间的代理，也是目前最常用的抓包工具之一 。它能够记录客户端和服务器之间的所有 请求，可以针对特定的请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。 看到这么多的应用，是不是就迫不及待的想要开始你的抓包之旅呢，不要急，俗话说的好：工欲善其事，必先利其器，我
转载
2023-09-01 22:11:59
78阅读
Fiddler抓取HTTPS设置注意以下操作的前提是，手机已经能够连上Fiddler，这部分的配置过程简单就不赘述了，可参考：手机如何连接Fiddler 。 如何继续配置让Fiddler抓取到HTTPS协议呢？ （一）给fiddler安装certmaker插件 由于默认的证书不符合Android和iOS的证书要求，所以，需要下载 certmaker 插件，双击安装后，重启fiddler。注意这一步
转载
2023-12-31 09:00:19
207阅读
自从建行不断优化内部app后，目前最新的版本已经将“调额申请查询”抓包的漏洞封死了。很多小伙伴在调额失败后，系统统一显示的基本上就是R00，而想要具体知道是什么原因只能通过抓包软件。 抓包准备工作：1、苹果手机下载stream，通过“设置”进入“HTTPS抓包”，安装CA证书后，在手机内设置信任CA(设置—通用—关于—证书信任设置)。安卓手机下载packet capture就可以了，很
转载
2023-11-18 17:15:50
19阅读
# 抓取App接口数据的流程
## 1. 理解抓取App接口数据的概念
在开始之前，我们需要明确什么是抓取App接口数据。App接口数据是指从App的接口中获取到的数据，一般以JSON格式返回。抓取App接口数据是指通过模拟App的请求，向接口发送请求并获取返回的数据。
## 2. 抓取App接口数据的流程
```mermaid
flowchart TD
A[准备工作] --> B[
原创
2023-11-24 13:49:00
81阅读
不少人觉得抓包是一个很高级的东西，感觉涉及到了网络的知识，相信不少从业互联网行业的人对抓包是没有概念的，做web开发的同学可能比较熟悉使用 chrome 的开发者面板来进行抓包，但是对于 wireshark 或者是 tcpdump 这类的工具却并不熟悉，本篇文章就可以让你快速上手 wireshark 的基础使用，话不多说，快来体验吧1.下载 wireshark 软件 工欲善其
转载
2024-03-09 21:04:05
23阅读
简介网络抓包是一种常用的技术手段，用于捕获和分析网络数据包。通过使用Python编程语言，我们可以开发自己的网络抓包工具，以便在网络通信中进行数据分析、安全审计和性能优化。本文将介绍如何利用Python开发一个简单而功能强大的网络抓包工具，并提供详细的步骤和示例代码。步骤1、安装必要的库 首先，我们需要安装一些Python库来帮助我们进行网络抓包。在命令行中运行以下命令来安装所需的库：pip in
转载
2024-06-01 16:52:14
112阅读
最近项目设计到App抓包，所以采用Fiddler工具来采集获取APP数据包，但是fiddler对有些app是无法捕获到数据包的，以下是我的处理方法：1. 我默认代理端口使用的是自定义的端口而不是默认的8888端口；2. 手机端安装Fiddler证书，电脑端关闭防火墙对我采集的app来说亲测有效能获取到数据包，记录一下操作过程： 以下是我对安卓App进行抓取的步骤：1. &nb
转载
2023-10-13 21:38:58
296阅读
安装Charles(针对新手)双击打开已下载好得Charles，点击Next进行下一步。 点击I accept the terms in the License Agreement，在点击Next。 自己选择安装路径，然后在点击Next。 点击Install即可进行安装。 等待安装完成。 点击Finish即可完成安装。 安装完成后你会发现桌面上没有快捷方式，这个得需要自己进行配置，下面进行设置快捷
转载
2024-07-30 20:37:15
139阅读
Packet Capture Assistant是一个Android数据包捕获工具软件，可在移动终端上执行自动实时信令数据包捕获和信令分析分析，并在服务器端自动分析APP交互过程。软件介绍数据包捕获助手将业务交互的自动分析作为创新亮点。它在移动终端上执行自动实时信令包捕获和信令分析与分析，并在服务器端自动分析APP交互过程。同时，基于确定移动终端上互联网服务障碍的算法和机制，建立了完善的移动互联网
转载
2023-07-28 19:01:10
208阅读
123目录Scapyscapy的安装和使用 发包发包和收包 抓包 将抓取到的数据包保存查看抓取到的数据包 格式化输出过滤抓包Scapyscapy是python中一个可用于网络嗅探的非常强大的第三方库，可以用它来做 packet 嗅探和伪造 packet。 scapy已经在内部实现了大量的网络协议。如DNS、ARP、IP、TCP、UDP等等，可以用它来编写非常灵活实用的工具。换言之，Scapy 是一
先介绍清楚环境，我用的是我的旧电脑，windows电脑，wireshark软件（这个是免费的，100分），抓的数据是Android和ios端的某些app的视频数据这里插播一个我的心路历程吧，之前同事介绍用charles和wireshark，我都玩了一会，这两个软件都有windows版的，下面先讲讲我对这两个软件的了解：charles是个付费软件，也有试用版，试用版对功能方面没有进行阉割，但是会不定
转载
2024-03-10 10:35:04
320阅读
概述App的爬取相比Web端爬取更加容易，反爬中能力没有那么强，而且响应数据大多都是JSON形式，解析更加简单。在APP端若想查看和分析内容那就需要借助抓包软件，常用的有：Filddler、Charles、mitmproxy、Appium等。mitmproxy是一个支持HTTP/HTTPS协议的抓包程序，类似Fiddler、Charles的功能，只不过它通过控制台的形式操作。Appium是移动端的
转载
2023-08-30 11:06:26
161阅读
一．为什么要使用wireshark爬虫的原理就是通过模拟发送请求来获得服务器的返回，从而抓取所需要的信息。对于pc上的浏览器，可以通过查看源代码，或者查看json文件（使用js加载的）来获得请求。但是对于app这样的软件，我们只能通过wireshark来捕获当我们触发了某个事件，到底是发送了哪些请求。（当然它也可以用来捕捉浏览器的包）二．怎么使用wiresharkWireshark的功能十分强大，
转载
2023-11-06 17:05:46
388阅读
# Python模拟iOS app抓包的流程
在开始之前，首先明确一点，模拟iOS app抓包是通过网络抓包工具与手机进行通信，获取手机上App与服务器之间的网络请求与响应数据。下面将详细介绍整个流程，并给出每一步需要做的事情以及相应的代码示例。
## 流程表格
以下表格展示了模拟iOS app抓包的流程，包括每一步的具体任务和相应的代码示例。
| 步骤 | 任务
原创
2023-07-30 03:18:55
187阅读
# Python抖音App抓包
抖音是一款非常流行的社交娱乐应用程序，用户可以在抖音上分享短视频、直播互动等。对于开发者来说，抖音App的数据抓取是一个很有意义的事情，可以用于数据分析、市场研究等。在本文中，我们将介绍如何使用Python来抓取抖音App的数据，具体来说是通过抓包的方式获取数据。
## 1. 准备工作
在开始之前，我们需要安装一个抓包工具，如Fiddler、Charles、W
原创
2024-05-23 04:47:46
796阅读
# 如何使用Python抓取App的包
## 问题背景
在移动应用开发过程中，我们经常需要获取App的包信息，例如包名、版本号、签名等。这些信息对于移动应用的测试、分析和安全评估非常重要。在本文中，我们将介绍如何使用Python来抓取App的包信息，并提供一个实际的示例来解决这个问题。
## 解决方案
为了抓取App的包信息，我们可以使用`androguard`库。`androguard`
原创
2023-10-05 16:33:22
377阅读
