以前写过一篇使用python爬虫抓站的一些技巧总结，总结了诸多爬虫使用的方法；那篇东东现在看来还是挺有用的，但是当时很菜（现在也菜，但是比那时进步了不少），很多东西都不是很优，属于”只是能用”这么个层次。这篇进阶篇打算把“能用”提升到“用得省事省心”这个层次。一、gzip/deflate支持 现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以VeryCD的主页为例，未压缩版本
本文主要介绍windows中抓包命令，以及保存为多个文件的方法说一说保存为多个文件存储数据包这个问题的由来，一般如果长时间抓包，有可能需要等上几个小时，因为这个时候抓包的内容都是存放在内存中的，几个小时的数据包，特别是如果涉及到音视频的数据包是很大的，几个小时可能会达到几个G的大小，这种情况下会导致内存溢出，程序直接异常。这个时候就需要考虑使用自动分文件存储来抓包了。（一）使用wireshark图
转载
2023-10-14 16:40:09
570阅读
1.1 谷歌浏览器内置抓包工具谷歌浏览器 chrome自带的 http 抓包工具界面简洁大方，功能也很强大，唯一的不足就是界面是英文的。打开方式一：点击右上角的菜单-->更多工具-->开发者工具。 打开方式二：按快捷键：F12 谷歌浏览器内置抓包工具各种显示方式。 【UnDock into separate window】: 点击右上方的 Un
转载
2024-03-06 21:41:08
0阅读
Fiddler的安装与使用Fiddler的简介 Fiddler是位于客户端和服务器端之间的代理，也是目前最常用的抓包工具之一 。它能够记录客户端和服务器之间的所有 请求，可以针对特定的请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。一、F
转载
2023-08-25 23:42:16
664阅读
最近工作上有用到tcpdump的一个抓包工具，所以记录一下：应用场景在日常工作中遇到的很多网络问题都可以通过 tcpdump 优雅的解决：相信大多数同学都遇到过 SSH 连接服务器缓慢，通过 tcpdump 抓包，可以快速定位到具体原因，一般都是因为 DNS 解析速度太慢。当我们工程师与用户面对网络问题争执不下时，通过 tcpdump 抓包，可以快速定位故障原因，轻松甩锅，毫无压力。当我们新开发的
转载
2024-01-12 13:53:15
133阅读
②UDP协议Source port：52343是端口号（用来传输数据包的端口）Destination port：45448是目的端口号（用来数据包将要被传输到的端口）Length：73是数据包字节长度Checksum：0xb4b0是数据段的校验和（用来确保UDP首部和数据部分的完整性）如图可知UDP是不分片的三、网络层①IP报文Version是版本：4Header Length是长度：20字节Di
转载
2024-02-10 14:38:20
114阅读
每周知识总结（三）一.什么是抓包二.int和long long的极限三.DNS四.路由器五.编译性语言和解释性语言六.jdbc七.单播、多播（组播）和广播八.NULL和nullptr九.unordered_map与map的区别 一.什么是抓包抓包（packet capture）就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作，也用来检查网络安全。抓包也经常被用来进行数据截取等。抓
转载
2023-10-08 11:22:53
239阅读
引言在苹果手机的iOS系统相对封闭的情况下，抓包工具并不是很常见。大多数人可能对这类工具并不熟悉，除了少数安全专家之外，一般用户很少会接触到这些工具。然而，在某些特定场景下，比如网络调试、安全测试等，抓包工具的作用不可忽视。本文将介绍三款在iOS系统下比较优秀的HTTP抓包App，并探讨在使用过程中的一些优化方法和注意事项。1. ThorThor（锤子）是一款知名的抓包App，售价约为68美元。其
转载
2024-08-23 17:21:46
80阅读
一、知识点1.1抓包技术应用意义有些应用是看不到的1.2抓包技术应用对象手机app、小程序、PC应用1.3抓包技术应用协议1.4抓包技术应用支持Windows、Linux1.5封包技术应用意义二、演示案例2.1WEB 应用站点操作数据抓包-浏览器审查查看元素网络2.1.1抓包封包工具Fiddler：是一个 协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的 通
转载
2024-02-01 21:34:20
101阅读
1. Chrome DevTools1. Network功能Network主要有5个视窗，分别有不同的功能：Controls 工具栏：用来控制Network的功能及外观。Filters 筛选栏：根据筛选条件筛选请求列表，按住 command/ctrl 键可多选。Overviews 概览：资源被加载过来的时间线，如果多条时间线垂直堆叠，表示多个资源被并行加载。Request Table 请求列表：该
1. 抓包环境搭建关键需要一个集线器。将入口网线连到集线器，再从集线器分出两条线，一条线连接盒端，一条线连接电脑。硬件上需要准备的完成后，就可以开始使用wireshark抓包工具抓包。2. 详细抓包教程2.1 进入wireshark主菜单 首先启动程序看到主菜单(图1) 图1界面菜单简单介绍如下：1. 菜单——用于开始操作。2. 主工具栏——提供快速访问菜单中经常用到的项目的功
转载
2024-03-28 17:06:02
170阅读
这篇文章主要介绍一下 Wireshark 抓包工具获取到的 HTTP协议 相关的数据，然后对这些数据进行简单的分析，主要目的是更深入的理解 HTTP协议，然后了解一下网络为什么要分层， OSI模型和TCP/IP模型的区别。1.HTTP 协议抓包实战1.1 打开 Wireshark 工具，选中正在使用的网卡 以
转载
2024-04-10 13:33:12
185阅读
Proxyman是一款直观易用的 HTTP 调试工具，拥有出色的 UI 和交互设计， 性能强劲资源占用低。自动生成证书，轻松在 Mac 端启用 SSL 代理抓包，并且集成移动设备的调试。由于localhost相关的请求报文将不会经过实际的网络适配器，需要特殊配置才能抓包localhost。
参看grpc的数据包监控解决方案1：使用localhost.proxyman.ioProxyman uses
原创
2023-06-22 07:37:11
2014阅读
tcpdump（1）定义：tcpdump(dump the traffic on a network):根据使用者的定义对网络上的数据包进行截获、分析的工具。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。（2）特点：tcpdump功能强大，截取策略灵活，是高级的系统管理员分析网络、排查问题等所必备的工具之一。tcpdump提供了源代码，
转载
2024-07-27 20:57:24
87阅读
目录 FiddlerCharles优点：缺点：WiresharkWireshark 工具的优点：Wireshark 工具的缺点：BurpSuiteF12TCPdump总结作为软件测试工程师，抓包总是不可避免：遇到问题要做分析需要抓包；发现 bug 需要要抓包；检查数据传输的安全性需要抓包；接口测试遇到需求不全的也需要抓包... 就因为抓包在测试工作中无处不在，所以市面上才会出现一大
转载
2023-10-04 10:17:20
229阅读
burp+Proxifier进行抓包安装证书安装完证书配置主机代理，可以直接从chrome进入要注意选择安装在受信任的根证书颁发机构下Proxifier设置burp的代理因为用的burp所以放过java的包，其他包走代理这种方法并不能抓取到登陆包然后再关闭代理，登录完成后进行Proxifier的流量转发Fiddler Everywhere+burp使用安装Fiddler Everywhere证书设
转载
2023-08-16 16:15:12
68阅读
首先，咱们开启Cisco Packet Tracer软件，我这用的是5.3版，英文实在不好的可以将软件汉化，推荐使用英文版，对学习有好处。
开启软件后，正常模式是实模式，如图：
点击右下角的模式切换咱们切换到“模拟模式”，界面如下：
好，咱们先关掉下面弹出的这个窗
开始捕获：1. 打开Wireshark。从主下拉菜单中选择Capture，然后是Interface（捕获 --> 选项）。wireshark是捕获机器上的某一块网卡的网络包，当你的机器上有多块网卡的时候，你需要选择一个网卡。2. 这时你应该可以看到一个对话框，里面列出了你可以用来捕获数据包的各种设备，以及它们的IP地址。3. 选择你想要使用的设备，如图所示，单击Start，或者直接单击欢迎画
转载
2023-12-24 14:53:16
88阅读
1：fiddler的介绍和安装 1.1:fiddler
的介绍 Fiddler
是一款
HTTP
协议调试代理工具
,
它能够抓取记录本机所有
HTTP(S)
请求
.
其运行机制其实就是本机 127.0.0.1
上监听
8888
端口的
HTTP
代理 Fiddler
无论对开发或者测试人员
转载
2023-08-24 17:59:34
276阅读
什么是抓包？抓包（packet capture）就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作，也用来检查网络安全。抓包也经常被用来进行数据截取等。为什么要抓包？问题、分析包！在程序运行时，数据都是以数据包的形式进行传输，发送和接收数据的过程中，可能发出的数据有错误的数据，也可能接收的包中有错误的数据，从而导致程序处理出错，因此我们直接抓取传输的数据包，通过其他工具或方法解析
转载
2023-11-16 10:49:04
74阅读
