基本原理爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。爬虫就是获取网页并提取和保存信息的自动化程序，其主要有如下三个步骤：获取网页：爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息了。爬虫首先向网站的服务器发送一个请求，返回的响应体便是网页源代码。Python中提供了许多库（如urlli
转载
2023-07-01 01:27:13
320阅读
我使用的环境为：Windows10、python3.6、scapy 2.4.0
一、基本知识Sniff方法定义：sniff(filter="",iface="any", prn=function, count=N)filter的规则使用 Berkeley Packet Filter (BPF)语法
iface用来指定要在哪个网络接口上进行抓包（通常不指定即所有网络接口）
prn指定回调函数，每当一
转载
2023-06-19 14:38:07
297阅读
文章目录前言一、什么是http和https协议二、在浏览器中发送一个http请求的过程三、url详解四、常用的请求方法五、请求头常见参数六、常见响应状态码 前言摘录自B站对应课程笔记不愧是清华大佬！把Python网络爬虫讲得如此简单明了！从入门到精通保姆级教程（建议收藏） 以下是本篇文章正文内容，下面案例可供参考一、什么是http和https协议
HTTP协议：全称是HyperText Tran
转载
2023-07-31 21:33:33
354阅读
# 如何实现“python3 抓包sip”
## 流程图
```mermaid
graph TD;
A[开始] --> B{抓包sip};
B --> C[安装抓包工具];
C --> D[编写抓包代码];
D --> E[执行代码];
```
## 甘特图
```mermaid
gantt
title Python3抓包sip任务时间表
s
原创
2024-05-31 06:40:13
60阅读
# Python抓包HTTPS流程
抓包是指捕获网络数据包并分析其中的内容。在Python中，我们可以使用第三方库`mitmproxy`来进行HTTPS抓包操作。下面将详细介绍如何使用Python抓包HTTPS的流程以及每一步所需要的代码。
## 1. 安装mitmproxy
首先，我们需要安装`mitmproxy`库。可以使用以下命令进行安装：
```python
pip install
原创
2023-07-22 17:53:53
1421阅读
python爬虫之HTTP和HTTPs1. 基础定义2. HTTP工作原理2.1 爬虫过程2.2 HTTP的请求与响应2.3 URL2.4 客户端HTTP请求2.5 请求方法2.5.1 请求方法2.5.2 HTTP请求主要分为 Get 和 Post 两种方法2.5.3 常用的请求报头2.5.4 服务端HTTP响应2.5.5 响应状态码2.5.6 Cookie 和 Session： 1. 基础定义
转载
2023-09-24 09:30:37
214阅读
01 抓包工具原理HTTP由于HTTP请求是没有加密的，也没有做任何验证，所以抓包工具直接将请求转发即可。HTTPS由于HTTPS请求，客户端会使用服务端的证书来加密数据，而且会验证服务端是否是真正的目标服务端。 所以抓包工具在抓包HTTPS请求时，会进行伪装。首先用抓包工具自己的证书向客户端伪装成服务端，然后向服务端发送请求时伪装成客户端。以此来实现数据的抓取和转发。&nb
转载
2023-06-19 10:53:15
443阅读
tcpdump是一个抓包工具。tcpdump可以将网络中传送的数据包完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。http包的结构：firefox f12工具查看：tcpdump使用tcpdump [ -adeflnNOpqStvx ] [ -c 数量 ] [ -F 文件名 ][ -i 网络接口 ] [ -r 文件
背景Https即HTTP over TLS。为避免Http明文传输带来的安全隐患，我们可以对传输的数据进行加密，考虑到性能问题，使用对称加密算法。客户端需要知道服务端使用的密钥及加密算法，如何保证密钥的安全传输呢？这里可以使用非对称加密算法，使用服务端的公钥pubKey来加密传输密钥key。公钥是明文传输的，中间人仍然可以使用自己的公钥加密key欺骗客户端。 TLS使用证书进行身份认证，保
转载
2024-01-27 16:51:09
104阅读
可以使用Python库中的"requests"来抓取通过云服务器上转发的HTTPS数据包。请求网页时，只需使用requests.get()或requests.post()方法，并在URL前加上"https://"即可。 例如：import requests
response = requests.get("https://www.example.com")
print(response.conte
转载
2023-05-26 09:38:39
69阅读
import socket
# 第一步 获取域名或ip地址
host = 'www.baidu.com'
port = 80
header = b'GET / HTTP/1.1\r\nHost: www.baidu.com\r\nConnection: close\r\n\r\n'
# 第二步 域名解析 将url(网址)转换为ip地址
for res in socket.getaddrinf
转载
2023-05-31 09:41:38
219阅读
一、http和https协议差别http默认采用80作为通讯端口，对于传输采用不加密的方式 https默认采用443，对于传输的数据进行加密传输。http协议明文传输；https是集对称加密（通信）和非对称加密（协商行为）为一体的加密过程前提：服务器端向证书颁发机构(CA)申请一个证书，CA记录下证书的相关信息；客户端浏览器已经内置了可信任CA的列表；流程：客户端使用浏览器访问服务器时，
一、抓包前准备工作目录一、抓包前准备工作二、准备好后, 开始您的实地操作吧!三、安装证书上俺遇到的问题分享给大家 : 1. 抓包工具 : Charles-MAC OS版本 「官网安装地址 : https://www.charlesproxy.com/download/ 展示情况如下图所示, 根据自己需要的版本去下载, 这里用的是mac OS版本」2. 操作系统 : M
转载
2023-10-13 12:57:37
518阅读
Charles抓包https 抓取HTTPS请求包，对数据进行排查检验1.安装Charles2.电脑安装Charles证书 电脑安装证书 双击还是信任下吧 3.手机安装证书 手机安装证书 4.手机网页输入网址 下载证书并信任 手机证书下载网址 安装到手机上 注意：在iOS 10.3之前,当
转载
2018-10-17 11:09:00
594阅读
2评论
就是直接在Burp Suite上导出证书 在Proxy中的Options中 点【import/export CA certificate】 选第一个，然后 Next 这里，直接输入【cacert.der】 然后Next 就好了 然后，在Burp Suite 的同级目录下会多出一个刚刚的cacert. ...
转载
2021-08-02 15:52:00
532阅读
2评论
1、fiddler下载：https://www.telerik.com/fiddler2、打开fiddler，找到tools-options3、选择https：勾选图示项4、Actions中导出证书5、在浏览器中导入证书
原创
2023-02-02 21:05:00
265阅读
简介charles同fiddler一样，也是一款非常优秀的抓包工具，抓包原理同fiddler一样，也是中
原创
2023-06-28 14:19:09
225阅读
概述网上wiresh
原创
2023-06-28 14:22:39
884阅读
打开Fiddler https抓包 安装证...
转载
2018-09-01 13:24:00
445阅读
2评论
专题二：实际抓包分析本文对百度搜索进行了两次抓包，第一次抓包之前清理了浏览器的所有缓存；第二次抓包是在第一次抓包后的半分钟内。百度在2015年已经完成了百度搜索的全站https，这在国内https发展中具有重大的意义（目前BAT三大家中，只有百度宣称自己完成了全站HTTPS）。所以这篇文章就以www.baidu.com为例进行分析。同时，作者采用的是chrome浏览器，chrome支持SNI&nb
