文章目录前言一、什么是http和https协议二、在浏览器中发送一个http请求的过程三、url详解四、常用的请求方法五、请求头常见参数六、常见响应状态码 前言摘录自B站对应课程笔记不愧是清华大佬！把Python网络爬虫讲得如此简单明了！从入门到精通保姆级教程（建议收藏） 以下是本篇文章正文内容，下面案例可供参考一、什么是http和https协议
HTTP协议：全称是HyperText Tran
转载
2023-07-31 21:33:33
354阅读
# Python抓包HTTPS流程
抓包是指捕获网络数据包并分析其中的内容。在Python中，我们可以使用第三方库`mitmproxy`来进行HTTPS抓包操作。下面将详细介绍如何使用Python抓包HTTPS的流程以及每一步所需要的代码。
## 1. 安装mitmproxy
首先，我们需要安装`mitmproxy`库。可以使用以下命令进行安装：
```python
pip install
原创
2023-07-22 17:53:53
1421阅读
01 抓包工具原理HTTP由于HTTP请求是没有加密的，也没有做任何验证，所以抓包工具直接将请求转发即可。HTTPS由于HTTPS请求，客户端会使用服务端的证书来加密数据，而且会验证服务端是否是真正的目标服务端。 所以抓包工具在抓包HTTPS请求时，会进行伪装。首先用抓包工具自己的证书向客户端伪装成服务端，然后向服务端发送请求时伪装成客户端。以此来实现数据的抓取和转发。&nb
转载
2023-06-19 10:53:15
443阅读
python爬虫之HTTP和HTTPs1. 基础定义2. HTTP工作原理2.1 爬虫过程2.2 HTTP的请求与响应2.3 URL2.4 客户端HTTP请求2.5 请求方法2.5.1 请求方法2.5.2 HTTP请求主要分为 Get 和 Post 两种方法2.5.3 常用的请求报头2.5.4 服务端HTTP响应2.5.5 响应状态码2.5.6 Cookie 和 Session： 1. 基础定义
转载
2023-09-24 09:30:37
214阅读
背景Https即HTTP over TLS。为避免Http明文传输带来的安全隐患，我们可以对传输的数据进行加密，考虑到性能问题，使用对称加密算法。客户端需要知道服务端使用的密钥及加密算法，如何保证密钥的安全传输呢？这里可以使用非对称加密算法，使用服务端的公钥pubKey来加密传输密钥key。公钥是明文传输的，中间人仍然可以使用自己的公钥加密key欺骗客户端。 TLS使用证书进行身份认证，保
转载
2024-01-27 16:51:09
104阅读
一、安装姿势：官网下载地址：http://www.telerik.com/fiddler1、fiddler默认只能抓http请求，如果要抓https还需要进行一下设置： 通过Tools>Options>https>勾选Dectypt https traffic和Ignore server certificate errors(unsafe)，再导出证书,如下图：2、浏览
转载
2023-10-27 21:26:51
539阅读
iOS9推出的时候，苹果希望大家使用https协议，来提高数据传输之间的安全性。下面我就从最简单的代码介绍，如何在工程中设置，来支持https的请求。一、证书准备篇1.证书转换 在服务器人员，给你发送的crt证书后，进到证书路径，执行下面语句 // openssl x509 -in 你的证书.crt -out 你的证书.cer -outform der 这样你就可以得到cer类型的证书了。双
转载
2024-01-24 13:39:20
25阅读
可以使用Python库中的"requests"来抓取通过云服务器上转发的HTTPS数据包。请求网页时，只需使用requests.get()或requests.post()方法，并在URL前加上"https://"即可。 例如：import requests
response = requests.get("https://www.example.com")
print(response.conte
转载
2023-05-26 09:38:39
69阅读
电脑环境python:3.7requests:2.22.0fiddler:v5.0.20 一、SSL问题1.在你不启用fiddler时，python代码直接发送https请求，不会有SSL问题（也就是说不想看到SSL问题，关掉fiddler就行） 2.启动fiddler抓包，会出现SSLError这个错误：requests.exception
转载
2023-05-26 19:54:00
110阅读
# iOS抓包抓不到HTTPS的解决方法
## 引言
在iOS开发过程中，我们经常需要进行网络抓包来调试和分析应用的网络请求。但是，iOS从某个版本开始默认开启了HTTPS连接的SSL Pinning功能，导致我们无法直接抓取到HTTPS请求的数据包。那么如何解决这个问题呢？本文将介绍一种常用的解决方案，帮助刚入行的小白实现iOS抓包抓取HTTPS请求的方法。
## 整体流程
下面是整个解
原创
2023-12-18 12:43:52
596阅读
参考：Burp Suite抓HTTPS数据包（通用）我的firefox不知道是插件还是它本身设置出现了问题，还是没抓到https，我将上文中的PortSwiggerCA.crt装载ie里面，能够抓到ie的https。
转载
精选
2015-12-31 17:29:24
767阅读
Charles抓包https 抓取HTTPS请求包，对数据进行排查检验1.安装Charles2.电脑安装Charles证书 电脑安装证书 双击还是信任下吧 3.手机安装证书 手机安装证书 4.手机网页输入网址 下载证书并信任 手机证书下载网址 安装到手机上 注意：在iOS 10.3之前,当
转载
2018-10-17 11:09:00
594阅读
2评论
打开Fiddler https抓包 安装证...
转载
2018-09-01 13:24:00
445阅读
2评论
# Android Https抓包实现指南
## 引言
在Android开发中，有时我们需要对网络请求进行抓包分析，以便调试和优化程序。本文将向你介绍如何在Android应用中实现Https抓包功能。首先，我们将通过一个流程图来展示整个操作的步骤，然后逐步详细介绍每一步需要做什么，并提供相应的代码示例。
## 流程图
```mermaid
flowchart TD
A[创建Androi
原创
2024-01-16 10:11:15
265阅读
专题二：实际抓包分析本文对百度搜索进行了两次抓包，第一次抓包之前清理了浏览器的所有缓存；第二次抓包是在第一次抓包后的半分钟内。百度在2015年已经完成了百度搜索的全站https，这在国内https发展中具有重大的意义（目前BAT三大家中，只有百度宣称自己完成了全站HTTPS）。所以这篇文章就以www.baidu.com为例进行分析。同时，作者采用的是chrome浏览器，chrome支持SNI&nb
就是直接在Burp Suite上导出证书 在Proxy中的Options中 点【import/export CA certificate】 选第一个，然后 Next 这里，直接输入【cacert.der】 然后Next 就好了 然后，在Burp Suite 的同级目录下会多出一个刚刚的cacert. ...
转载
2021-08-02 15:52:00
532阅读
2评论
1、fiddler下载：https://www.telerik.com/fiddler2、打开fiddler，找到tools-options3、选择https：勾选图示项4、Actions中导出证书5、在浏览器中导入证书
原创
2023-02-02 21:05:00
265阅读
function parseURL(url) {
var a = document.createElement('a');
a.href = url;
return {
source: url,
protocol: a.protocol.replace(':',''),
host: a.hostname,
简介charles同fiddler一样，也是一款非常优秀的抓包工具，抓包原理同fiddler一样，也是中
原创
2023-06-28 14:19:09
225阅读
概述网上wiresh
原创
2023-06-28 14:22:39
884阅读
