Python网络爬虫之-HTTP协议原理1. 爬虫之http基本原理2. 浏览器解析概述Cookie技术 1. 爬虫之http基本原理URI(统一资源表示符)中包含(URL<统一资源定位符>/URN<统一资源名称>)HTTP(超文本传输协议)/HTTPS(安全套接层上的超文本传输协议/Hyper Text Protocol over Security Socket Lay
# Python SSL爬虫实现指南
## 1. 简介
在本篇文章中，我将向你介绍如何使用Python编写一个SSL爬虫。SSL（Secure Sockets Layer）是一种用于加密网络通信的安全协议，它可以确保你的爬虫在与网站进行数据交换时的安全性。
## 2. 流程图
以下是该SSL爬虫的主要流程图：
```mermaid
flowchart TD
A[开始] --> B[建立SSL
原创
2023-11-17 18:07:15
68阅读
# 如何实现Python SSL加密
## 1. 整体流程
为了实现Python中的SSL加密，我们需要完成以下步骤：
```mermaid
gantt
title SSL加密实现流程
section SSL加密
生成SSL证书: done, 2022-01-01, 1d
服务端搭建SSL环境: done, 2022-01-02, 1d
客户端连接SSL服
原创
2024-06-14 04:06:06
42阅读
1、环境搭建通过python代码模拟js去生成加密数据完成数据，需要用到PyExecJS模块 ①安装模块pip install pyexecjs通过模块的方法来读取js代码，也可以用js2py(不更新维护了)、selenium(driver.wxecute_script(js代码))去执行js文件，这里以pyexecjs为例 ②python调用js代码的时候需要nodejs的环境(安装步骤如下
转载
2023-08-06 16:57:27
95阅读
1base64Python内置的base64模块可以实现base64、base32、base16、base85、urlsafe_base64的编码解码，python 3.x通常输入输出都是二进制形式，2.x可以是字符串形式。base64模块的base64编码、解码调用了binascii模块，binascii模块中的b2a_base64()函数用于base64编码，binascii模块中的a2b_b
转载
2023-09-06 00:37:37
85阅读
下载证书:证书下载什么的就不说了，直接复制走起 1.在SSL证书页面，单击已签发标签，定位到需要下载的证书并单击证书卡片右下角的下载。2.定位到IIS服务器类型并单击右侧操作栏的下载将IIS版证书压缩包下载到本地。PS：每次下载证书都会产生新的密码，该密码仅匹配本次下载的证书。如果需要更新证书文件，同时也要更新匹配的密码文件 。3.下载得到得到的文件如下： 一个是pfx SSL证书文件，一个是密码
转载
2023-09-04 15:10:11
92阅读
用python爬虫抓站的一些技巧总结 zz 学用python也有3个多月了，用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过在discuz论坛中自动登录自动发贴的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本，本来想写google music的抓取脚本的，结果有了强大的gmbox，也就不用写了。 这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，再加上simp
转载
2023-12-26 23:04:21
51阅读
前言在爬取某些网站的时候，获取的返回数据不是意料中的html，而是一大串毫无格式的js，例如：var arg1='38B18065C640DD60B8A3AD8BFA4DE2D694EDD37C';
var _0x4818=['\x63\x73\..具体如图所示：解密过程格式化JS其实，js中字符就是被\0x50这种给的十六进制加密，只需要粘贴去https://tool.lu/js解密即可 在此图
转载
2023-08-31 08:40:48
331阅读
首先说一下什么是加密，所谓js加密大多出现在表单提交过程中，下面我将以中国电信为例，详细讲解如何利用pyv8来加密登录的密码。要说明的是pyv8目前仅仅支持python2,用的下伙伴要注意自己的python版本，(当然关于python3的下伙伴，我下一章会讲到，利用pyExecjs来执行JS效果同pyv8一样)首先我们找到电信的用户登录了解http://login.189.cn/web/login
转载
2023-10-17 20:47:55
116阅读
昨天研究一天密码学，把一些简单的概念给弄清楚了。
2种加密方式：symmetric-key encryption（对称加密） public-key encryption（公钥加密）
第一种对称加密：数据经过一个对称密钥加密，然后在解密端通过同一个对称密钥解密。优点:速度快，而且大数据的加解密。缺
转载
2023-06-26 09:07:46
125阅读
SSL的作用及原理SSL是工作在运输层的协议，提供运输层安全的协议，目前有SSL和TLS协议在运输层提供安全，SSL在客户端和服务器双方连接阶段协商将使用的加密算法和密钥，以及客户端和服务器之间的鉴别，连接完成后，双方都使用协商好的会话密钥。 那SSL是怎么保证安全的呢： 1）密钥交换算法：为了交换经过鉴别和保密后的报文，客户端和服务器各需要一组加密用的密钥。 2）加密/解密：客户端和服务器各需要
转载
2024-05-04 10:32:34
18阅读
文章目录前言一、安装模块二、生成密钥对三、加密四、解密五、完整代码 前言加密技术在数据安全存储，数据传输中发挥着重要作用，能够保护用户隐私数据安全，防止信息窃取。RSA是一种非对称加密技术，在软件、网页中已得到广泛应用。本文将介绍RSA加密解密在python中的实现。原则：公钥加密，私钥解密一、安装模块pip install pycryptodome二、生成密钥对密钥对文件生成和读取代码：fro
转载
2023-05-31 16:10:03
70阅读
hashlib 用于加密相关的操作，代替了md5模块和sha模块，主要提供SHA1，SHA224，SHA256，SHA384，SHA512,MD5算法。在python3中已经废弃了md5和sha模块，简单说明下md5和sha的使用。 什么是摘要算法呢？ 摘要算法又称为哈希算法，散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）用于加密相关的操作。
转载
2023-06-05 21:45:40
99阅读
ssl加密为什么需要ssl加密？非对称加密的缺点：1.不够安全通信的一次过程
客户端：我需要访问服务端，请给我公钥
服务端：公钥是XXXXXX
客户端：使用公钥进行加密 发送消息。。。
服务端：私钥解密消息但是，如果服务端是第三方（恶意网站），伪装成其他服务端客户端：我需要访问服务端（恶意网站），请给我公钥
恶意网站：将自己的公钥发送
客户端：使用恶意网站公钥进行加密 发送消息。。。
恶意网站：自
转载
2024-06-16 16:38:26
78阅读
# Python爬虫与AES加密的结合
在当今信息爆炸的时代，网络爬虫作为一种有效的数据获取工具，被越来越广泛地应用于数据分析、信息抽取等领域。特别是，当网络数据涉及到敏感信息时，保护数据的安全性就显得尤为重要。AES（高级加密标准）是一种对称加密算法，能够有效地保护数据的安全性。本文将介绍如何在Python爬虫中使用AES加密，并提供相关代码示例。
## 1. 什么是网络爬虫？
网络爬虫是
# Python 爬虫中的表单加密实现
在网络爬虫的过程中，许多网站为了安全性会对表单数据进行加密，直接提交表单数据可能会导致请求失败。我们需要理解并实现表单的加密处理。以下是实现过程的总体步骤及相应代码实例。
## 整体流程
以下流程图展示了如何进行表单加密的整体步骤：
```mermaid
flowchart TD
A[获取目标网站的表单信息] --> B[分析并确定加密方式]
原创
2024-10-01 08:04:40
87阅读
在抓取房产网站的过程中，领导给了一个网站，打开一看觉得这不知名的网站应该没有什么反爬措施吧，那还不是so easy的事情。然后就开始准备干活了。为了稳妥起见，还是打算测试一下反爬措施，首先用常规的requests请求携带请求头进行访问，发现没有什么问题，但是仔细检查发现，这抓下来的html页面和看到的有点不一样啊！于是查看源码发现了诡异的东西了发现数字的部分都被这样的诡异的编码给替代了，而打开开发
Python爬虫之模拟CSDN网站登录模拟网站登录的思路在我们模拟网站登录之前，我们需要分析网站登入需要哪些数据。我们可以通过抓包工具，研究网站登录，以及登录访问的头信息变化。1.打开csdn的登录页面2.输入用户名和密码登录，使用fiddler抓包。（我们只是为了知道上传的数据结构，不需要输入正确的用户名和密码）。如下所示：3.检查网页源代码，分析上传的post的数据通过上面的抓包分析，我们知道
参数加密逻辑分析先来抓包看看参数，如下图： 这个参数的值看着像 Base64，不要着急下定论，先搜索参数名试试看。 经过搜索参数名 password: 在文件中定位到3处疑似加密的位置。如下图。 这里有两种方法判断加密位置：给所有搜索到的结果位置打上断点，再次点击按钮看看进入到哪个断点当中。阅读上下文，观察分析大概的代码逻辑。（留意相关的变量名）这里使用第一种方法，打上断点重新请求，可以看到成功断
转载
2023-07-28 22:13:07
206阅读
# Python爬虫登录加密实现
## 1. 流程概述
在实现Python爬虫登录加密过程中，我们可以分为以下几个步骤：
| 步骤 | 描述 |
|---|---|
| 1 | 获取登录页面 |
| 2 | 解析登录页面，获取登录所需参数 |
| 3 | 构造登录请求，发送POST请求 |
| 4 | 处理登录结果，判断是否登录成功 |
| 5 | 在登录成功后，获取相应的数据 |
下面我
原创
2023-11-25 07:22:20
147阅读
