基本原理爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。爬虫就是获取网页并提取和保存信息的自动化程序，其主要有如下三个步骤：获取网页：爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息了。爬虫首先向网站的服务器发送一个请求，返回的响应体便是网页源代码。Python中提供了许多库（如urlli
转载
2023-07-01 01:27:13
285阅读
我使用的环境为：Windows10、python3.6、scapy 2.4.0
一、基本知识Sniff方法定义：sniff(filter="",iface="any", prn=function, count=N)filter的规则使用 Berkeley Packet Filter (BPF)语法
iface用来指定要在哪个网络接口上进行抓包（通常不指定即所有网络接口）
prn指定回调函数，每当一
转载
2023-06-19 14:38:07
251阅读
# 如何实现“python3 抓包sip”
## 流程图
```mermaid
graph TD;
A[开始] --> B{抓包sip};
B --> C[安装抓包工具];
C --> D[编写抓包代码];
D --> E[执行代码];
```
## 甘特图
```mermaid
gantt
title Python3抓包sip任务时间表
s
import socket
# 第一步 获取域名或ip地址
host = 'www.baidu.com'
port = 80
header = b'GET / HTTP/1.1\r\nHost: www.baidu.com\r\nConnection: close\r\n\r\n'
# 第二步 域名解析 将url(网址)转换为ip地址
for res in socket.getaddrinf
转载
2023-05-31 09:41:38
205阅读
我们要抓取一些网页源码看不到的信息，例如：淘宝的评论等 我们可以使用工具Fiddler进行抓取 软件下载地址：https://pan.baidu./s/1nPKPwrdfXM62LlTZsoiDsg ：wche 安装不详细介绍，直接下一步即可 安装完成后,运行程序如下： 设置代理打开火狐浏览器如下设置： Fiddler默认只能抓取协议的网页，不能抓取HTTPS协议的网页，而...
转载
2018-04-22 17:22:00
81阅读
2评论
爬虫进阶二：Fidder抓包Fidder简介Fidder的基本原理Fidder窗口简介quickexec 命令行断点功能第一种断点方法第二种断点方法会话查找以及过滤功能 Fidder简介在前面爬虫入门的时候，就提到过一嘴Fidder，我们使用它来抓包。什么是抓包呢？简单来说，就是对浏览器与软件或者外界进行交互时传输的数据进行截获，重发，编辑，转存的过程。为什么我们需要抓包呢？ 1.有些网址的变化
文章目录前言Http组成客户端请求消息服务器响应消息HTTP 请求请求方法URL概述总结 前言HTTP协议介绍 设计HTTP(HyperText Transfer Protocol)是为了提供一种发布和接收HTML(HyperText Markup Language)页面的方法。话不多说，开始学习Http组成由两部分组成：请求与响应客户端请求消息客户端发送一个HTTP请求到服务器的请求消息包括以下
包是一种管理 Python 模块命名空间的形式，采用"点模块名称"。比如一个模块的名称是 A.B， 那么他表示一个包 A中的子模块 B 。就好像使用模块的时候，你不用担心不同模块之间的全局变量相互影响一样，采用点模块名称这种形式也不用担心不同库之间的模块重名的情况。这样不同的作者都可以提供 NumPy 模块，或者是 Python 图形库。不妨假设你想设计一套统一处理声音文件和数据的模块（或...
原创
2022-01-19 17:13:36
167阅读
包是一种管理 Python 模块命名空间的形式，采用"点模块名称"。比如一个模块的名称是 A.B， 那么他表示一个包 A中的子模块 B 。就好像使用模块的时候，你不用担心不同模块之间的全局变量相互影响一样，采用点模块名称这种形式也不用担心不同库之间的模块重名的情况。这样不同的作者都可以提供 NumPy 模块，或者是 Python 图形库。不妨假设你想设计一套统一处理声音文件和数据的模块（或...
原创
2021-07-07 15:01:36
229阅读
如何创建Python3包
作为一名经验丰富的开发者，我将向你介绍如何创建Python3包。本文将分为两个部分：整体流程和每个步骤的代码实现。
整体流程
在开始之前，我们需要了解整个创建Python3包的流程。下面的表格将展示每个步骤和其所需的代码。
| 步骤 | 描述 | 代码 |
| ---- | ---- | ---- |
| 步骤1 | 创建项目目录 | mkdir mypackag
Python3下基于Scapy库完成网卡抓包解析
原创
2021-10-15 21:17:07
2156阅读
## 如何实现python3 hana包
作为一名经验丰富的开发者，我将指导你如何实现在Python 3中使用HANA包。在本文中，我将提供一份流程表格，展示每个步骤的具体操作，并给出每个步骤所需的代码和代码注释。
### 实现步骤
以下是实现"python3 hana包"的步骤：
| 步骤 | 操作 |
|------|------|
| 1. | 安装hdbcli |
| 2.
# Python3 包与模块
在Python中，包（Packages）和模块（Modules）是组织和管理代码的基本单位。包是包含模块的文件夹，而模块是包含代码的文件。通过使用包和模块，可以使代码更有组织性和可维护性。
## 包（Packages）
包是包含一组模块的文件夹，通常包含一个特殊的`__init__.py`文件，以表明该文件夹是一个包。包可以嵌套，即一个包可以包含其他包。包的主要
# Python3爬虫包的科普知识
在信息爆炸的时代，网络爬虫作为获取网络数据的重要工具，得到了越来越广泛的应用。Python是一种高效且简单易学的编程语言，因其丰富的库和模块，成为了爬虫开发的首选语言之一。本文将介绍Python3中的一些常用爬虫包，并附上代码示例，帮助读者理解网络爬虫的基本概念和实现过程。
## 爬虫概述
网络爬虫是通过程序自动访问互联网并提取所需数据的工具。通常，爬虫的
## Python3连接MySQL数据库的流程
### 1. 安装MySQL驱动程序
在使用Python连接MySQL之前，需要先安装相应的MySQL驱动程序。Python中常用的MySQL驱动程序有`pymysql`和`mysql-connector-python`。这里我们选择使用`pymysql`进行示例。
首先，通过以下命令安装`pymysql`：
```
pip install py
文章目录前言一、什么是http和https协议二、在浏览器中发送一个http请求的过程三、url详解四、常用的请求方法五、请求头常见参数六、常见响应状态码 前言摘录自B站对应课程笔记不愧是清华大佬！把Python网络爬虫讲得如此简单明了！从入门到精通保姆级教程（建议收藏） 以下是本篇文章正文内容，下面案例可供参考一、什么是http和https协议
HTTP协议：全称是HyperText Tran
转载
2023-07-31 21:33:33
332阅读
### 闭包（Closure）概述
在Python中，闭包是一个非常有用的概念，它允许我们在函数内部创建一个可以“记住”其外围状态的函数。对于许多编程场合，尤其是需要保持一些状态的场合，闭包是一个简洁而强大的工具。本文将深入探讨什么是闭包，闭包的工作原理，以及在Python中如何使用闭包，并附带一些代码示例。
### 闭包的定义
闭包是一个包含了自由变量的函数，闭包可以在其定义的环境中执行。
# Apriori算法简介及Python3中的应用
## 1. 什么是Apriori算法？
Apriori算法是一种关联规则挖掘算法，常用于发现数据集中元素之间的频繁项集。通过挖掘数据中的频繁项集，我们可以找到不同元素之间的相关性，从而进行更精准的推荐或者市场分析等工作。
Apriori算法的基本思想是利用频繁项集的性质，通过逐层挖掘数据集中的频繁项集，从而找到满足最小支持度要求的频繁项集。
因为Python当前处理和分析数据的功能强大，当前网络安全用于分析数据包的需求越来越大，所以介绍几个数据包捕获和分析库。嗅探功能scapy：底层使用libpcap，最强大的抓包和分析库，支持shell。还能主动构造数据包，解析ssl等。pyshark：基于tshark的工具。pypcap：长期不维护的pcap抓包库。基于libpcap。dpkt：很不错的数据包解析工具pylibpcap：基于lib
转载
2023-07-02 19:50:41
283阅读
MPLS配置MPLS的配置IP可达— 使用路由协议全网可达配置MPLS – LDP[r2]mpls lsr-id 2.2.2.2 // 必须先定义mpls的router-id，要为本地设备的真实ip地址，且邻居可达，因为该地址将用于建立TCP会话，建议使用环回地址
[r2]mpls 再开启mpls协议
[r2-mpls]mpls ldp 再激活LDP协议
[r2
