Python 爬虫笔记HTTP协议requests模块get() 和post()函数headers数据解析正则表达式bs4解析-HTML语法Xpath批量爬取百度图片selenium 毕设与图像分类相关，所以需要大量的图片数据，所以先学学爬虫爬图片。 本文作为自学笔记，仅供参考 声明：本文所有爬取的内容，都是合法的公开内容，不涉及侵权，且不做商用，仅用于个人学习使用。学习课程：B站路飞学城IT爬
转载
2024-02-03 01:47:33
104阅读
# 实现 Python MBAP 报文头的教程
在本篇文章中，我们将学习如何在 Python 中实现 MBAP（Modbus Application Protocol）报文头。MBAP 报文头是 Modbus 协议中的一部分，主要用于在客户端和服务器之间传递信息。我们将从整体流程入手，逐步深入到代码实现中。
## 整体流程
我们在实现 MBAP 报文头的过程中，可以按照以下步骤进行：
|
目录虚拟机下载zip文件Windows下安装tqdm将虚拟机上的文件下载到电脑上将Windows文件上传到虚拟机数据抓包与分析TCP抓包分析 Python数据分析TCP客户端TCP服务端UDP抓包分析UDP客户端UDP服务端虚拟机下载zip文件wget https://cc.siat.ac.cn/networks/exp4-tshark_socket.zip --no-check-cer
转载
2024-07-24 20:30:36
16阅读
文章目录概述一. 通用头部字段 （General Header Fields）1、Cache-Control概述本篇博客我们就来详细的聊一下HTTP协议的常用头部字段，当然我们将其
转载
2023-12-31 13:00:22
0阅读
# Java解析报文IP头
## 1. 概述
在网络通信中，报文是信息传递的基本单位。IP头是报文中的一个重要部分，它包含了关于源IP地址、目标IP地址以及其他与网络通信相关的信息。本文将介绍如何使用Java解析报文中的IP头。
## 2. 解析流程概述
下面是解析报文IP头的大致流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1. | 读取报文数据 |
| 2.
原创
2023-11-21 11:37:26
225阅读
# Java解析HTTP报文头
## 1. 简介
在Java开发中，解析HTTP报文头是一个常见的任务。HTTP报文头包含了HTTP请求或响应的元数据信息，例如请求方法、请求URL、请求头、响应状态码等。本文将介绍如何使用Java解析HTTP报文头。
## 2. 解析流程
下面是解析HTTP报文头的整体流程：
|步骤|描述|
|---|---|
|1|获取HTTP报文|
|2|解析报文头|
原创
2023-08-06 14:21:29
574阅读
IP头部报文：第一行：version — 版本：占4比特； IP协议的版本，目前的IP协议版本号为4；Header length — 头部长度：占4比特； 固定部分的长度（20字节）和可变部分的长度之和。共占4位。最大为1111，即10进制的15，代表IP报头的最大长度可以为15个32bits（4字节），也就是最长可为15*4=60字节，除去固定部分的长度20字节，可变部分的长度最大为40字节。D
转载
2024-09-26 15:22:39
163阅读
OneNET提供了丰富的API接口，API的典型应用场景为业务应用（第三方平台）与平台进行数据交互/资源管理时使用 如下图所示： 第三方平台在调用API的时候，实际进行两个步骤：Step1： 与OneNET HTTP服务器建立TCP连接；Step2： 按照API文档中包格式说明，发送满足改格式的HTTP报文。 实际上，任何一个TCP client（例如：pc的TCP调试软件，wifi模
IP数据包也叫IP报文分组，传输在ISO网络7层结构中的网络层，它由IP报文头和IP报文用户数据组成，IP报文头的长度一般在20到60个字节之间，而一个IP分组的最大长度则不能超过65535个字节。 下图为IP分组的报文头格式，报文头的前20个字节是固定的，后面的可变。 版本：占4位（bit），指IP协议的版本号。目前的主要版本为IPV4，即第4版本号，也有一些教育网和科
目录下载安装Scapy 的使用报文嗅探sniff() 函数参数sniff() 抓包DHCPv6报文构造发送报文1. 只发不收2. 发且收报文过滤Scapy是一款强大的交互式数据包处理工具、数据包生成器、网络扫描器、网络发现、攻击工具和包嗅探工具。能灵活地构造各种数据包、发送数据包、包嗅探、应答和反馈匹配等功能。它可以实现Nmap扫描工具、tcpdump抓包工具 、 tshark工具、Netdisc
转载
2024-01-31 19:38:49
143阅读
Netty 分隔符和定长解码器的应用理论说明LineBasedFrameDecoder 开发大概流程代码展示netty 依赖EchoServer 服务端启动类EchoServerHandlerEchoClientEchoClientHandler结果打印客户端打印服务端打印FixedLengthFrameDecoder 开发代码展示EchoServer 服务端启动类EchoFixServerHa
转载
2024-02-02 15:31:27
71阅读
由于记性不好的原因, 一直对报文格式的字段记的不是很牢固, 故花了一天时间学习IP报文格式, 第二天来总结. 过两天再继续学习TCP和UDP.IP报文格式如下图所示 版本(Version, 4bit):为4代表ipv4, 为6代表ipv6报头长度(Header Length, 4bit):一般为5, 代表IP首部一共占用20个字节. (4*5)服务类别(Type Of Service,
使用scapy、scapy_http就可以方便的对pcap包中的http数据包进行解析scapy_http可以在https://github.com/invernizzi/scapy-http下载，该地址下也给出了简单的示例程序，按照此示例程序我修改了一个输出pcap包中http包的源目的地址、payload的小程序，如下所示：其中，p为数据包，scapy_http将其分为：Ethernet-&g
转载
2023-08-05 16:03:01
563阅读
Wireshark是一个主流且开源的报文分析工具，总结一下其特点如下：(1)、支持协议数量庞大，数量2000+，涵盖了目前应用场景下的绝大多数公有协议，如图1。 (2)、强大的过滤器功能，提供了协议本身所能提供的信息以及大量的扩展信息字段，如图2。 (3)、Lua插件功能，可用于报文的批处理，以及私有协议的开发等方面，如图3。 (4)、开源，可以直接在github上搜索。协议更新快，例如quic协
本篇文章目录前言一、国标协议中涉及的数据类型二、满足相应数据类型的解析方法1.十六进制字符集转十六进制数组2.十六进制转数值3.十六进制转二进制4.十六进制转字符串三、了解一个完整报文结构1.数据单元有哪些？2.从数据解析角度对数据包的划分总结 前言在做报文的封装或者解析工作前，首先要对“各种进制”有一个简单的了解。大家可以通过百度百科对进制进行初步了解。十六进制信息从阅读清晰到简洁传输： 在c
转载
2023-07-20 14:05:07
124阅读
一、 我是个菜B，慢慢摸索学习中。 安装模块 pip install dnspython 使用python调用dnspython模块，写了一个dns攻击的小程序，目标IP为自己搭建的DNS服务器，并且可以获取DNS的标志位返回值，其中还可以使用程序查看返回值，其实没卵用。 相关的DNS的报文格式大概如下： （1）公共报文头格式其中header报文头是必须有的，
转载
2024-06-15 13:41:08
40阅读
UDP介绍UDP --- 用户数据报协议，是一个无连接的简单的面向数据报的运输层协议。UDP不提供可靠性，它只是把应用程序传给IP层的数据报发送出去，但是并不能保证它们能到达目的地。由于UDP在传输数据报前不用在客户和服务器之间建立一个连接，且没有超时重发等机制，故而传输速度很快。UDP是一种面向无连接的协议，每个数据报都是一个独立的信息，包括完整的源地址或目的地址，它在网络上以任何可能的路径传往
转载
2024-03-30 20:49:04
34阅读
文章目录一、前期准备1.1 IP首部组成1.2 struct处理二进制报文数据二、IP首部解析器的实现三、测试逻辑 在上一节 搭建基础框架 后本节我们真正实现对IP报文的解析，首先通过下面这张图先了解一下数据报文组装的结构顺序，IP首部处于IP数据包的头部，每一行32位，共计5行，总长度为20字节。IP协议处
转载
2023-06-14 11:14:22
291阅读
4.10 python爬虫之——认识http协议清华镜像 （python安装库使用）： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib1.HTTP协议的概念http=Hyper Text Transfer Protocol（超文本传输协议）http是应用层协议全世界范围内通用HTTP永远是客户端发起请求，服务器回
一，概述在XML解析方面，Python贯彻了自己开箱即用batteries included的原则，在自带的标准库中，python提供了大量可以用于处理XML语言的包和工具二，正文1,什么是XML?XML是可扩展标志语言(extensible markup language)的缩写，其中的标记markup 是关键部分可以创建内容，然后使用限定标记标记之，从而使得每个单词，短语，或块称为可识别，可分
转载
2023-12-12 14:56:27
30阅读
