1，使用scapy实现TCP端口扫描原理：实现TCP连接最重要的就是三次握手的建立，所以通过scapy构造一个 SYN数据包，发送之后如果收到目的主机的SYN+ACK数据包，就说明目的主机的端口是开放的。 2，TCP三次握手过程分析 第一个数据包，客户端向服务端发送一个SYN数
转载
2024-02-11 07:10:59
79阅读
本代码使用的是python3.x方法一：通过运行python，自动打开网页，并抓取该网页。前提：先安装驱动，然后运行即可。详情请查看上一篇文章import os
from selenium import webdriver
browser = webdriver.Chrome()#打开网页
browser.get("https://einvoice.taobao.com/index?&_
转载
2023-08-06 09:46:42
119阅读
# Python Selenium抓取请求实现步骤
## 1. 简介
在本文中，我将指导你如何使用Python和Selenium库来实现抓取请求的功能。Selenium是一个用于自动化浏览器操作的工具，它可以模拟用户操作，并且可以用于抓取网页数据。抓取请求是指通过发送HTTP请求来获取网页内容，然后对这些内容进行分析、处理和存储。
## 2. 实现步骤
在开始之前，我们需要确保已经安装了Pyt
原创
2023-11-13 11:21:32
73阅读
# 如何使用 Fiddler 抓取 Python 请求
Fiddler 是一款非常强大的网页调试代理工具，可以帮助开发者捕获和调试 HTTP 和 HTTPS 请求。在本教程中，我们将逐步讲解如何使用 Fiddler 来抓取 Python 的网络请求数据。下面将提供一个流程表格，以及详细的步骤和相关代码。
## 流程概述
以下是使用 Fiddler 抓取 Python 请求的基本流程：
|
原创
2024-08-17 07:41:22
451阅读
## Python抓取Windows请求
在日常工作中，我们经常需要通过程序获取网络数据。而Python作为一种简单易学的编程语言，提供了丰富的库和模块来实现数据抓取的功能。本文将介绍如何使用Python抓取Windows请求，并提供相应的代码示例。
### 什么是Python抓取Windows请求？
在计算机网络中，Windows请求是指向服务器发送的网络请求，例如GET、POST等。通过
原创
2023-11-21 03:48:50
91阅读
下午本来准备抓取些网页视频地址，做一个小的视频app，用来学习ijkplayer，无意中发现了一个app——姐夫酷，这是一个很简单的网页，它也有相应的一个比较简单的android app。 于是心血来潮，想把它的包抓取下来，以后可以拿来做些高仿项目，学习些新的技术。对我来说抓包首选的当然是Fiddler，关于如何使用Fiddler，我不多介绍，可以参考利用利用Fiddler对Android模拟器网
1.利用webbrowser模块。 利用webbrowser模块的open()函数可以启动一个新的浏览器，打开指定URL。import webbrowser
webbrowser.open('http://baidu.com')2.用requests模块从web下载文件 requests模块可以帮助我们从web上下载文件，当然由于requests
转载
2023-12-13 02:43:00
30阅读
数据匹配首先先研究最关键的数据抓取。从形式各异的数据中将内容“扒”下来。当然得依赖我们的强力工具 正则表达式了（个人觉得基于DOM树分析很麻烦，很不灵活）分析了几个BOKECC页面后，总结如下：1. 各页面有一定差别，可能是基于不同版本。HTML写的很不正规，基于HTML标签来匹配肯定不合适。2. 页面带动态内容，需要分析，模拟AJAX去请求。在基于HTML源码的数据爬取中，如果单纯的想基于HTM
转载
2024-08-22 12:37:58
7阅读
网页分析https://www.jianshu.com/c/b4d0bf551689 进行获取这些数据 在第一次进来的时候发现他有一个无线下拉的列表要将所有的列表动态加载出来browser=webdriver.Chrome()
browser.get(url)
browser.execute_script("""
(function () {
var y
转载
2023-11-20 08:58:48
224阅读
# Python Request抓取请求包
在网络爬虫、接口测试、数据采集等场景中，我们经常需要使用Python抓取网页数据或者发送HTTP请求。Python的requests库是一个非常强大的HTTP库，它提供了简洁的API，使得发送HTTP请求变得非常容易。本文将介绍如何使用Python的requests库来抓取请求包，帮助你更好地理解HTTP请求的结构和内容。
## HTTP请求的结构
原创
2023-10-21 11:52:32
190阅读
# 使用 Python Selenium 和 DevTools 抓取请求的指南
在现代的网页开发中，抓取网页请求数据是一个常见的需求。Python 的 Selenium 库便是一个强大的工具，可以自动化浏览器操作。而结合 Chrome DevTools 的网络协议，可以方便地抓取请求数据。本文将向您介绍如何使用 Python Selenium 结合 DevTools 抓取请求，提供代码示例，并且
原创
2024-09-01 04:13:34
295阅读
Selenium+WebDriver+MongoDB实现数据爬取并保存Selenium是自动化测试常用的实现模块，但其的应用不仅仅局限在于自动化测试，这里介绍Selenium+WebDriver实现数据爬取。需求分析1.使用Selenium+WebDriver访问斗鱼平台英雄联盟页面，爬取当前所有直播用户的房间名和观众人数。2.使用MongoDB实现所爬取数据的保存。页面分析创建一个douyuSp
之前文章讲的数据包主要是http协议，大家可以看到数据包并直接显示具体详细的内容： 但是如果抓到的是https的报文，是没有办法直接显示的，你将看到的是乱码： 那怎么抓取https的数据报文并正常显示报文内容信息呢？ 第一步：安装证书 如果需要抓取并分析 Https 协议的数据报文，需要先安装 Charles 的 CA 证书。具体步骤如下： 1、点
转载
2024-01-19 23:00:41
108阅读
HTTP：超文本传输协议 ； 端口号：80 ；OSI 七层模型中工作在应用层 HTTPS=HTTP+SSL 更安全，抓包得做修改（需要导入SSL证书） ； 端口号： 443； 0SI七层模型中工作在传输层； 会对输的数据进行加密 HTTP的组成三部分：请求行+消息报头+请求正文 burpsuit： ...
转载
2021-08-20 22:08:00
771阅读
2评论
移动客户端项目有时需要针对手机app进行抓包，这时一般有两种办法：一是直接下个手机抓包工具的app，在手机上抓；二是pc机上装上抓包工具，pc和手机连接同一个无线，在pc机上抓。第一种比较简单，但抓包工具自然也不如后一种强大。这里只讲pc端抓包。pc端抓包目前感觉还是Fiddler方便好用。直接去官网【https://www.telerik.com/download/fiddler】上填完信息后下
转载
2023-11-28 12:22:53
259阅读
今天心血来潮，也不知道怎么了，想着抓抓我们公司手机app的包看看，研究研究我们公司的接口，哎，我们api文档，我自己抓包看看吧。工具选择fiddler，理由免费，用着也舒服，手机设备 iPhone6 ，app这里不介绍了。 第一步，设置代理， 打开fiddler，选择tool>Options>Connections ,设置端口号，勾选
转载
2023-11-10 13:26:55
30阅读
# 项目方案：使用 Charles 抓取 Python 请求包
## 一、项目背景
在开发和调试网络请求的过程中，抓取请求包是一个至关重要的环节。特别是在使用 Python 进行网络编程时，能够有效监控和分析 HTTP 请求和响应，可以帮助开发者更好地理解程序与服务器之间的交互。因此，本项目旨在应用 Charles 这一工具来抓取 Python 请求包。
## 二、项目目标
通过本项目，我
# Python如何抓取https请求包
在网络通信中，HTTPS（Hypertext Transfer Protocol Secure）是一种通过加密和身份验证来保护数据传输安全的协议。Python提供了多种库和工具，可以用于抓取和分析HTTPS请求包。本文将介绍如何使用Python来抓取HTTPS请求包，并提供了示例代码和清晰的逻辑说明。
## 1. 使用Python的requests库发
原创
2023-09-17 11:53:09
2078阅读
# 实现Windows Python多进程抓取请求
## 一、整体流程
下面是实现“Windows Python多进程抓取请求”的整体流程：
```mermaid
erDiagram
理解需求 --> 编写代码 --> 测试代码 --> 调试代码 --> 完善文档
```
## 二、具体步骤及代码示例
### 1. 理解需求
在开始编写代码之前，首先要理解需求，确定需要实现的功
原创
2024-03-18 03:35:28
51阅读
# 如何实现Python抓取http网络请求包
## 一、整件事情的流程
首先，我们需要了解整个流程的步骤。下面是一个简单的表格展示：
| 步骤 | 描述 |
|---|---|
| 1 | 安装必要的库 |
| 2 | 创建一个HTTP请求 |
| 3 | 发送HTTP请求 |
| 4 | 抓取HTTP响应包 |
## 二、每一步具体操作
### 1. 安装必要的库
首先，我们需要安
原创
2024-06-13 05:58:12
137阅读
