网络爬虫我们平时看到的网页，其实很多是HTML代码写的，网络爬虫的作用就是过滤这些HTML代码，得到想要的图片，文字的资源。 这里首先需要一些基础知识： 1.HTML标签 具体可参考w3school 2.URL URL(Uniform Resource Location) 统一资源定位符 互联网上每一个文件都有一个唯一的URL，它指示某个资源的位置和访问方法，浏览器可以怎么处理它等等信
最近用python实现了真值表，经过有点儿曲折，刚开始没考虑优先级，直到前天才发现这个问题（离散数学没学好啊），用栈改了一下。话说python就是强，把列表类型当栈用，直接调用列表的pop()和append()非常方便，废话少说上代码（命令行版）。首先是导入外部库和定义函数 #导入正则表达式re库，用来从字符串中提取信息
import re
#prettytable库帮我们打印出漂亮的表格
转载
2023-08-29 20:26:49
191阅读
Python Tables 学习笔记实在是太烦了，虽然以前也用过python tables来存储大数据，但是还是有些功能不太懂。我只用了最简单的create array直接把所有的数据一次性写入hdf5文件。但是现在的电脑内存比较小，处理的数据太大，一次性写入，内存会不足。另一方面，一边处理数据，一边写入数据，是一种更好的策略。于是自己又重写学了python tables，也花了不少时间。在此总结
转载
2024-08-15 10:43:03
53阅读
第 1 章 Fiddler1.1 抓 firefox 上 https 请求fiddler 是一个很好的抓包工具，默认是抓 http 请求的，对于 pc 上的 https 请求，会提示 网页不安全，这时候需要在浏览器上安装证书。1.1.1 fiddler 设置1.打开菜单栏：Tools>Fiddler Options>HTTPS 2.勾选 Decrypt HTTPS traffic，里面
文章目录前言一、什么是http和https协议二、在浏览器中发送一个http请求的过程三、url详解四、常用的请求方法五、请求头常见参数六、常见响应状态码 前言摘录自B站对应课程笔记不愧是清华大佬！把Python网络爬虫讲得如此简单明了！从入门到精通保姆级教程（建议收藏） 以下是本篇文章正文内容，下面案例可供参考一、什么是http和https协议
HTTP协议：全称是HyperText Tran
转载
2023-07-31 21:33:33
354阅读
一.用Charles爬取数据 Charles是一个多平台的抓包工具，可以很方便的抓取http和https数据。1.抓取数据抓取数据前我们首先要清楚，由于有道词典的翻译使用的是post请求，所以我们要抓取的信息有：url链接、request headers（请求头）、format data（数据表单，也即请求体request body） a)打开Charles，选择Proxy选项卡中的macOS P
转载
2024-01-10 14:00:14
217阅读
在工作中经常要用到excel来画透视表，那么在python中应该怎么画透视表呢？下面简单分享一下。导入需要的库：import numpy as np #用于基础数值计算
import pandas as pd #处理面板数据常用
import seaborn as sns #画图用，也能通过它获取一下练手用的数据读取数据：titanic = sns.load_dataset('titanic')
转载
2023-11-24 01:42:34
48阅读
因为Python当前处理和分析数据的功能强大，当前网络安全用于分析数据包的需求越来越大，所以介绍几个数据包捕获和分析库。嗅探功能scapy：底层使用libpcap，最强大的抓包和分析库，支持shell。还能主动构造数据包，解析ssl等。pyshark：基于tshark的工具。pypcap：长期不维护的pcap抓包库。基于libpcap。dpkt：很不错的数据包解析工具pylibpcap：基于lib
转载
2023-07-02 19:50:41
339阅读
# 在Python中插入表格教程
在软件开发中，我们经常需要将数据组织成表格形式。在Python中，利用`pandas`库这一任务将变得简单。特别是，如果我们要在一个表格中插入另一个表格，了解整个流程和步骤是非常重要的。本文将逐步指导你实现这一目标。
## 整体流程
首先，让我们概述一下整个过程的步骤：
| 步骤 | 说明
原创
2024-09-06 03:32:55
80阅读
嗨嗨，大家好~，我是小圆很多朋友都在问 ：数据来源怎么找，怎么抓包？其实很简单的啦，看完这篇文章，自己动手操作几遍就会咯话不多说，就用三个案例展示一下吧某牙直播抓包首先咱们进入目标网页，随便找一个视频，通过开发者工具抓包分析。首先按 F12 或者点击右键选择检查，打开开发者工具， 依次选择network（网络面板） →AII（全部）然后刷新网页，让当前网页内容重新加载出来。以前是可以直接选择 me
转载
2023-08-01 20:45:14
116阅读
说明：本学习笔记主要参考：Python3网络爬虫开发实战一书 常用的抓包软件有WireShark、Charles、Fildder、mitmproxy、AnyProxy等。原理：通过设置代理的方式将手机处于抓包软件的监听之下，获取APP运行的过程中发生的所有请求及响应，如果请求的URL及参数有规律，用程序模拟爬取即可。如果没有，可以利用mitmdump对接Python脚本直接处理Respo
转载
2023-07-01 17:21:25
341阅读
在Python3.x中，我们可以使用urlib这个组件抓取网页，urllib是一个URL处理包，这个包中集合了一些处理URL的模块，如下：
转载
2023-05-30 21:56:25
196阅读
Fiddler工具的使用1. Fiddler抓包工具简介2. Fiddler的安装与配置2.1 fiddler的安装2.1 fiddler的配置3. Fiddler配置移动端4. 利用Fiddler工具爬取移动端数据4.1 利用fiddler寻找数据接口4.2 代码编写 1. Fiddler抓包工具简介什么是fiddler： 它是一个http协议调试代理工具 ，记录并检查你的电脑和互联网之间的通
转载
2023-08-21 03:27:07
15阅读
以前写过一篇使用python爬虫抓站的一些技巧总结，总结了诸多爬虫使用的方法；那篇东东现在看来还是挺有用的，但是当时很菜（现在也菜，但是比那时进步了不少），很多东西都不是很优，属于”只是能用”这么个层次。这篇进阶篇打算把“能用”提升到“用得省事省心”这个层次。一、gzip/deflate支持 现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以VeryCD的主页为例，未压缩版本
《Python黑帽子》python3代码实现(第三章)《Python黑帽子》python3代码实现(第三章)第三章 网络：原始套接字和流量嗅探Windows上和Linux上的包嗅探在示例中，我们首先导入socket与os模块，根据os.name判断主机操作系统，该变量属性当前只注册了三个值，具体如下：posix
nt
java
Linux
WindowsJava虚拟机根据操作系统创建原始套接字，这
转载
2023-12-13 11:10:54
33阅读
1、网页的基本知识：基本的HTML语言知识（知道href等大学计算机一级内容即可）理解网站的发包和收包的概念（POST GET）稍微一点点的js知识，用于理解动态网页（当然如果本身就懂当然更好啦）2、一些分析语言，为接下来解析网页内容做准备 3、接着，你需要一些高效的工具来辅助（同样，这里先了解，到具体的项目的时候，再熟悉运用）3.1 F12 开发者工具：看源代码
转载
2024-08-20 21:47:16
37阅读
一、TCP/IP是一个协议族，每一层负责不通的通信功能，今天通过抓包分析一下传输层的TCP协议的三次握手过程。二、使用抓包软件是Wireshark，先看一下Wireshark抓到的TCP的包对应的协议层。WireShark数据包结构Frame:对应是物理层，主要是传输bit流。Ethernet：数据链路层，传输数据帧，二层通信主要是通过mac地址。Internet：网络层，传送数据包， 互联网层I
转载
2023-10-04 22:22:58
131阅读
应用Python支持的混杂模式，抓取流经网卡的数据包，并对IP以及ICMP数据包进行拆包，打印出我们所需要的字段信息。抓取原始数据包: Python中默认的Socket模块就可以实现对原始数据包的解包操作,如下代码.需要注意这段代码只能在Windows平台使用,因为我们需要开启网卡的IOCTL混杂模式,这是Win平台特有的.import socket
import uuid
# 获取本机MAC地
转载
2023-07-23 19:42:06
554阅读
很多小伙伴总是问我，数据来源怎么找啊，怎么抓包，其实很简单，多操作几遍就记住了。今天咱们通过三个案例来展示一下某牙直播抓包首先咱们进入目标网页，随便找一个视频，通过开发者工具抓包分析。首先按F12或者点击右键选择检查，打开开发者工具，依次选择 network（网络面板） → AII （全部）然后刷新网页，让当前网页内容重新加载出来。以前是可以直接选择 media （媒体文件）就能看到了，现在不行了
转载
2023-05-31 08:45:13
667阅读
HTTP代理神器FiddlerFiddler是位于客户端和服务器端之间的代理，也是目前最常用的抓包工具之一 。它能够记录客户端和服务器之间的所有 请求，可以针对特定的请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。 看到这么多的应用，是不是就迫不及待的想要开始你的抓包之旅呢，不要急，俗话说的好：工欲善其事，必先利其器，我
转载
2023-09-01 22:11:59
78阅读
