通过网络获取数据1. 和有关的HTTP HTTP是网络数据通信的基础。在本节中会围绕Python网络讲述常用HTTP知识点。1.1 基于HTTP的请求处理流程 当用户在浏览器的栏中输入一个URL并按回车键后，浏览器会向HTTP服务器发送HTTP请求，根据请求解析并绘制界面。 在浏览器中右击，在弹出的菜单栏中选择”检查“选项命令，打开”调试“窗口，并在其中点击”Network（网络）
转载
2023-07-14 12:34:24
7阅读
基本原理爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。爬虫就是获取网页并提取和保存信息的自动化程序，其主要有如下三个步骤：获取网页：爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息了。爬虫首先向网站的服务器发送一个请求，返回的响应体便是网页源代码。Python中提供了许多库（如urlli
转载
2023-07-01 01:27:13
320阅读
# 如何实现“python3 抓包sip”
## 流程图
```mermaid
graph TD;
A[开始] --> B{抓包sip};
B --> C[安装抓包工具];
C --> D[编写抓包代码];
D --> E[执行代码];
```
## 甘特图
```mermaid
gantt
title Python3抓包sip任务时间表
s
原创
2024-05-31 06:40:13
60阅读
我使用的环境为：Windows10、python3.6、scapy 2.4.0
一、基本知识Sniff方法定义：sniff(filter="",iface="any", prn=function, count=N)filter的规则使用 Berkeley Packet Filter (BPF)语法
iface用来指定要在哪个网络接口上进行抓包（通常不指定即所有网络接口）
prn指定回调函数，每当一
转载
2023-06-19 14:38:07
297阅读
tcpdump是一个抓包工具。tcpdump可以将网络中传送的数据包完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。http包的结构：firefox f12工具查看：tcpdump使用tcpdump [ -adeflnNOpqStvx ] [ -c 数量 ] [ -F 文件名 ][ -i 网络接口 ] [ -r 文件
# Python3实现网盘下载
在这篇文章中，我们将通过Python3实现一个简单的网盘下载工具。我们的目标是从一个指定的网盘链接中下载文件。在开始之前，让我们先了解一下整个流程：
| 步骤 | 描述 |
|--------|-----------------------------------|
| 1 | 确定网盘的下
原创
2024-09-17 05:06:49
191阅读
# Python 3 API 介绍及其应用
Python 是一种高级编程语言，以其简洁的语法和强大的库支持而受到广泛欢迎。在 Python 3 的版本中，许多新的特性和改进提升了编程效率和可读性。本文将主要围绕 Python 3 的 API，介绍其基本概念，并通过示例代码进行说明。
## 什么是 API？
API（Application Programming Interface）是不同软件
原创
2024-08-08 15:25:39
38阅读
一、初识网络编程
1.socket概念
Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式，
它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议。 2.两种家族套接字：基于文件的和面向网络的
AF_
转载
2023-08-29 15:20:33
102阅读
import socket
# 第一步 获取域名或ip地址
host = 'www.baidu.com'
port = 80
header = b'GET / HTTP/1.1\r\nHost: www.baidu.com\r\nConnection: close\r\n\r\n'
# 第二步 域名解析 将url(网址)转换为ip地址
for res in socket.getaddrinf
转载
2023-05-31 09:41:38
219阅读
_pickle的使用方法_pickle作用python3的_pickle和python2的cpickle的区别pickle模块中常用的函数：参考网站 _pickle作用长久保存python程序运行中得到的对象，类，函数，接口和线程等东西，方便以后使用，而不是简单的放入内存中关机断电就丢失数据。python模块大全中pickle可以将对象转换为一种可以传输或存储的格式，一般是字节流的格式，字节流格
转载
2023-10-18 18:26:09
60阅读
Python3快速入门（十）——Python3网络编程一、socket模块简介Python提供了两个级别访问的网络服务，低级别的网络服务支持基本的Socket，提供了标准的BSDSocketsAPI，可以访问底层操作系统Socket接口的全部方法；高级别的网络服务模块SocketServer，提供了服务器中心类，可以简化网络服务器的开发。socket不支持多并发，socketserver是对soc
原创
2019-07-12 19:02:02
2234阅读
一、socket模块简介Python提供了两个级别访问的网络服务，低级别的网络服务支持基本的Socket，提供了标准的BSDSocketsAPI，可以访问底层操作系统Socket接口的全部方法；高级别的网络服务模块SocketServer，提供了服务器中心类，可以简化网络服务器的开发。socket不支持多并发，socketserver是对socket的再封装，简化网络服务器版的开发。二、socke
原创
2019-11-11 15:42:38
717阅读
拉勾网爬虫项目心得
转载
2018-11-15 10:50:51
579阅读
点赞
#!/usr/bin/env python3# -*- coding: utf-8 -*-# Version: python 3.6.3# Tools: Pycharm 2017.3.3__date__ = '2018/7/24 10:48'__author__ = 'cdl'# 使用socket网络编程"""socket表示一个网络连接，通过这个连接，使得主机之间或者一台计算机...
原创
2021-07-30 10:31:16
244阅读
1.UDP编程1.1UDP概念UDP：User Datagram Protocal 用户数据报协议 是 OSI/RM 模型中隶属于传输层的面向无连接的网络数据传输协议 UDP 协议本身没有连接可靠性的保证，没有数据顺序 ACK 记录，没有数据重发等机制，因 为没有那么多的数据传输控制特性，所以 UDP 进行数据传输过程中延迟较小，数据传输效率较高，比较适合对可靠性要求不是很高的程序！由于 UDP
转载
2024-02-29 23:58:29
77阅读
1、EtherCAT系统组成 EtherCAT是一种实时以太网技术，由一个主站设备和多个从站设备组成。主站设备使用标准的以太网控制器，具有良好的兼容性，任何具有网络接口卡的计算机和具有以太网控制的嵌入式设备都可以作为EtherCAT的主站。对于PC计算机而言，主站控制器多采用倍福开发的TwinCAT软件。EtherCAT从站使用专门的从站控制器（ESC），如专
转载
2023-08-31 20:29:47
1868阅读
最近想下载一些陌声人广播，在回家的火车上听，但是链接太多，如果要一个个去点就太浪费时间了，所以就想写一个爬虫自动下载。用python爬虫抓站的一些技巧总结这篇文章对python爬虫技巧总结得很好，但是是基于python 2.x的，自己最近又刚转成了python 3.x，所以就将该博文转成基于python 3.x的。1.最基本的抓站 from urllib import request
respo
转载
2023-10-29 19:51:01
98阅读
一 相关背景 网络爬虫(Web Spider)又称网络蜘蛛、网络机器人，是一段用来自动化采集网站数据的程序。如果把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络爬虫不仅能够为搜索引擎采集网络信息，而且还可以作为定向信息采集器，定向采集某些网站下的特定信息，如：汽车票价，招聘信息，租房信息，微博评论等。二 应用场景 图1 应用场景 爬虫技术在科学研究、Web安全、产品研发、
爬虫进阶二：Fidder抓包Fidder简介Fidder的基本原理Fidder窗口简介quickexec 命令行断点功能第一种断点方法第二种断点方法会话查找以及过滤功能 Fidder简介在前面爬虫入门的时候，就提到过一嘴Fidder，我们使用它来抓包。什么是抓包呢？简单来说，就是对浏览器与软件或者外界进行交互时传输的数据进行截获，重发，编辑，转存的过程。为什么我们需要抓包呢？ 1.有些网址的变化
转载
2024-02-21 23:20:35
55阅读
分析：数据的基本信息存放于近1万个页面上，每个页面上10条记录。如果想获取特定数据记录的详细信息，需在基本信息页面上点击相应记录条目，跳转到详细信息页面。详细信息页面的地址可从基本信息页面里的href属性获取。方法：开始时使用beautiful soup进行爬网，因速度较慢，换用lxml，速度改善不明显。 beautiful soup import bs4
import re
im
转载
2023-06-01 00:29:08
85阅读
