一、初识网络编程
1.socket概念
Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式，
它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议。 2.两种家族套接字：基于文件的和面向网络的
AF_
转载
2023-08-29 15:20:33
79阅读
我使用的环境为：Windows10、python3.6、scapy 2.4.0
一、基本知识Sniff方法定义：sniff(filter="",iface="any", prn=function, count=N)filter的规则使用 Berkeley Packet Filter (BPF)语法
iface用来指定要在哪个网络接口上进行抓包（通常不指定即所有网络接口）
prn指定回调函数，每当一
转载
2023-06-19 14:38:07
251阅读
#!/usr/bin/env python3# -*- coding: utf-8 -*-# Version: python 3.6.3# Tools: Pycharm 2017.3.3__date__ = '2018/7/24 10:48'__author__ = 'cdl'# 使用socket网络编程"""socket表示一个网络连接，通过这个连接，使得主机之间或者一台计算机...
原创
2021-07-30 10:31:16
231阅读
最近想下载一些陌声人广播，在回家的火车上听，但是链接太多，如果要一个个去点就太浪费时间了，所以就想写一个爬虫自动下载。用python爬虫抓站的一些技巧总结这篇文章对python爬虫技巧总结得很好，但是是基于python 2.x的，自己最近又刚转成了python 3.x，所以就将该博文转成基于python 3.x的。1.最基本的抓站 from urllib import request
respo
转载
2023-10-29 19:51:01
74阅读
客户端程序：#!/usr/bin/env python3# -*- coding: utf-8 -*-# Version: python 3.6.3# Tools: Pycharm 2017.3.3__date__ = '2018/7/24 11:06'__author__ = 'cdl'import socketimport timeclass ChatClient:...
原创
2021-07-30 10:31:17
171阅读
文章目录python网络编程实例字符串转换实例文件下载实例扫描端口实例获取服务端CPU使用情况实例 python网络编程实例字符串转换实例使用SOCK_STREAM方式通信，服务端接收到来自客户端的字符串转换为大写后返回给客户端 str_socket_s.py 服务端代码#!/usr/bin/env python3
# coding:utf-8
import socket //导入sock
转载
2023-08-05 21:09:51
70阅读
一、什么是网络爬虫？1、定义：网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。2、简介：网络蜘蛛是一个很形象的名字。如果把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页，从 网站某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直
转载
2023-09-13 16:09:24
140阅读
一、socket模块简介Python提供了两个级别访问的网络服务，低级别的网络服务支持基本的Socket，提供了标准的BSDSocketsAPI，可以访问底层操作系统Socket接口的全部方法；高级别的网络服务模块SocketServer，提供了服务器中心类，可以简化网络服务器的开发。socket不支持多并发，socketserver是对socket的再封装，简化网络服务器版的开发。二、socke
原创
2019-11-11 15:42:38
705阅读
Python3快速入门（十）——Python3网络编程一、socket模块简介Python提供了两个级别访问的网络服务，低级别的网络服务支持基本的Socket，提供了标准的BSDSocketsAPI，可以访问底层操作系统Socket接口的全部方法；高级别的网络服务模块SocketServer，提供了服务器中心类，可以简化网络服务器的开发。socket不支持多并发，socketserver是对soc
原创
2019-07-12 19:02:02
2149阅读
基本原理爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。爬虫就是获取网页并提取和保存信息的自动化程序，其主要有如下三个步骤：获取网页：爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息了。爬虫首先向网站的服务器发送一个请求，返回的响应体便是网页源代码。Python中提供了许多库（如urlli
转载
2023-07-01 01:27:13
285阅读
python3网络编程之socket
转载
2017-08-03 10:57:00
950阅读
本文参考与Jack-Cui 的python3网络
原创
2023-05-14 23:24:51
118阅读
使用Python编写简单的网络爬虫在编写爬虫时，思路可以总结为以下几个步骤：导入所需的库：根据需要导入需要使用的库，例如requests用于发送HTTP请求，BeautifulSoup用于解析HTML内容。发送HTTP请求获取网页内容：使用requests库发送HTTP请求，获取网页的HTML内容。解析网页内容：使用BeautifulSoup库解析HTML内容，以便提取所需的数据。提取数据：根据H
目录1：Python3中socket编程介绍2：简单的点对点3：并发服务端3.1：创建线程处理3.2：socketserver模块处理3.3：使用select模块4：socket实现web服务器4.1：简单web服务器4.2：简单web服务器：函数版本4.3：简单web服务器：返回动态页面4.4：并发web服务器1：Python3中socket编程介绍这里就不介绍网络编程的基础知识了，比如TCP/
# Python3网络爬虫开发实战
## 介绍
网络爬虫是一种自动抓取互联网上的信息的程序。它可以获取网页上的文本、图片、视频等信息，并将这些信息保存到本地或进行进一步的处理。使用网络爬虫可以方便地获取大量的数据，对于数据分析、机器学习等领域非常有用。
本文将介绍使用Python3编写网络爬虫的基本方法，并通过一个实例演示如何使用Python3编写一个简单的网络爬虫。
## Python3
原创
2023-08-21 04:00:37
110阅读
适用人群：萌新小白：我连爬虫也不知道是什么入门菜鸟：我对一些爬虫的用法还不是很熟练老司机：我想学习更高级的框架及分布式从环境基础到进阶分布式，由浅入深，逐篇递进。攻城狮课程列表：一、环境篇二、基础篇三、实战篇使用Requests+正则表达式爬取猫眼电影分析Ajax请求并抓取今日头条街拍美图使用Selenium模拟浏览器抓取淘宝商品美食信息使用Redis+Flask维护一个动态代理池使用代理处理反爬
原创
2020-12-26 23:24:00
593阅读
点赞
本书介绍了如何利用 Python 3 开发网络爬虫。书中首先详细介绍了环境配置过程和爬虫基础知识；然后讨论了 urllib、requests 等请求库，Beautiful Soup、XPath、pyquery 等解析库以及文本和各类数据库的存储方法；接着通过多个案例介绍了如何进行 Ajax 数据爬取 ...
转载
2021-09-03 16:04:00
143阅读
2评论
Python网络爬虫一、requests的用法详解什么是网络爬虫？如何搞笑的获取互联网上的海量数据，是大数据时代的我们面临的重要问题。而爬虫就是解决这些问题而生的。1.requests的基础知识requests是用Python语言编写的HTTP库。它比python标准库urllib更加方便，可以节约我们大量的工作，完全满足HTTP测试需求。2.安装pip install requests #一句话
目录1 爬虫基础1.1 http原理1.2 网页基础1.3 session 和cookie1.4代理 1 爬虫基础1.1 http原理url格式规范： sheme：协议。通常有http、https、ftp等 username、password：用户名和密码 hostname：主机地址 port：端口 path：路径。网络资源在服务器中的指定位置 paramenters：参数，访问资源的附加信息
上接： Python3网络爬虫教程10——ajax异步请求（爬取豆瓣电影数据 ）7. RequestsHTTP for Humans-献给人类，更好用，更简洁继承了urllib的所有特性底层使用的是urllib3开源地址：https://github.com/requests/requests
中文文档：http://docs.python-requests.org/zh_CN/latest/#
原创
2023-04-06 12:25:26
95阅读
