1. Robots协议Robots协议是用来告诉搜索引擎那些网页是可以爬取的，哪些是不行的。搜索爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围来爬取。如果没有找到这个文件，搜索爬虫便会访问所有可直接访问的页面。一般形式：User-agent: *
Disallow: /
Allow: /public/将上述内容保存成ro
转载
2023-08-24 08:52:52
179阅读
上一篇博客我们学习了正则表达式，python有一个re库专门用于正则表达式匹配。一、浅谈Re库导入re库： Re库是Python的标准库(使用时不需要安装额外的插件)，主要用于字符串匹配。 调用方式：import正则表达式的表示： raw string：原生字符串类型 表示方法 ：r’text’ 举个栗子 ：r’[1-9]\d{5}’raw string： 不包含转义字符，不需要考虑需要多少个
转载
2023-08-10 19:14:23
44阅读
Robots协议：也被称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取，它通常是一个叫做 robots.txt 的文本文件，放在网站的根目录下；当搜索爬虫访问一个站点时，它首先会检查下这个站点根目录下是否存在 robots.txt 文件，如果存在，搜索爬虫会根据其中定义的爬取范围来爬
转载
2024-03-06 11:41:09
123阅读
目录前言 一、Robotframework框架概述1.什么是Robotframework 框架？2.RobotFramework框架优点3.RobotFramework框架安装用途二、RobotFramework底层库三、RobotFramework软件Ride四、编写RobotFramework用例 2创建测试套件New Suit3.导入库4.创建测试用例New Test C
转载
2023-11-30 14:00:47
269阅读
Python从零开始写爬虫-4 解析HTML获取小说正文在上一节中, 我们已经学会如何获取小说的目录, 这一节我们将学习如何通过正则表达式(在第二节学习过)来获取小说正文.首先, 先随便选择一个章节, 作为例子, 我们就以 "吞噬星空第一章:罗峰"为例子, 来进行我们的学习.首先依然式先获取该网页的源代码import requests
r = requests.get('http://www.bi
转载
2023-05-31 10:22:59
214阅读
回顾requests实现数据爬取的流程1.指定url
2.基于requests模块发起请求
3.获取响应对象中的数据
4.进行持久化存储其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式。至
转载
2023-08-08 16:54:57
82阅读
利用python进行爬虫03-数据解析一.数据解析概览1.数据解析概述2.数据解析分类3.数据解析原理概述二.数据解析-正则表达式1.正则表达式2.bs43.xpath 一.数据解析概览1.数据解析概述- 聚焦爬虫:爬取页面中指定的页面内容。
- 编码流程：
- 指定url
- 发起请求
- 获取响应数据
- 数据解析
- 持久化存储2.数据解析分类- 正
转载
2023-11-05 12:42:16
62阅读
2017-07-25 21:08:16 一、网络爬虫的规模 二、网络爬虫的限制 • 来源审查：判断User‐Agent进行限制 检查来访HTTP协议头的User‐Agent域，只响应浏览器或友好爬虫的访问• 发布公告：Robots协议 告知所有爬虫网站的爬取策略，要求爬虫遵守 三、Robots 协议
转载
2017-07-25 21:25:00
220阅读
2评论
wss协议 python 爬虫是一个较为复杂的话题，涉及到WebSocket传输协议的实现和Python爬虫工具的应用。WebSocket是一种在单个TCP连接上进行全双工通信的协议，尤其在实时数据更新、实时聊天等场景下表现优异。在Python中实现WebSocket协议的爬虫能够有效地捕获实时数据。本文将详细记录解决wss协议 Python 爬虫过程中遇到的问题及其解决方案。
## 问题背景
在做APP抓取时，会发现有的APP Response回来的数据有“加密”。不知道返回的内容是什么。本文偏长，理论基础偏多。如下：如上，内容不是明文的，没办法解析数据。APP常见的对数据加密有三种情况：第一种是，用诸如AES这类加密算法对数据加密，然后在APP里用key进行解密，这类的数据解密的难度不是很大，弄清楚是用的什么加密算法就能反解。第二种是，用“私有”协议把数据序列化，只有了解该协议的细节
原创
2020-12-31 20:57:06
4570阅读
以爬取某网站上的ip列表为例：
postman
生成请求头进入postman的官网, 按提示下载安装即可安装后运行postman,粘贴链接到图示位置, 点击send 加载完后点击code,选择一种语言,完事 自动生成的请求头代码: 分析网页结构：table->tbody->tr->th, td th的contents分为两种情况， 一是th的contents为h2(
转载
2023-09-06 21:03:04
334阅读
文章目录前情回顾控制台抓包有道翻译过程梳理增量爬取思路动态加载网站数据抓取数据抓取最终梳理今日笔记豆瓣电影数据抓取案例json解析模块json.loads(json)json.dumps(python)json.load(f)json.dump(python,f,ensure_ascii=False)json模块总结腾讯招聘数据抓取多线程爬虫小米应用商店抓取(多线程)cookie模拟登录人人网登
转载
2023-09-16 00:10:33
210阅读
本篇文章主要用用于爬虫的学习，以及资料的整理防止过一段时间忘了，不知道怎么写了，特此写一篇博客记录一下。 文章目录Python 爬虫学习一、爬虫使用的库：1、requests：2、urllib库2.1 urllib.request模块2.2urllib.parse模块二、爬虫解析的库1、性能对比2、学习博客三、具体实例1、百度贴吧2、爬取快代理3、爬取百度翻译3.豆瓣电影top250 Python
转载
2024-02-02 10:22:37
43阅读
爬虫必备技术面向具有Python基础的Python爬虫爱好者，urllib和requests两个库在实际的项目中应用也非常广泛，不仅用于爬虫技术也可以应用在API接口调用方面。如果需要相关的案例可以加我QQ(610039018)，另外我在B站上已发布了相关的爬虫视频(https://www.bilibili.com/video/av93731419)。一、urllib总结核心的网络请求库 ->
转载
2023-10-07 13:44:58
89阅读
一、前言很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬取速度。本文就通过代码讲解如何使用多进程、多线程、协程来提升爬取速度。注意：我们不深入介绍理论和原理，一切都在代码中。二、同步首先我们写一个简化的爬虫，对各个功能细分，有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码，其中parse_1函数可以设定循环次数，每次循环将当前循环数（从
转载
2024-03-10 14:05:07
73阅读
一、课程介绍1. 课程来源作者是来自 MongoDB 的工程师 A. Jesse Jiryu Davis 与 Python 之父 Guido van Rossum。项目代码使用 MIT 协议，项目文档使用 http://creativecommons.org/licenses/by/3.0/legalcode 协议。课程内容在原文档基础上做了稍许修改，增加了部分原理介绍，步骤的
转载
2024-08-30 12:41:09
25阅读
利用urllib的robotparser模块，我们可以实现网站Robots协议的分析。本节中，我们来简单了解一下该模块的用法。1. Robots协议Robots协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作robots.txt的文本文件，一般放在网站的根目录
转载
2023-09-05 19:52:22
102阅读
HTTP协议是超文本传输协议, 每天浏览网页, 看新闻都在接触HTTP, 可以在地址栏看到最前面大多是http.HTTP协议, 实质上就是使用了网络编程, 使用TCP/IP连接, 来传输文本和图片等数据, 再通过浏览器进行解析和显示的.(图来自参考1)上述的图片就可以帮我们理解http协议的过程, 上述的结构是一个典型的BS模型.首先, 浏览器发送http请求, 服务器接收请求后进行处理, 之后返
转载
2023-09-27 17:23:40
78阅读
Python 对象协议出处：91 个建议 63：熟悉 Python 对象协议因为 Python 是一门动态语言，Duck Typing 的概念遍布其中，所以其中的 Concept 并不以类型的约束为载体，而另外使用称为协议的概念。在 Python 中就是 我需要调用你某个方法，你正好就有这个方法。
比如：在字符串格式化中，如果有占位符 %s，那么按照字符串转换的协议，Python 会自动地调用相应
转载
2023-06-29 20:37:56
128阅读
目录接口与协议定义接口协议鸭子类型与、白鹅类型、抽象基类标准库中的抽象基类collections.abc模块与abc模块numbers模块猴子补丁接口与协议定义接口类实现或继承的公开属性，包括特殊方法，都是类的接口。即可以为外界所知的都是接口。受保护的属性和私有属性不是接口，虽然在python中并没有真正的受保护属性和私有属性。接口有两类，一类是正式的，即抽象基类。一类是非正式的，即协议。协议协议
转载
2023-07-28 23:36:25
277阅读
