下面是大纲，具体内容放在Github 第一部分： requests的
原创
2022-09-21 15:46:47
179阅读
"""# urllib：urllib库，它是Python内置的HTTP请求库，也就是说不需要额外安装即可使用。它包含如下4个模块。# request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程了。# error：异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。# parse：一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等。#
原创
2021-08-10 14:24:43
96阅读
"""# urllib：urllib库，它是Python内置的HTTP请求库，也就是说不需要额外安装即可使用。它包含如下4个模块。# request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程了。# error：异常处理模块，如果出现请求错误，
原创
2022-02-24 17:25:32
148阅读
# Python爬虫学习指南
## 流程图
```mermaid
stateDiagram
[*] --> 开始
开始 --> 下载网页
下载网页 --> 解析网页
解析网页 --> 提取信息
提取信息 --> 保存数据
保存数据 --> 结束
结束 --> [*]
```
## 步骤及代码示例
| 步骤 | 操作 | 代码 |
|
原创
2024-03-25 06:55:21
29阅读
通用爬虫模块学习1、爬虫的概念爬虫是模拟浏览器发送请求，获取相应爬虫的流程
URL--->发送请求，获取相应--->提取数据--->保存本地发送请求，获取相应---提取URLgraph TDA[url list] -->|发送请求| B(相应内容)-->E(提取url)-->AB --> C(提取数据)C --> D[模块D]爬虫要根据当前url地址
原创
2022-11-24 15:21:39
213阅读
好的，你想学习 Python 爬虫，我可以帮你系统梳理一下学习路线和核心知识点，从入门到进阶，还会给你一些实战案例。这样你可以一步步掌握爬虫技术。一、Python 爬虫学习路线1. 基础准备在学习爬虫前，建议先掌握：Python 基础语法（变量、循环、函数、类、模块）HTTP 基础（请求方法 GET/POST、状态码、请求头、响应体）HTML / CSS / JavaScript（能看懂网页结构，
前言 网络爬虫又称网络蜘蛛、网络机器人，它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页，并将所需要的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息。 但要注意：爬虫是一把双刃剑 爬虫是一把双刃剑，它给我们带来便利的同时，也给网络安全带来了隐患。有 ...
转载
2021-09-05 13:53:00
377阅读
2评论
首先推荐几个 必须要掌握的类库 Requests: HTTP for Humans它是以这么一句话介绍自己的，为人类使用的HTTP库http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 中文文档 Beautifulsoup用Beautiful Soup解析网站源代码 代替正则https:/
转载
2023-09-14 21:52:46
188阅读
Python爬虫学习笔记之爬虫基础
原创
2021-09-01 10:55:02
927阅读
Python爬虫学习笔记之爬虫基础
原创
2022-03-01 11:30:40
584阅读
1.2 为什么要学网络爬虫在上一节中，我们初步认识了网络爬虫，但是为什么要学习网络爬虫呢？要知道，只有清晰地知道我们的学习目的，才能够更好地学习这一项知识，所以在这一节中，我们将会为大家分析一下学习网络爬虫的原因。当然，不同的人学习爬虫，可能目的有所不同，在此，我们总结了4种常见的学习爬虫的原因。1）学习爬虫，可以私人订制一个搜索引擎，并且可以对搜索引擎的数据采集工作原理进行更深层次地理解。有的朋
转载
2023-12-13 13:21:01
65阅读
入手爬虫确实不要求你精通Python编程，但基础知识还是不能忽视的，那么我们需要哪些Python基础呢？首先我们先来看看一个最简单的爬虫流程：第一步要确定爬取页面的链接，由于我们通常爬取的内容不止一页，所以要注意看看翻页、关键字变化时链接的变化，有时候甚至要考虑到日期；另外还需要主要网页是静态、动态加载的。第二步请求资源，这个难度不大，主要是Urllib,Request两个库的使用，必要时候翻翻官
转载
2023-10-17 20:48:31
52阅读
前言：本教程所爬取的数据仅用于自己使用，无任何商业用途，若有侵权行为，请联系本人，本人可以删除，另外如果转载，请注明来源链接。两种方式：采用scrapy框架的形式。采用非框架的形式，具体是采用requests和etree。正题：首先介绍的是非框架的形式。这种形式便于部署到服务器上，定时批量的爬取数据。以此网站为例，当然最好用谷歌打开此网站，这样可以更好的上手爬虫。废话不多说，开始干货了。谷歌浏览器
转载
2023-11-08 19:51:46
57阅读
打开谷歌浏览器from selenium import webdriverfrom selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.common.keys import Keys #键盘import requestsb = webdriver.Chrome('D:\迅雷下载\chromecj.com\\chromedriver.exe') #参数是谷歌驱动进入某个网页,比如这里
原创
2021-08-27 09:51:19
171阅读
爬虫笔记20211019 个人学习，笔记记录 引用模块 os（读写储存爬取内容） requests（通过链接与请求头获得html页面内容） re（正则表达式筛选文字内容） 爬取对象与目标 纵横小说网的小说，爬取谋篇小说 步骤 分析网页 链接内容为点进去的小说的第一章节内容，而F12代码查看里面小说内 ...
转载
2021-10-19 14:27:00
81阅读
2评论
一.爬虫原则
爬虫的盗亦有道Robots协议
二.爬虫页面获取基础
Requests库概念
深入requests库params|data|json参数
requests模块请求常用参数的写法整理
requests模块响应体属性和方法重新整理
Python3安装与使用urllib2包之小坑
爬虫防止浏览器防止debug处理
python爬虫执行js代码-execjs
三.爬虫页面解析基础
url编
原创
2021-06-01 09:20:31
218阅读
w.baidu.com/，它就是...
原创
2023-06-27 22:51:16
187阅读
requests模块1.处理一个UA反爬import requestscontent = input("请输入你要搜索的内容：")url = f"https://www.sogou.com/web?query={content}"headers = { # 添加一个请求头信息.UA "user-agent" : "Mozilla/5.0 (Windows NT 10.0;
原创
2022-12-31 19:39:23
381阅读
首先这次学习的是利用写Python脚本对网页信息的获取，并且把他保存到我们的数据库里最后形成一个Excel表格下载第三方模块和源码安装MongoDB刚开始我们需要做一些准备：先安装第三方模块https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-3.2.5.tgz思路如下：1.访问网站，拿到html网页headers获取：脚本1：运
原创
2019-06-15 09:40:39
1618阅读
1. python爬虫学习(一)：BeautifulSoup库基础及一般元素提取方法 2. python爬虫学习(二)：定向爬虫例子 3. python爬虫学习(三)：使用re库爬取"淘宝商品"，并把结果写进txt文件 4. 猫眼电影爬取(一)：requests+正则，并将数据存储到mysql数据库
原创
2021-08-26 10:06:42
98阅读
