首先推荐几个 必须要掌握的类库 Requests: HTTP for Humans它是以这么一句话介绍自己的，为人类使用的HTTP库http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 中文文档 Beautifulsoup用Beautiful Soup解析网站源代码 代替正则https:/
转载
2023-09-14 21:52:46
188阅读
爬虫进阶教程：深入实践与案例分析在网络数据的世界里，爬虫技术是我们获取信息的重要工具。本文将通过详细的步骤和实例，帮助你从基础走向进阶，掌握处理动态内容、使用代理、以及数据存储等高级爬虫技术。1. 动态内容的抓取许多现代网站使用JavaScript动态加载内容，这要求我们的爬虫能够模拟浏览器的行为。Python的Selenium库可以帮助我们完成这一任务。安装Selenium首先，确保你已经安装了
一. 安装python其实mac自带的python完全够用, 这一步可以跳过. – by Binmac系统自带了一个python的执行执行环境，但为了获取最新版的python，我们需要重新安装python。这里有两种方案安装：1.homebrew1brew install python这个方案比较简单,如果出错的话可以给前面加sudo试试,这个安装的python可能不是最新版.2.从官网下载安装大
转载
2023-10-31 13:28:16
59阅读
初识爬虫学习爬虫之前，我们首先得了解什么是爬虫。网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。通俗来讲，假如你需要互联网上的信息，如商品价格，图片视频资源等，但你又不想或者不能自己一个一个自己去打开网页收集，这时候你便写了一个程序，让程序按照你指定好的规则去互联网上收集信息，这便是爬虫，我们熟知的百度，
转载
2024-05-18 23:21:55
36阅读
网络爬虫会自动扫描互联网，搜集大量数据并将它们组织起来。但是，许多网站都采取了反爬虫策略，限制了网络爬虫的活动。这时候，代理IP就起到了关键作用。代理IP可以让网络爬虫“变身”为不同的可以合法访问网站的用户，从而绕过网站的反爬虫机制，保护了网络爬虫的稳定运行。而且，使用代理IP还可以隐藏真实IP地址，保护个人隐私。 代理IP在网络爬虫中的作用 代理IP，顾名思义，就是代表客户端
下面是大纲，具体内容放在Github 第一部分： requests的
原创
2022-09-21 15:46:47
179阅读
"""# urllib：urllib库，它是Python内置的HTTP请求库，也就是说不需要额外安装即可使用。它包含如下4个模块。# request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程了。# error：异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。# parse：一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等。#
原创
2021-08-10 14:24:43
96阅读
"""# urllib：urllib库，它是Python内置的HTTP请求库，也就是说不需要额外安装即可使用。它包含如下4个模块。# request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程了。# error：异常处理模块，如果出现请求错误，
原创
2022-02-24 17:25:32
148阅读
# Python爬虫学习指南
## 流程图
```mermaid
stateDiagram
[*] --> 开始
开始 --> 下载网页
下载网页 --> 解析网页
解析网页 --> 提取信息
提取信息 --> 保存数据
保存数据 --> 结束
结束 --> [*]
```
## 步骤及代码示例
| 步骤 | 操作 | 代码 |
|
原创
2024-03-25 06:55:21
29阅读
通用爬虫模块学习1、爬虫的概念爬虫是模拟浏览器发送请求，获取相应爬虫的流程
URL--->发送请求，获取相应--->提取数据--->保存本地发送请求，获取相应---提取URLgraph TDA[url list] -->|发送请求| B(相应内容)-->E(提取url)-->AB --> C(提取数据)C --> D[模块D]爬虫要根据当前url地址
原创
2022-11-24 15:21:39
213阅读
好的，你想学习 Python 爬虫，我可以帮你系统梳理一下学习路线和核心知识点，从入门到进阶，还会给你一些实战案例。这样你可以一步步掌握爬虫技术。一、Python 爬虫学习路线1. 基础准备在学习爬虫前，建议先掌握：Python 基础语法（变量、循环、函数、类、模块）HTTP 基础（请求方法 GET/POST、状态码、请求头、响应体）HTML / CSS / JavaScript（能看懂网页结构，
前言 网络爬虫又称网络蜘蛛、网络机器人，它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页，并将所需要的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息。 但要注意：爬虫是一把双刃剑 爬虫是一把双刃剑，它给我们带来便利的同时，也给网络安全带来了隐患。有 ...
转载
2021-09-05 13:53:00
377阅读
2评论
Python爬虫学习笔记之爬虫基础
原创
2022-03-01 11:30:40
584阅读
Python爬虫学习笔记之爬虫基础
原创
2021-09-01 10:55:02
927阅读
终于看着python爬虫的书写了第一个爬虫程序！首先在macOS系统安装pycharm还是非常简单的，只要去官网下载一个dmg，像正常安装程序一样拖一下就能完成啦我是按照《Python3 网络爬虫开发实战》书上的例子写的，主要是把代码搬运过来写个注视便于自己理解吧。这是一个爬取猫眼前100电影排行榜的程序，主要代码如下：#json是一种轻量级的数据交换格式，便于人阅读和编写JSON常用做网站异步请
转载
2023-10-09 16:59:34
221阅读
1.2 为什么要学网络爬虫在上一节中，我们初步认识了网络爬虫，但是为什么要学习网络爬虫呢？要知道，只有清晰地知道我们的学习目的，才能够更好地学习这一项知识，所以在这一节中，我们将会为大家分析一下学习网络爬虫的原因。当然，不同的人学习爬虫，可能目的有所不同，在此，我们总结了4种常见的学习爬虫的原因。1）学习爬虫，可以私人订制一个搜索引擎，并且可以对搜索引擎的数据采集工作原理进行更深层次地理解。有的朋
转载
2023-12-13 13:21:01
65阅读
入手爬虫确实不要求你精通Python编程，但基础知识还是不能忽视的，那么我们需要哪些Python基础呢？首先我们先来看看一个最简单的爬虫流程：第一步要确定爬取页面的链接，由于我们通常爬取的内容不止一页，所以要注意看看翻页、关键字变化时链接的变化，有时候甚至要考虑到日期；另外还需要主要网页是静态、动态加载的。第二步请求资源，这个难度不大，主要是Urllib,Request两个库的使用，必要时候翻翻官
转载
2023-10-17 20:48:31
52阅读
前言：本教程所爬取的数据仅用于自己使用，无任何商业用途，若有侵权行为，请联系本人，本人可以删除，另外如果转载，请注明来源链接。两种方式：采用scrapy框架的形式。采用非框架的形式，具体是采用requests和etree。正题：首先介绍的是非框架的形式。这种形式便于部署到服务器上，定时批量的爬取数据。以此网站为例，当然最好用谷歌打开此网站，这样可以更好的上手爬虫。废话不多说，开始干货了。谷歌浏览器
转载
2023-11-08 19:51:46
57阅读
打开谷歌浏览器from selenium import webdriverfrom selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.common.keys import Keys #键盘import requestsb = webdriver.Chrome('D:\迅雷下载\chromecj.com\\chromedriver.exe') #参数是谷歌驱动进入某个网页,比如这里
原创
2021-08-27 09:51:19
171阅读
爬虫笔记20211019 个人学习，笔记记录 引用模块 os（读写储存爬取内容） requests（通过链接与请求头获得html页面内容） re（正则表达式筛选文字内容） 爬取对象与目标 纵横小说网的小说，爬取谋篇小说 步骤 分析网页 链接内容为点进去的小说的第一章节内容，而F12代码查看里面小说内 ...
转载
2021-10-19 14:27:00
81阅读
2评论
