0. xpath 语法
找到所有 <img src=....> 图像的链接：
xpath = './/img/@src'
img_urls = html.xpath(xpath)
@修饰节点的属性；
1. lxml
from lxml import etree
etree 下的 HTML 对象，其构造函数接受 requests.request 的返回值对象：
url
转载
2018-01-03 21:29:00
231阅读
2评论
# Python爬虫递归抓取网页内容
在当今信息爆炸的时代，获取和分析网络上的数据变得越来越重要。爬虫是一种获取互联网上数据的技术，而递归是一种在编程中重要的概念。本文将介绍如何使用Python编写爬虫来递归抓取网页内容，并提供代码示例。
## 什么是爬虫？
爬虫是一种自动化程序，用于从互联网上获取数据。它模拟人类用户的访问行为，通过发送HTTP请求获取网页内容，并提取所需的信息。爬虫可以用
原创
2023-11-26 03:42:48
294阅读
安装requests_htmlpython爬虫需要安装额外的包requests_html解析器，官网地址为(http://html.python-requests.org/) 使用pip命令安装requests_html，打开终端输入：pip3 install requests_html有时可能pip版本过低会报错，安装不上requests_html，可以使用下面命令升级pip至最新版本升级pip
转载
2023-05-23 22:10:41
25阅读
安装pip install lxml代码示例from lxml import etreetext = """<html> <head> <title>这是标题</title> </head> <body> <div&
原创
2021-07-12 10:52:15
396阅读
安装pip install lxml代码示例from lxml import etreetext = """<html> <head> <title>这是标题</title> </head> <body> <div&
原创
2022-02-17 16:49:26
319阅读
1、网页是什么？浏览器画网页的流程，是浏览器将用户输入的网址告诉网站的服务器，然后网站的服务器将网址对应的网页返回给浏览器，由浏览器将网页画出来。这里所说的网页，一般都是一个后缀名为 html 的文件。网页文件和我们平时打交道的文件没什么不同，平时我们知道 Word 文件，后缀名为 .doc， 通过 Word 可以打开。图片文件后缀名为 .jpg，通过 Photoshop 可以打开；而网页则是后缀
转载
2024-08-09 18:01:55
77阅读
对于爬虫我们首先想到的是 python，但是对于前
原创
2022-11-23 03:33:02
374阅读
目录一、使用urllib3实现HTTP请求1.生成请求2.处理请求头3.Timeout设置4.请求重试设置5.生成完整HTTP请求二、使用requests库实现HTTP请求解决字符编码问题三、解析网页1.元素面板2.源代码面板3.网络面板四、使用正则表达式解析网页1. Python正则表达式：寻找字符串中的姓名和电话号码完整代码五、使用Xpath解析网页1.基本语法2.谓语3. 功能函数4.谷歌开
转载
2023-06-18 12:25:26
413阅读
现在很多的web页面使用ajax技术动态加载页面。但对于爬虫来说，目标数据很可能不在页面HTML源码中（右键查看网页源代码，通过F12查找），针对静态页面的爬虫不再满足现在的需求。很多教程都推荐用Selenium和PhantomJS配合使用，实现网页的渲染，得到网页的全部信息。但是对于爬虫程序，模拟浏览器内存开销实在是非常大，而且效率低。好消息是，大多是是浏览器会在请求和解析HTML之后，根据js
转载
2024-03-06 21:07:58
66阅读
先通过一下代码获取豆瓣的首主页文档先通过一下代码获取豆瓣的首主页文档先通过一下代码获取豆瓣的首主页文档import urllib.request,urllib.errori
原创
2022-02-11 14:59:06
337阅读
先通过一下代码获取豆瓣的首主页文档先通过一下代码获取豆瓣的首主页文档先通过一下代码获取豆瓣的首主页文档import urllib.request,urllib.errorimport urllib.parsefrom bs4 import BeautifulSoupurl="http://www.douban.com/"head={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, l
原创
2021-08-26 15:58:05
1534阅读
python-爬虫-自带库抓取网页内容版本：Python 2.7.10 python-爬虫-自带库抓
原创
2022-10-28 14:20:42
221阅读
在互联网时代，爬虫技术扮演着重要的角色，它能够帮助我们收集和分析大量的数据。然而，对于那些采用动态加载技术的网站来说，传统的爬虫技术可能无法很好地处理这些页面。本文将介绍如何使用Python爬虫来处理动态加载页面，以及如何利用Selenium和Scrapy这两个强大的工具来实现这一目标。1. 什么是动态加载页面？在传统的网页中，页面的内容是在服务器端生成的，并在浏览器中直接显示。但是，随着Java
在日常生活中，当我们上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧～！其实你很厉害的，右键查看页面源代码。
转载
2023-10-17 14:49:29
189阅读
博客简介本博客是python爬虫入门时的几个案例，记录学习过程：京东页面爬取亚马逊页面爬取百度/360搜索关键词提交网络图片的爬取和存储IP地址自动查询京东页面爬取 这个简单，京东的这个页面没有给页面审查，可以无障碍地访问它：import requests
def getHtmlText(url):
try:
r=requests.get(url)
r.ra
转载
2023-10-31 23:39:12
186阅读
简单爬取网页步骤： 1）分析网页元素 2）使用urllib2打开链接 ---python3是 from urllib import request &
转载
2023-06-30 22:09:00
202阅读
内容：爬取想要的百度图片，并存入文件夹 所需软件：PyCharm 或 VSCode （能跑python就行），Chrome浏览器 目录小准备：下载selenium、wget库下载ChromeDriver代码原理 小准备：下载selenium、wget库打开PyCharm，点击最下面的terminal，在终端下输入pip install selenium， 自动安装selenium库
转载
2024-05-30 23:11:49
256阅读
最近学习了scrapy爬虫框架，想要找个目标练练手。由于现在很多网页都是动态的，因此还需要配合selenium爬取。本文旨在记录这次学习经历，如有疑问或不当之处，可以在评论区指出，一起学习。 目录scrapy与selenium准备工作相关库以及chromedriver的安装目标内容具体实现创建项目编写items.py文件编写middlewares.py文件编写爬虫文件编写pipelines.py文
转载
2024-04-10 14:53:41
428阅读
最近研究一个小软件，但遇到对方服务器有反爬机制，有点尴尬。那就只好先了解看看网站防御爬虫都有哪些方式，好知己知彼反爬机制主要有两大策略：01—控制IP访问频率 最常见的基本都会使用代理IP来进行访问，但是对于一般人来说，几万ip差不多是极限了，所以一个ip还是可能多次请求。意味着爬虫需要付出更多的成本投入在IP资源上，IP越多，爬取的成本越高，自然容易劝退一
转载
2023-10-27 20:58:59
130阅读
# 网页爬虫Python科普文章
## 什么是网页爬虫
网页爬虫（Web crawler）是一种自动化程序，用于从互联网上获取数据。它可以访问网页、提取信息，并将数据保存到本地或进行进一步的处理和分析。
## 网页爬虫的工作原理
网页爬虫的工作原理可以分为下面几个步骤：
1. 发送HTTP请求：爬虫首先发送HTTP请求到目标网页的服务器，请求获取网页内容。
2. 接收响应：服务器接收到请
原创
2023-11-15 05:46:42
53阅读
