python xpath怎么不等于空值 python xpath xml

转载

mob64ca140ce312 2023-11-12 16:00:15

文章标签 python xpath怎么不等于空值子节点 html 父节点 文章分类 Python 后端开发

使用XPath解析库

1.简介
2.常用规则
3.etree模块解析网页简介
4.选取所有节点，子节点和父节点

(1)选取所有节点
(2)选取子节点
(3)选取父节点

5.属性匹配，文本获取和属性多值匹配

(1)属性匹配
(2)文本获取
(3)属性多值匹配

6.属性获取和多属性匹配

(1)属性获取
(2)多属性匹配

7.按次序选择
8.节点轴选择
9.开发者工具查看xpath选择器路径

使用XPath解析库

1.简介

XPath(全称XML Path Languang)，即XML路径语言，是一种在XML文档中查找信息的语言。适用于XML和HTML文档的搜索。
优点：提供了非常简洁明了的路径选择表达式。还提供了超过100个内建函数，可以匹配大部分的节点。
官网：https://www.w3.org/TR/xpath/ 准备工作：需要安装lxml库。

2.常用规则

表达式	功能
nodename	选取此节点的所有子节点
/	从当前节点选取直接子节点
//	从当前节点选取直接子孙节点
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

3.etree模块解析网页简介

etree是lxml库中的函数，可以自动修正HTML文本。下面是两种导入方法：
直接读取网页代码进行解析：

from lxml import etree
text = '''
HTML文本
'''
# 将HTML文本转化为可以用etree解析的对象，
html = etree.HTML(text)	# 结果是bytes类型，如果需要文本输出，则需要用decode()转码为Unicode编码

读取文本文件进行解析(这里既会自动修正文件，又会补充DOCTYPE声明)：

from lxml import etree
html = etree.parse('文本文件路径/文本文件名字.html',etree.HTMLParse()) # 结果是bytes类型，如果需要文本输出，则需要用decode()转码为Unicode编码

用tostring()方法即可输出修正后的HTML代码。

4.选取所有节点，子节点和父节点

(1)选取所有节点

一般用//开头的XPath规则，就会选择从当前节点开始的所有子孙节点，也就是所有节点。所以要匹配所有的节点代码如下：

a = html.xpath('//*')	# 选取所有的节点
b = html.xpath('//a')	# 选取所有的a节点,是一个例子

这里的a和b，也就是xpath方法的返回值是一个列表，每个元素是Element类型，后面跟着节点的名称，是一个可迭代对象。要取出某一个对象，就需要用处理列表的方法进行。

(2)选取子节点

选取子节点只需要在后面加上/节点名称(选择直接子节点，也就是与其相邻的第一个子节点)，如果直接子节点没有就会报错，或者//节点名称(选择所有子孙节点)，例子如下：

c = html.xpath('//li/a')	# 选取li节点的直接a子节点
d = html.xpath('//li//a')	# 选取li节点的所有a子节点

(3)选取父节点

获取某个节点的父节点有两个方法，一个是用..，另一个是用parent::。
同理，如果没有父节点，就会报错，例子如下：

e = html.xpath('//li/../a')	# 选取li节点的父节点下的a节点
f = html.xpath('//li/parent::/a')	# 选取li节点的父节点下的直接a节点
g = html.xpath('//li/parent::*/a')	# 选取li节点的父节点下的所有a节点

5.属性匹配，文本获取和属性多值匹配

(1)属性匹配

在选取节点的时候，可以用@符号进行属性过滤，用[@属性名="属性值"]进行实现，例子如下：

s = html.xpath('//li[@class="ming"]')	# 选取属性值class="ming"的所有li节点

要注意的是里面的括号和外面的括号尽量一个用双引号，一个用单引号。

(2)文本获取

我们用Xpath中的text()方法即可获取节点中的文本。要注意的是获取到的数据可能包括换行符'\n'。

(3)属性多值匹配

要是属性有多个值的话，用上面的方法就无法匹配了。需要用到contains()函数，包含两个参数，即@属性名和属性值，例子如下：

# 源代码中为<li class="ming1 ming2">
s1 = html.xpath('//li[contains(@class,"ming1")]')	# 选取属性值class="ming1"的所有li节点
s2 = html.xpath('//li[contains(@class,"ming2")]')	# 选取属性值class="ming2"的所有li节点

6.属性获取和多属性匹配

(1)属性获取

属性获取直接用@获取即可，例子如下：

s = html.xpath('//li/a/@href]')	# 获取所有li节点下的直接a子节点的href属性

(2)多属性匹配

有时候需要根据多个属性值确定一个节点，就需要同时匹配多个属性。要用and进行连接，可以把contains(@属性名,"属性名")和@属性名="属性值"混合使用，例子如下：

# 选取所有属性值class="a"和_target="ming"的li节点下的所有a节点的href属性
two_s = html.xpath('//li[contains(@class,"a") and @_target="ming"]//a/@href')

7.按次序选择

有时候选择到的某些属性可能同时匹配了多个节点，但是要想得到其中的某一个节点，该如何获取呢？可以用中括号传入索引的方法获取特定次序的节点。下面是一些常用方法的总结：

方法	功能
[n]	选取第n个节点，序号是以1开头的
[last()]	选取最后一个节点
[position() < n]	选取位置小于n的节点，这里可以用算术运算符进行选择
[last() - n]	选取倒数第n+1个节点，由于last()是倒数第一个，则last() - n就是倒数第n+1个

8.节点轴选择

由于网页代码是一个DOM树，因此可以用相对的位置进行选择节点的子节点，兄弟节点，父节点或者祖先节点等。python的节点轴选择常用的如下：

节点轴	选择节点
ancestor:: *	获取所有祖先节点
ancestor::条件	获取指定条件的祖先节点
attribute:: *	获取节点的所有属性
attribute::属性名	获取节点的指定属性
child:: *	获取所有子节点
child::条件	获取指定条件的子节点
descendent:: *	获取所有的子孙节点
descendent::条件	获取指定条件的子孙节点
following:: *	获取当前节点之后的所有节点
following:: *[n]	获取当前节点之后的第n个节点
following-sibing:: *	获取当前节点之后的所有同级节点
following-sibing::条件	获取当前节点之后指定条件的所有同级节点