python爬虫学习笔记：XPath语法和使用示例

python爬虫：XPath语法和使用示例

XPath(XML Path Language)是一门在XML文档中查找信息的语言，可以用来在XML文档中对元素和属性进行遍历。

选取节点

XPath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

常用路径表达式：

实例

在下面的表格中，列出一些路径表达式以及表达式的结果：

查找特定的节点

注意点：在xpath中，第一个元素的位置是1，最后一个元素的位置是last()，倒数第二个是last()-1。

选取未知节点

XPath通配符可用来选取未知的XML元素。

选取若干路径

通过在路径表达式中使用"|"运算符，您可以选取若干个路径。

实例

在下面的表格中，列出一些路径表达式以及表达式的结果：

使用技巧

在一般的爬虫实战中，XPath路径可以通过谷歌浏览器或火狐浏览器中复制得到，如下图：

但是对于新手可以多多尝试自己写XPath路径，因为有时候复制获取的XPath路径过长，而自己写的更简洁些。

例子：

import requests
from lxml import etree

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
}
url = 'http://www.qiushibaike.com/text/'
res = requests.get(url, headers=headers)
selector = etree.HTML(res.text)
id = selector.xpath('//div[@class="article block untagged mb15 typs_long"]/div[1]/a[2]/h2/text()')
print(''.join(id).strip())

# 注意：通过/text()可以获取标签中的文字信息。
# 结果为：璃白°

几种解析方式的性能对比

爬取豆瓣图书TOP250

爬取的例子直接输出到屏幕。

需求分析：

（1）要爬取的内容为豆瓣图书top250的信息，如下图所示：

（2）所爬取的网页链接： https://book.douban.com/top250?start=0

（3）需要爬取的信息有：书名，书本的链接，作者，出版社，出版日期评分和评价。

具体代码如下：

# -*- encoding:utf8 -*-
# 爬取豆瓣图书TOP250。
import requests
from lxml import etree

# 请求头，用来模拟浏览器
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
}


def get_info(url):
    res = requests.get(url, headers=headers).text
    # lxml库的etree解析html
    selector = etree.HTML(res)
    # 获取的是一页中所有的书本信息，每本的所以信息都在类为item的tr下面。
    infos = selector.xpath("//tr[@class='item']")
    for info in infos:
        # 书名
        name = info.xpath('td/div/a/@title')[0]
        # 书的链接地址
        book_url = info.xpath('td/div/a/@href')[0]
        # 获取的是书本的基本信息,有作者和出版社,和出版日期...
        book_infos = info.xpath('td/p/text()')[0]
        # 作者
        author = book_infos.split('/')[0]
        # 出版社
        publisher = book_infos.split('/')[-3]
        # 出版日期
        date = book_infos.split('/')[-2]
        # 价格
        price = book_infos.split('/')[-1]
        # 书本的评分
        rate = info.xpath('td/div/span[2]/text()')[0]
        # 下面的评论
        comments = info.xpath('td/p/span/text()')
        # 这里单行的if语句是:如果comments的长度不为0时,则把comments的第1个元素给comment,否则就把"空"赋值给comment
        comment = comments[0] if len(comments) != 0 else "空"
        print(name + " " + book_url + " " + book_infos + " " + author + " " + publisher + " " + date + " " + price + " " + rate + " " + comment)
        print()

    # 获取下一页的url
    if selector.xpath("//span[@class='next']/a"):
        next_pag = selector.xpath("//span[@class='next']/a/@href")
        get_info(''.join(next_pag))


if __name__ == "__main__":
    url = 'https://book.douban.com/top250'
    get_info(url)

部分结果如下图所示：