Python xpath 元素属性值

一、Xpath简介

1、Xpath介绍

XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进 行遍历。

2、选取节点

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看 到的表达式非常相似。最常用的路径表达式：

3、谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。

4、选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

Xpath运算符

二、lxml库

1、lxml 是 一个HTML/XML的解析器,主要的功能是如何解析和提取 HTML/XML 数据。
lxml和正则一样,也是用 C 实现的,是一款高性能的 Python HTML/XML 解析器,可以利用之前学习的
XPath语法,快速定位特定元素以及节点信息。

lxml可以自动修正html代码，不仅补全了li标签，还添加了body，html标签。

2、文件读取
利用 etree.parse() 方法来读取文件

from lxml import  etree
filename = 'doc/hello.html'
import os
print(os.path.exists(filename))
#利用etree.HTML,将字符串解析为HTML文档
html = etree.parse(filename)
# # 按字符串序列化HTML文档
result = etree.tostring(html)
print(result)

3、项目案例：Xpath案例–慕课网课程信息采集

import re

import requests
# User-Agent随机选择代理模块;
from fake_useragent import  UserAgent
from lxml import etree
import  pandas as pd
# 线程池
from concurrent.futures import  ThreadPoolExecutor

def get_content(url):
    """数据采集"""
    try:
        headers = {
            'User-Agent': ua.random,

        }
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        response.encoding = response.apparent_encoding
    except Exception as e:
        print("网页" + url + "爬取错误:", e)
        return  ''
    else:
        # response.text     : 如果普通的页面， 用text， 返回字符串的内容
        # response.content  : 如果不是普通的页面(图片， 视频), 用content, 返回的时二进制内容;
        return  response.text

def html_parser(html):
    """
    数据解析: 获取页面的课程名称， 课程简介， 学习人数,
    :param html:
    :return:
    """
    # 1. 获取页面上每个课程的详细信息;
    """
    <div class="course-card-container">详细的课程信息对应的html.......</div>
    """
    html = etree.HTML(html)
    courseDetails =html.xpath('//div[@class="course-card-container"]')
    # print(courseDetails)

    # 2. 遍历所有的课程， 依次提取每个课程的标题， 学习人数， 详细信息
    for courseDetail in courseDetails:
        # 2-1. 标题
        """
        <h3 class="course-card-name">初识HTML+CSS</h3>
        """
        # 默认返回的时列表, e.g: ['初识HTML+CSS'], 访问它的第0个索引是我们想要的内容;
        title = courseDetail.xpath('.//h3[@class="course-card-name"]/text()')[0]
        # print(title)

        # 2-2. 学习人数
        """
        <div class="course-card-info">
					<span>入门</span><span><i class="imv2-set-sns"></i>1056599</span>
		</div>
        """
        # 默认返回的是列表, 格式如下: ['入门', '1056602']
        studentNum = courseDetail.xpath('.//div[@class="course-card-info"]/span/text()')[-1]
        # print(studentNum)

        # 2-3. 课程的详细信息
        """
        <p class="course-card-desc">HTML+CSS基础教程8小时带领大家步步深入学习标签用法和意义</p>
        """
        courseInfo = courseDetail.xpath('.//p[@class="course-card-desc"]/text()')[0]
        # print(courseInfo)

        # 2-4. 获取详细的url地址
        """
        <a target="_blank" href="/learn/9" class="course-card">
        """
        # print( courseDetail.xpath('./a/@href'))
        course_url = "https://www.imooc.com" + courseDetail.xpath('./a/@href')[0]
        # yield  title, studentNum, courseInfo, course_url


        # 用字典存储
        result = [{
            'title': title,
            'studentNum': studentNum,
            'courseInfo': courseInfo,
            'course_url': course_url
        }]


        df = pd.DataFrame(result)
        yield  df

def save_data(df):
    """
    数据存储
    :return:
    """
    df.to_csv(csv_filename, sep=',', header=True, index=False)
    print("写入文件%s成功...." %(csv_filename))

def task(page):
    """
    多线程执行的任务
    :param page:
    :return:
    """
    url = 'https://www.imooc.com/course/list?page=%s' %(page)
    html = get_content(url)
    df = html_parser(html)
    return  df

if __name__ == '__main__':
    ua = UserAgent()
    threadCount = 5
    pages = 3
    csv_filename = 'doc/mooc.csv'

    with ThreadPoolExecutor(threadCount) as pool:
        # 存储的是任务的返回值
        # results里面有几个元素
        results = pool.map(task, range(1, pages+1))

    # results的个数取决于任务个数， 比如任务数为5， 返回的结果也为5个;
    # result里面包含多个df对象;
    # for result in results:
    #     print(result)


    total_df = pd.DataFrame({})
    for result in results:
        for item in result:
            print(item)
            # # 拼接获取的所有信息, axis=0代表往跨行（down)，而axis=1代表跨列（across)
            total_df = pd.concat([item, total_df], axis=0)
    print(total_df)
    save_data(total_df)