Python更新DOM的5种方式：BeautifulSoup、lxml、Scrapy、pyquery、requests-html

原创

lilongsy 2023-04-01 07:23:06 ©著作权

文章标签 python 开发语言爬虫 html HTML 文章分类 JavaScript 前端开发

©著作权归作者所有：来自51CTO博客作者lilongsy的原创作品，请联系作者获取转载授权，否则将追究法律责任

BeautifulSoup 更新

在Python中，我们通常使用BeautifulSoup库来解析和修改HTML文档（DOM）。如果你想在Python中更新DOM，首先需要安装BeautifulSoup和lxml库，如下所示：

pip install beautifulsoup4
pip install lxml

然后，你可以使用BeautifulSoup来解析HTML字符串并更新DOM。以下是一个示例：

from bs4 import BeautifulSoup

html = """
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Document</title>
</head>
<body>
    <h1 id="title">Hello, World!</h1>
    <p class="content">This is a paragraph.</p>
    <p class="content">This is another paragraph.</p>
</body>
</html>
"""

# 解析HTML
soup = BeautifulSoup(html, "lxml")

# 更新DOM
title_tag = soup.find("h1", id="title")
title_tag.string = "Updated Title"

content_tags = soup.find_all("p", class_="content")
for tag in content_tags:
    tag.string = "Updated paragraph content."

# 输出更新后的HTML
print(soup.prettify())

在这个例子中，我们首先解析HTML字符串，然后找到

和

标签，并更新它们的内容。最后，我们打印更新后的HTML。

注意，BeautifulSoup仅用于解析和修改HTML/XML文档。如果你需要与浏览器交互，例如模拟用户点击按钮、处理JavaScript等，你可能需要使用Selenium或其他Web自动化库。

BeautifulSoup替换

在Python中，我们可以使用BeautifulSoup库来解析和操作HTML文档，实现类似于在JavaScript中操作DOM的功能。

from bs4 import BeautifulSoup
import requests

# 获取HTML文档
url = 'https://example.com'
response = requests.get(url)
html = response.content

# 解析HTML文档
soup = BeautifulSoup(html, 'html.parser')

# 查找DOM元素
old_element = soup.find('p', {'class': 'old'})

# 创建新元素并设置属性
new_element = soup.new_tag('p', attrs={'class': 'new'})
new_element.string = '这是新的段落内容。'

# 替换旧元素
old_element.replace_with(new_element)

# 输出修改后的HTML文档
print(soup.prettify())

如果你想输出未美化的HTML，可以直接将BeautifulSoup对象转换为字符串。以下是一个示例：

from bs4 import BeautifulSoup
import requests

# 获取HTML文档
url = 'https://example.com'
response = requests.get(url)
html = response.content

# 解析HTML文档
soup = BeautifulSoup(html, 'html.parser')

# 查找DOM元素
old_element = soup.find('p', {'class': 'old'})

# 创建新元素并设置属性
new_element = soup.new_tag('p', attrs={'class': 'new'})
new_element.string = '这是新的段落内容。'

# 替换旧元素
old_element.replace_with(new_element)

# 输出未美化的HTML文档
print(str(soup))

在这个例子中，我们用str(soup)替换了print(soup.prettify())，以输出未美化的HTML。其他部分与之前的示例相同。

lxml

使用lxml库，您也可以解析、修改和输出HTML。首先，确保您已安装lxml库：

pip install lxml

下面是一个使用lxml库更新DOM的示例：

from lxml import etree

html = """
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Document</title>
</head>
<body>
    <h1 id="title">Hello, World!</h1>
    <p class="content">This is a paragraph.</p>
    <p class="content">This is another paragraph.</p>
</body>
</html>
"""

# 解析HTML
parser = etree.HTMLParser()
tree = etree.fromstring(html, parser)

# 更新DOM
title_tag = tree.xpath('//h1[@id="title"]')[0]
title_tag.text = "Updated Title"

content_tags = tree.xpath('//p[@class="content"]')
for tag in content_tags:
    tag.text = "Updated paragraph content."

# 输出更新后的HTML
updated_html = etree.tostring(tree, pretty_print=True, encoding='utf-8', method='html').decode('utf-8')
print(updated_html)

在这个例子中，我们使用lxml解析HTML字符串，然后使用XPath表达式查找

和

标签。接着，我们更新它们的内容。最后，我们将更新后的HTML树转换为字符串并打印。

虽然lxml库功能强大，但它的语法和操作方式可能不如BeautifulSoup直观。然而，对于处理复杂的XML/HTML文档或需要更高性能的场景，lxml库是一个很好的选择。

Scrapy

Scrapy框架主要用于网页抓取和数据提取。尽管它不是专门用于修改HTML DOM的工具，但您仍然可以在Scrapy中使用lxml库或BeautifulSoup库来更新DOM。以下是一个使用Scrapy和lxml库来更新DOM的示例：

首先，确保您已经安装了Scrapy和lxml库：

pip install scrapy
pip install lxml

创建一个名为dom_update_spider.py的文件，然后添加以下代码：

import scrapy
from lxml import etree

class DomUpdateSpider(scrapy.Spider):
    name = 'dom_update'

    def start_requests(self):
        html = """
        <!DOCTYPE html>
        <html lang="en">
        <head>
            <meta charset="UTF-8">
            <meta name="viewport" content="width=device-width, initial-scale=1.0">
            <title>Document</title>
        </head>
        <body>
            <h1 id="title">Hello, World!</h1>
            <p class="content">This is a paragraph.</p>
            <p class="content">This is another paragraph.</p>
        </body>
        </html>
        """

        # 解析HTML
        parser = etree.HTMLParser()
        tree = etree.fromstring(html, parser)

        # 更新DOM
        title_tag = tree.xpath('//h1[@id="title"]')[0]
        title_tag.text = "Updated Title"

        content_tags = tree.xpath('//p[@class="content"]')
        for tag in content_tags:
            tag.text = "Updated paragraph content."

        # 输出更新后的HTML
        updated_html = etree.tostring(tree, pretty_print=True, encoding='utf-8', method='html').decode('utf-8')
        print(updated_html)

        yield scrapy.Request(url='https://www.example.com', callback=self.parse)

    def parse(self, response):
        pass

在这个例子中，我们创建了一个名为DomUpdateSpider的Scrapy爬虫。在start_requests方法中，我们使用lxml解析和更新HTML DOM。请注意，这里仅仅是一个示例，实际上您可能需要从网页上抓取HTML内容。在parse方法中，您可以继续处理抓取的数据。

要运行爬虫，请在命令行中输入以下命令：

scrapy runspider dom_update_spider.py

这将运行Scrapy爬虫并更新HTML DOM。请注意，Scrapy框架主要用于网页抓取和数据提取，这里的示例可能不是Scrapy的典型用法。如果您只需要解析和修改HTML，使用BeautifulSoup或lxml库可能更合适。

pyquery

pyquery 是一个类似 jQuery 的 Python 库，允许您轻松查询和操作 HTML DOM。首先，请确保已安装 pyquery：

pip install pyquery

接下来，我们使用 pyquery 更新 DOM：

from pyquery import PyQuery as pq

html = """
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Document</title>
</head>
<body>
    <h1 id="title">Hello, World!</h1>
    <p class="content">This is a paragraph.</p>
    <p class="content">This is another paragraph.</p>
</body>
</html>
"""

# 解析 HTML
d = pq(html)

# 更新 DOM
d("#title").text("Updated Title")
d(".content").text("Updated paragraph content.")

# 输出更新后的 HTML
print(d.html(method='html'))

在这个示例中，我们使用 pyquery 解析 HTML 字符串，然后使用类似于 jQuery 的语法查找

和

标签并更新它们的内容。最后，我们输出更新后的 HTML。

pyquery 是一个轻量级的库，提供了熟悉的 jQuery 风格的语法，可以方便地查询和操作 HTML DOM。

requests-html

requests-html 是一个集成了HTML解析和网络请求的库，它提供了一个方便的API，用于发送HTTP请求并解析HTML。首先，请确保已安装 requests-html：

pip install requests-html

接下来，我们使用 requests-html 更新DOM：

from requests_html import HTML

html = """
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Document</title>
</head>
<body>
    <h1 id="title">Hello, World!</h1>
    <p class="content">This is a paragraph.</p>
    <p class="content">This is another paragraph.</p>
</body>
</html>
"""

# 解析HTML
doc = HTML(html=html)

# 更新DOM
title_tag = doc.find("#title", first=True)
title_tag.text = "Updated Title"

content_tags = doc.find(".content")
for tag in content_tags:
    tag.text = "Updated paragraph content."

# 输出更新后的HTML
print(doc.html)

在这个示例中，我们使用 requests-html 解析HTML字符串，然后使用类似于jQuery的语法查找

和

标签并更新它们的内容。最后，我们输出更新后的HTML。

请注意，虽然 requests-html 库可以轻松解析和更新HTML DOM，但它的主要功能是作为网络请求库。对于只需解析和修改HTML的情况，使用BeautifulSoup、lxml或pyquery可能更合适。

上一篇：Python删除dom节点的5种方式：BeautifulSoup、lxml、PyQuery、Scrapy、requests-html

下一篇：go语言常用正则表达式函数

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区