Python HTML 提取完整文本
HTML（Hypertext Markup Language）是一种用于创建网页的标准标记语言。当我们需要从一个网页中提取文本内容时，通常需要对HTML进行解析。Python提供了多种解析HTML的库，如BeautifulSoup、lxml等。本文将介绍如何使用Python提取HTML中的完整文本，并附带代码示例。
1. 安装所需库
在开始之前，我们需要安装一个用于解析HTML的库。在Python中，有多种HTML解析库可供选择，其中一个比较流行的是BeautifulSoup。可以使用以下命令安装BeautifulSoup库：
pip install beautifulsoup4
2. 提取HTML中的文本
我们假设有一个包含HTML标签的网页，如下所示：
<!DOCTYPE html>
<html>
<body>
My First Heading
<p>My first paragraph.</p>
</body>
</html>
我们希望提取出其中的完整文本，即去除HTML标签后的内容。下面是使用BeautifulSoup库提取网页文本的示例代码：
from bs4 import BeautifulSoup
html = """
<!DOCTYPE html>
<html>
<body>
My First Heading
<p>My first paragraph.</p>
</body>
</html>
"""
soup = BeautifulSoup(html, 'html.parser')
text = soup.get_text()
print(text)
以上代码使用BeautifulSoup库将HTML解析为一个BeautifulSoup对象，并使用get_text()方法提取其中的文本内容。运行以上代码，输出如下：
My First Heading
My first paragraph.
可以看到，代码成功提取出了HTML中的完整文本。
3. 处理HTML中的特殊字符
在提取HTML文本时，可能会遇到一些特殊字符，如HTML实体字符（HTML entity characters）和特殊符号。这些字符在HTML中经常用于表示特殊含义，但在提取文本时可能会造成困扰。为了正确处理这些字符，我们可以使用html库中的unescape函数。以下是一个示例代码：
from bs4 import BeautifulSoup
from html import unescape
html = """
<!DOCTYPE html>
<html>
<body>
My First & Heading
<p>My first paragraph.</p>
</body>
</html>
"""
soup = BeautifulSoup(html, 'html.parser')
text = soup.get_text()
text = unescape(text)
print(text)
在以上代码中，我们首先使用BeautifulSoup库解析HTML，然后使用get_text()方法提取文本。接着，我们使用unescape函数将文本中的特殊字符恢复为其原始形式。运行以上代码，输出如下：
My First & Heading
My first paragraph.
可以看到，特殊字符被正确处理。
4. 提取多个网页的文本
在实际应用中，我们通常需要提取多个网页的文本内容。下面是一个示例代码，演示如何使用循环提取多个网页的文本：
from bs4 import BeautifulSoup
html1 = """
<!DOCTYPE html>
<html>
<body>
My First Heading
<p>My first paragraph.</p>
</body>
</html>
"""
html2 = """
<!DOCTYPE html>
<html>
<body>
My Second Heading
<p>My second paragraph.</p>
</body>
</html>
"""
html_list = [html1, html2]
for html in html_list:
soup = BeautifulSoup(html, 'html.parser')
text = soup.get_text()
print(text)
print('-----')
以上代码定义了两个网页的HTML内容，并将它们放入一个列表中。然后，我们使用循环遍历列表中的每个HTML，并提取其中的文本内容。运行以上代码，输出如下：
My First Heading
My first paragraph.
-----
My Second Heading
My second paragraph.
-----
可以看到，代码成功提取了多个网页的文本内容。
总结
本文介绍了如何使用Python提取HTML中的完整文本。我们使用BeautifulSoup库解析HTML，并使用get_text()方法提取文本内容。此外，还介绍了如何处理HTML中的特殊字符和提取多个网页的文本。希望本文对你理解和使用Python进行HTML文
