Python 半结构化数据解析
半结构化数据是指以某种形式组织的数据，但不符合严格的结构化数据模式，例如HTML、XML、JSON等。在Python中，我们可以使用各种库来解析和处理半结构化数据，并提取出有用的信息。
本文将介绍常见的半结构化数据解析技术，包括HTML解析、XML解析和JSON解析。我们将使用以下三个流行的Python库来完成这些任务：
- BeautifulSoup：用于解析HTML和XML的库。
- lxml：基于C语言实现的高性能HTML和XML解析库。
- json：Python标准库中的JSON解析器。
HTML解析
HTML是网页标记语言，常用于构建网页结构。我们可以使用BeautifulSoup库解析HTML，并提取出所需的信息。
首先，我们需要安装BeautifulSoup库：
pip install beautifulsoup4
接下来，我们使用以下代码来解析一个HTML文件并提取标题和正文：
from bs4 import BeautifulSoup
# 打开HTML文件
with open('example.html', 'r', encoding='utf-8') as f:
html_content = f.read()
# 创建BeautifulSoup对象
soup = BeautifulSoup(html_content, 'html.parser')
# 提取标题
title = soup.title.string
# 提取正文
content = soup.find('div', class_='content').get_text()
# 输出结果
print('标题:', title)
print('正文:', content)
在上述代码中，我们首先使用open函数打开一个HTML文件，并读取其内容。然后，我们使用BeautifulSoup类将HTML内容转换为一个可操作的对象，以便我们可以使用各种方法来提取所需的信息。在这个例子中，我们使用title属性来获取页面标题，并使用find方法和CSS选择器来提取页面正文。
XML解析
XML是一种常用的半结构化数据格式，用于存储和交换数据。我们可以使用lxml库来解析XML，并提取出所需的信息。
首先，我们需要安装lxml库：
pip install lxml
接下来，我们使用以下代码来解析一个XML文件并提取标题和正文：
from lxml import etree
# 打开XML文件
with open('example.xml', 'r', encoding='utf-8') as f:
xml_content = f.read()
# 创建XPath解析器
parser = etree.XMLParser(encoding='utf-8')
# 解析XML
tree = etree.parse('example.xml', parser)
# 提取标题
title = tree.xpath('//title/text()')[0]
# 提取正文
content = tree.xpath('//content/text()')[0]
# 输出结果
print('标题:', title)
print('正文:', content)
在上述代码中，我们首先使用open函数打开一个XML文件，并读取其内容。然后，我们使用etree.XMLParser类创建一个解析器，并使用etree.parse方法将XML内容解析为一个可操作的对象。在这个例子中，我们使用XPath表达式来提取标题和正文。
JSON解析
JSON是一种轻量级的数据交换格式，常用于前后端数据交互。在Python中，我们可以使用json库来解析JSON，并提取出所需的信息。
JSON数据可以是嵌套的，所以我们需要使用递归来解析它。以下是一个解析嵌套JSON的示例代码：
import json
# JSON数据
json_data = '''
{
"name": "John",
"age": 30,
"city": "New York",
"hobbies": ["reading", "swimming", "coding"],
"friends": [
{
"name": "Alice",
"age": 28,
"city": "Los Angeles"
},
{
"name": "Bob",
"age": 32,
"city": "Chicago"
}
]
}
'''
# 解析JSON
data = json.loads(json_data)
# 提取信息
name = data['name']
age = data['age']
city = data['city']
hobbies = ', '.join(data['hobbies'])
friends = [friend['name'] for friend in data['friends']]
# 输出结果
print('姓名:', name)
print('年龄:', age)
print('城市:', city)
print('爱好:', hobbies)
print('朋友:', friends)
在上述代码中，我们首先定义了一个
