python提取img的src链接

原创

mob64ca12dab0a2 2024-08-15 04:46:32 ©著作权

文章标签 HTML Python html 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12dab0a2的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python提取img的src链接

在网页爬虫和数据抓取的领域，提取网页中的图片链接是一个常见的任务。Python凭借其简洁的语法和强大的库，成为了这个领域的热门选择。本文将介绍如何使用Python提取HTML文档中<img>标签的src链接，以及相关的理论背景、代码示例和数据展示。

1. 理论背景

HTML文档的结构通常包含多个<img>标签，这些标签的src属性指定了图片的链接。为了进行数据提取，我们需要依赖Python的网络请求库和HTML解析库。常用的库有：

requests：用于发送HTTP请求。
BeautifulSoup：用于解析和操作HTML文档。

2. 环境准备

在开始之前，请确保您已经安装了以下Python库。如果尚未安装，可以使用以下命令：

pip install requests beautifulsoup4

3. 实现步骤

3.1 发送HTTP请求

首先，我们需要向目标网页发送HTTP请求。以下是一个示例代码：

import requests

url = '  # 替换为您要抓取的网址
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    html_content = response.text
else:
    print(f"请求失败，状态码：{response.status_code}")

3.2 解析HTML文档

接下来，我们使用BeautifulSoup来解析HTML文档并提取<img>标签中的src属性。

from bs4 import BeautifulSoup

# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(html_content, 'html.parser')
img_tags = soup.find_all('img')

# 提取src链接
img_links = [img['src'] for img in img_tags if 'src' in img.attrs]
print(img_links)

3.3 完整代码示例

将以上代码整合，我们可以得到完整的Python脚本：

import requests
from bs4 import BeautifulSoup

url = '  # 替换为您要抓取的网址
response = requests.get(url)

if response.status_code == 200:
    html_content = response.text
    soup = BeautifulSoup(html_content, 'html.parser')
    img_tags = soup.find_all('img')
    img_links = [img['src'] for img in img_tags if 'src' in img.attrs]
    print("提取到的图片链接：")
    for link in img_links:
        print(link)
else:
    print(f"请求失败，状态码：{response.status_code}")

4. 数据展示

假设我们成功提取到了一些图片链接，我们可以进一步分析这些数据并以图表形式展示。例如，您可以统计每个域名的图片数量，并用饼状图展示。

4.1 数据统计

下面是统计图片链接的域名分布的示例：

from urllib.parse import urlparse
import matplotlib.pyplot as plt

# 假设我们提取了以下图片链接
img_links = [
    '
    '
    '
    '
    '
]

# 统计域名出现次数
domain_count = {}
for link in img_links:
    domain = urlparse(link).netloc
    domain_count[domain] = domain_count.get(domain, 0) + 1

# 准备绘制饼状图
labels = domain_count.keys()
sizes = domain_count.values()

# 绘制饼状图
plt.pie(sizes, labels=labels, autopct='%1.1f%%', startangle=90)
plt.axis('equal')  # 使饼状图为圆形
plt.title('图片链接域名分布')
plt.show()

4.2 序列图展示

在整个过程中，我们可以使用序列图展示步骤的顺序：

sequenceDiagram
    participant User
    participant PythonScript
    User->>PythonScript: 请求网页
    PythonScript->>Server: 发送HTTP请求
    Server-->>PythonScript: 返回HTML文档
    PythonScript->>Parser: 解析HTML
    Parser-->>PythonScript: 提取img src
    PythonScript-->>User: 返回图片链接