python爬取网站的jpg

原创

mob64ca12f63d4f 2024-06-03 03:43:27 ©著作权

文章标签 网页内容 html Python 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12f63d4f的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python爬取网站的jpg图片

在网络上有许多网站提供了大量的图片资源，有时我们想要获取这些网站上的图片，可以使用Python来实现网站的爬取。在本文中，我们将介绍如何使用Python爬取网站上的jpg图片，并提供代码示例来帮助读者理解。

爬取网站的jpg图片

爬取网站的jpg图片，主要需要以下几个步骤：

发送HTTP请求获取网页内容
解析网页内容，提取图片链接
下载图片到本地

下面我们将分别介绍这几个步骤，并提供相应的Python代码示例。

发送HTTP请求获取网页内容

在Python中，我们可以使用requests库来发送HTTP请求获取网页内容。下面是一个简单的示例代码，用来获取网页的内容：

import requests

url = '
response = requests.get(url)

if response.status_code == 200:
    html_content = response.text
    print(html_content)
else:
    print('Failed to fetch webpage')

解析网页内容，提取图片链接

在获取到网页内容之后，我们需要解析网页内容，提取其中的图片链接。通常，我们可以使用BeautifulSoup库来解析HTML内容。下面是一个示例代码，用来提取网页中的jpg图片链接：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'html.parser')
img_tags = soup.find_all('img')

img_links = []
for img_tag in img_tags:
    img_link = img_tag.get('src')
    if img_link.endswith('.jpg'):
        img_links.append(img_link)

print(img_links)

下载图片到本地

最后一步是将图片下载到本地。我们可以使用urllib库中的urlretrieve方法来下载图片。下面是一个示例代码，用来下载jpg图片到本地：

import urllib.request

for img_link in img_links:
    img_name = img_link.split('/')[-1]
    urllib.request.urlretrieve(img_link, img_name)
    print(f'{img_name} downloaded successfully')

完整示例

下面是一个完整的示例代码，演示了如何爬取网站上的jpg图片：

import requests
from bs4 import BeautifulSoup
import urllib.request

url = '
response = requests.get(url)

if response.status_code == 200:
    html_content = response.text
    
    soup = BeautifulSoup(html_content, 'html.parser')
    img_tags = soup.find_all('img')

    img_links = []
    for img_tag in img_tags:
        img_link = img_tag.get('src')
        if img_link.endswith('.jpg'):
            img_links.append(img_link)

    for img_link in img_links:
        img_name = img_link.split('/')[-1]
        urllib.request.urlretrieve(img_link, img_name)
        print(f'{img_name} downloaded successfully')
else:
    print('Failed to fetch webpage')

通过以上代码示例，读者可以了解如何使用Python爬取网站上的jpg图片。希望这篇文章对你有所帮助！

类图

以下是本文中涉及到的类的类图：

classDiagram
    class requests
    class BeautifulSoup
    class urllib.request

    requests : get()
    BeautifulSoup : find_all()
    urllib.request : urlretrieve()