初步爬虫很简单，Python提供了许多库和工具，先来看看Python爬虫我们需要掌握什么。

1.基础编程知识： 熟悉Python编程语言的基本语法和概念对于编写爬虫是必要的。
2.网络请求库： 使用库（如Requests）可以轻松地发起HTTP请求，获取网页内容。
3.HTML解析： 使用解析库（如Beautiful Soup或lxml）可以帮助你从网页源代码中提取所需数据。
4.Robots.txt 和网站政策： 在爬取网站数据之前，了解网站的robots.txt文件和使用条款是很重要的。遵守网站的规定，避免不必要的问题。
5.反爬措施： 一些网站可能采取了反爬虫措施，如限制频率、验证码等。你可能需要了解如何应对这些挑战。
6.数据处理和存储： 你需要决定如何处理和存储从网页中提取的数据。可以将数据保存到文件、数据库或其他数据存储方式。
7.伦理和合法性： 请务必尊重网站的使用条款，避免滥用爬虫获取不应该公开的信息，以及避免对服务器造成不必要的负担。

下面实战开始！如果上述内容你还没掌握，欢迎跟我一起学习：

手机APP抓包爬虫

1. items.py

class DouyuspiderItem(scrapy.Item):
    name = scrapy.Field()# 存储照片的名字
    imagesUrls = scrapy.Field()# 照片的url路径
    imagesPath = scrapy.Field()# 照片保存在本地的路径

2. spiders/douyu.py

import scrapy
import json
from douyuSpider.items import DouyuspiderItem

class DouyuSpider(scrapy.Spider):
    name = "douyu"
    allowd_domains = ["http://capi.douyucdn.cn"]

    offset = 0
    url = "http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset="
    start_urls = [url + str(offset)]

  def parse(self, response):
      # 返回从json里获取 data段数据集合
      data = json.loads(response.text)["data"]

      for each in data:
          item = DouyuspiderItem()
          item["name"] = each["nickname"]
          item["imagesUrls"] = each["vertical_src"]

          yield item

      self.offset += 20
      yield scrapy.Request(self.url + str(self.offset), callback = self.parse)

3. 设置setting.py

ITEM_PIPELINES = {'douyuSpider.pipelines.ImagesPipeline': 1}

# Images 的存放位置，之后会在pipelines.py里调用
IMAGES_STORE = "/Users/Power/lesson_python/douyuSpider/Images"

# user-agent
USER_AGENT = 'DYZB/2.290 (iPhone; iOS 9.3.4; Scale/2.00)'

4. pipelines.py

import scrapy
import os
from scrapy.pipelines.images import ImagesPipeline
from scrapy.utils.project import get_project_settings

class ImagesPipeline(ImagesPipeline):
    IMAGES_STORE = get_project_settings().get("IMAGES_STORE")

    def get_media_requests(self, item, info):
        image_url = item["imagesUrls"]
        yield scrapy.Request(image_url)

    def item_completed(self, results, item, info):
        # 固定写法，获取图片路径，同时判断这个路径是否正确，如果正确，就放到 image_path里，ImagesPipeline源码剖析可见
        image_path = [x["path"] for ok, x in results if ok]

        os.rename(self.IMAGES_STORE + "/" + image_path[0], self.IMAGES_STORE + "/" + item["name"] + ".jpg")
        item["imagesPath"] = self.IMAGES_STORE + "/" + item["name"]

        return item

#get_media_requests的作用就是为每一个图片链接生成一个Request对象，这个方法的输出将作为item_completed的输入中的results，results是一个元组，每个元组包括(success, imageinfoorfailure)。如果success=true，imageinfoor_failure是一个字典，包括url/path/checksum三个key。

在项目根目录下新建main.py文件,用于调试

from scrapy import cmdline
cmdline.execute('scrapy crawl douyu'.split())

执行程序

py2 main.py

下面再来一个简单例子

演示如何使用Python的Requests库和Beautiful Soup库来爬取网页内容并解析数据。我们将尝试爬取一个简单的网页，提取其中的标题和段落内容。

首先，确保你已经安装了所需的库。如果没有安装，可以使用以下命令进行安装：

pip install requests beautifulsoup4

然后，使用以下代码来实现一个简单的爬虫：

import requests
from bs4 import BeautifulSoup

# 发起HTTP请求并获取网页内容
url = "https://example.com"  # 请替换为你要爬取的网页地址
response = requests.get(url)
html_content = response.content

# 使用Beautiful Soup解析网页内容
soup = BeautifulSoup(html_content, "html.parser")

# 提取标题
title = soup.title.text if soup.title else "No title found"

# 提取段落内容
paragraphs = soup.find_all("p")
paragraph_texts = [p.get_text() for p in paragraphs]

# 打印结果
print("Title:", title)
print("Paragraphs:")
for index, paragraph in enumerate(paragraph_texts, start=1):
    print(f"{index}. {paragraph}")

记得将url替换为你实际想要爬取的网页地址。这个例子演示了如何发起HTTP请求、解析HTML内容以及提取标题和段落内容。你可以根据需要修改代码以适应不同的爬取任务。