通过这么多天对爬虫的介绍, 我们对爬虫也有所了解,今天我们将引入一个简单爬虫的技术架构,解释爬虫技术架构中的几个模块,后面的爬虫也多是今天架构的延伸,只不过这个架构是简单的实现,对优化、爬取方式等不是很完善,主要为了方便大家对爬虫的理解和后面的编程。

1 基础架构和流程

简单的爬虫架构由以下几部分构成:
爬虫调度器:总体协调其它几个模块的工作
URL管理器:负责管理URL,维护已经爬取的URL集合和未爬取的URL集合
网页下载器:对未爬取的URL下载
网页解析器:解析已下载的html,并从中提取新的URL交给URL管理器,数据交给存储器处理
数据存储器:将html解析出来的数据进行存取
架构图如下:
运维学python之爬虫中级篇(六)基础爬虫
爬虫流程图如下:
运维学python之爬虫中级篇(六)基础爬虫
下面我们就分别按每个部分来拆分。
我们本次就拿百科搜索词条来演示,爬取百科内容标题和摘要信息,同时如果摘要中有链接,还会把连接的标题摘要下载下来。如下图:
运维学python之爬虫中级篇(六)基础爬虫

2 URL管理器

基本功能:

  • 判断是否有待爬取的url
  • 添加新的url到待爬取url集合中
  • 获取未爬取的url
  • 获取待爬取集合大小
  • 获取已爬取集合大小
  • 将爬取完成的url从待爬取url集合移动到已爬取url集合。

这里URL管理器还要用到set去重功能,防止程序进入死循环。大型互联网公司,由于缓存数据库的高性能,一般把url存储在缓存数据库中。小型公司,一般把url存储在内存中,如果想要永久存储,则存储到关系数据库中。
URL管理器代码

# -*- coding: utf-8 -*-

class UrlManager:
    """
    URL管理器类
    """

    def __init__(self):
        """
        初始化未爬取集合new_urls和已爬取集合old_urls
        """
        # python的set和其他语言类似, 是一个无序不重复元素集
        self.new_urls = set()
        self.old_urls = set()

    def has_new_url(self):
        """
        判断是否有未爬取的url
        :return:
        """
        return self.new_url_size() != 0

    def get_new_url(self):
        """
        获取未爬取的url
        :return:
        """
        new_url = self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url

    def add_new_url(self, url):
        """
        将新的url添加到未爬取的url集合中
        :return:
        """
        if url is None:
            return
        # 判断url是否在new_urls或old_urls中
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)

    def add_new_urls(self, urls):
        """
        添加新的url到未爬取集合
        :param urls: url集合
        :return:
        """
        if urls is None or len(urls) == 0:
            return
        # 循环将获取的url存入new_urls中
        for url in urls:
           self.add_new_url(url)

    def new_url_size(self):
        """
        获取未爬取集合大小
        :return:
        """
        return len(self.new_urls)

    def old_url_size(self):
        """
        获取已爬取集合大小
        :return:
        """
        return len(self.old_urls)

HTML下载器
HTML下载器就比较简单了,只是通过requests获取html内容即可(注意:要用到session,不然会报 TooManyRedirects 异常),具体看代码:

# -*- coding: utf-8 -*-
import requests

class HtmlDownload:
    """
    HTML下载器类
    """

    def download(self, url):
        """
        下载html
        :param url:根据url下载html内容
        :return: 返回html
        """
        # 创建session对象,这里一定要用session,不然会报TooManyRedirects异常
        s = requests.session()
        # 添加头部信息
        s.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'
        # 获取内容
        resp = s.get(url)
        # 要以content字节形式返回
        return resp.content.decode()

HTML解析器
先来分析要爬取的网页:
运维学python之爬虫中级篇(六)基础爬虫
通过上面分析可以看到,我们需要的标题在<dd class="lemmaWgt-lemmaTitle-title">标签中,摘要信息在<div class="para" label-module="para">标签中,其中<div class="para" label-module="para">标签中的a标签的herf是我们需要继续爬取的相对url通过上面分析可以看到,我们需要的标题在<dd class="lemmaWgt-lemmaTitle-title">标签中,摘要信息在<div class="para" label-module="para">标签中,其中<div class="para" label-module="para">标签中的a标签的herf是我们需要继续爬取的相对url。

# -*- coding: utf-8 -*-

from bs4 import BeautifulSoup

class HtmlParse:
    """
    HTML解析器类
    """

    def __init__(self, baseurl='https://baike.baidu.com'):
        """
        初始化基础url
        :param baseurl:基础url
        """
        self.baseurl = baseurl

    def parse_data(self, page):
        """
        获取网页数据
        :param page:获取的html
        :return:解析后要存储的数据
        """
        # 创建实例
        soup = BeautifulSoup(page, 'lxml')
        # 获取标题
        title = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1').string
        # 获取摘要
        summary = soup.find('div', class_='para').text
        # 完整的数据信息
        data = title + summary
        return data

    def parse_url(self, page):
        """
        获取网页url
        :param page:获取的html
        :return:解析后获取的新url
        """
        # 创建实例
        soup = BeautifulSoup(page, 'lxml')
        # 所有的<div class="para" label-module="para">中a标签
        anodes = soup.find('div', class_='para').find_all('a')
        # new_url set集
        new_urls = set()
        # 循环获取相对路径(href),与baseurl拼成全url
        for anode in anodes:
            link = anode.get('href')
            # 完整路径
            fullurl = self.baseurl + link
            # 添加到未爬取集合new_urls中
            new_urls.add(fullurl)
        return new_urls

数据存储器
解析出来的数据就直接追加保存到文件就可以了。

# -*- coding: utf-8 -*-

class DataStore:
    """
    数据存储器类
    """

    def store_data(self, data, name='baike.txt'):
        """
        将获取的数据存储到文件中
        :param data: 解析的数据
        :param name: 本地文件名
        :return: 
        """
        with open(name, 'a', encoding='utf-8') as fp:
            fp.write('\r\n')
            fp.write(data)

爬虫调度器
爬虫调度器主要负责以上几个模块的调度

# -*- coding: utf-8 -*-
# 导入各个模块
from spider.Datastore import DataStore
from spider.Htmldownload import HtmlDownload
from spider.Htmlparse import HtmlParse
from spider.Urlmanager import UrlManager

class SpiderMain:
    """
    爬虫调度器类
    """

    def __init__(self):
        """
        初始化各模块
        """
        self.manager = UrlManager()
        self.download = HtmlDownload()
        self.parse = HtmlParse()
        self.output = DataStore()

    def spider(self, url):
        """
        爬虫主程序
        :param url:初始url
        :return:
        """
        # 添加初始url到未爬取的new_urls中
        self.manager.add_new_url(url)
        # 通过while循环获取是否还有新的url要爬取,爬取了5条就结束,防止死循环下去
        while self.manager.has_new_url() and self.manager.old_url_size() < 5:
            try:
                # 获取url
                new_url = self.manager.get_new_url()
                # 获取html
                html = self.download.download(new_url)
                # 解析后的新url
                new_urls = self.parse.parse_url(html)
                # 解析后要存储的数据
                data = self.parse.parse_data(html)
                # 添加解析后的新url到new_urls集中
                self.manager.add_new_urls(new_urls)
                # 保存数据
                self.output.store_data(data)
                print('已经抓取%s 个链接' % self.manager.old_url_size())
            except Exception as e:
                print('failed')
                print(e)

if __name__ == '__main__':
    # 实例化爬虫调度器类
    spidermain = SpiderMain()
    # 输入初始url进行爬取
    spidermain.spider('https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB')

运行结果(只爬取了5条):

已经抓取1 个链接
已经抓取2 个链接
已经抓取3 个链接
已经抓取4 个链接
已经抓取5 个链接

好,今天的爬虫基础框架,就到这里了。
本文部分参考:范传辉 python爬虫开发与项目实战