前面介绍了Python写简单的爬虫程序,这里参考慕课网Python开发简单爬虫总结一下爬虫的架构。让我们的爬虫程序模块划分更加明确,代码具有更佳的逻辑性、可读性。因此,我们可以将整个爬虫程序总结为以下5个模块:
1、爬虫调度端:负责启动、停止、监控爬虫程序的运行;
2、URL管理器:负责爬虫执行过程中待爬取的URL队列和已爬取的URL队列的管理【防重复、防循环抓取】;
3、网页下载器:把url指向的网页下载下来;
4、网页解析器:解析下载下来的网页,一方面可以得到网页中有价值的信息,另一方面可以得到网页中新的URL链接,保存到URL管理器中;
5、结果:将解析器中得到的结果按我们期望的格式展现出来;
整个运行过程就是,调度器启动爬虫,从URL管理器中取一条待爬取的URL,调用下载器进行网页的下载,调用网页解析器对下载的网页进行解析,将新的URL加入到URL管理器中,将提取到的数据展示出来。如图
下面以爬取百度百科Python词条为例【http://baike.baidu.com/item/Python】,运用爬虫架构的方式实现相关页面的抓取:
1、爬虫总调试程序---负责对程序各模块的调度
# coding=utf-8
from BaikePython import URLManager, HTMLDownloader, HTMLParser, HTMLOutput
# 爬虫总调度程序
class SpiderMain(object):
# 构造函数初始化url管理器、HTML下载器、HTML解析器、输出四个对象
def __init__(self):
# url管理器
self.urls = URLManager.url_manager()
# url下载器
self.downloader = HTMLDownloader.html_downloader()
# url解析器
self.parser = HTMLParser.html_parser()
# 最终的输出
self.outputer = HTMLOutput.html_output()
# 爬虫调度程序
def craw(self, root_url):
count = 1
# 添加入口URL
self.urls.add_new_url(root_url)
while self.urls.has_new_url():
try:
# 取出新的URL
new_url = self.urls.get_new_url()
# 下载该url对应的页面
print("craw %d : %s" % (count, new_url))
html_cont = self.downloader.download(new_url)
# 解析该url对应的页面,得到新的链接和内容
new_urls, new_data = self.parser.parse(new_url, html_cont)
# 将新url添加到url管理器中
self.urls.add_new_urls(new_urls)
# 将解析到的内容收集起来
self.outputer.collect_data(new_data)
if count == 1000: # 爬取1000个页面即可
break
count = count + 1
except:
print("craw fail")
# 最终输出爬取目标的内容
self.outputer.output_html()
# 主函数启动爬虫
if __name__=="__main__":
# root_url = "http://baike.baidu.com/item/Python/407313?fr=aladdin"
root_url = "http://baike.baidu.com/item/Python"
obj_Spider = SpiderMain()
obj_Spider.craw(root_url)
2、URL管理器---维护待爬取URL和已爬取URL两个队列
class url_manager(object):
# URL管理器中维护两个集合
def __init__(self):
# 待爬取的url集合
self.new_urls = set()
# 已爬取的url集合
self.old_urls = set()
# 向管理器中添加一个新的url
def add_new_url(self, url):
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
# 向管理器中批量添加urls
def add_new_urls(self, urls):
if urls is None or len(urls) == 0:
return
for url in urls:
self.add_new_url(url)
# 判断待爬取列表是否有待爬取的url
def has_new_url(self):
return len(self.new_urls) != 0
# 从待爬取的集合中获取一个需要爬取的url
def get_new_url(self):
new_url = self.new_urls.pop()
self.old_urls.add(new_url)
return new_url
3、网页下载器---下载指定的页面【有三种方法】
import urllib
class html_downloader(object):
# 下载url对应的页面
def download(self, url):
if url is None:
return None
response = urllib.request.urlopen(url)
if response.getcode() != 200:
return None
return response.read()
4、网页解析器
import re
import urllib
from bs4 import BeautifulSoup
class html_parser(object):
# 从HTML页面中解析出新的url和页面内容
def parse(self, url, html_content):
if url is None or html_content is None:
return
soup = BeautifulSoup(html_content, 'html.parser', from_encoding='utf-8')
new_urls = self._get_new_urls(url, soup)
new_data = self._get_new_data(url, soup)
return new_urls, new_data
def _get_new_urls(self, url, soup):
new_urls = set()
# # /item/****
# links = soup.find_all('a', href=re.compiler(r"/item/\S+"))
# /view/123.htm
links = soup.find_all('a', href=re.compile(r'/item/(.*)'))
for link in links:
new_url = link['href']
new_full_url = urllib.parse.urljoin(url, new_url)
new_urls.add(new_full_url)
return new_urls
# 解析网页的标题标签title和简介标签summary
def _get_new_data(self, url, soup):
res_data= {}
res_data['url'] = url
# 标题标签
# <dd class ="lemmaWgt-lemmaTitle-title" >
# < h1 > Python < / h1 >
title_node = soup.find('dd', class_="lemmaWgt-lemmaTitle-title").find("h1")
res_data['title'] = title_node.get_text()
# <div class="lemma-summary" label-module="lemmaSummary">
summary_node = soup.find('div', class_="lemma-summary")
res_data['summary'] = summary_node.get_text()
return res_data
5、输出到文件
class html_output(object):
def __init__(self):
self.datas = []
def collect_data(self, data):
if data is None:
return
self.datas.append(data)
def output_html(self):
fout = open('output.html', 'w', encoding='utf-8')
fout.write("<html>")
fout.write("<body>")
fout.write("<table>")
for data in self.datas:
fout.write("<tr>")
fout.write("<td>%s</td>" % data['url'])
fout.write("<td>%s</td>" % data['title'])
fout.write("<td>%s</td>" % data['summary'])
fout.write("</tr>")
fout.write("</table>")
fout.write("</body>")
fout.write("</html>")
fout.close()