python psutil获取进程

承接上文，实现多任务的方法一般有三种，今日来实现其中的一种：多进程爬虫。而剩余的多线程并发和协程暂时没时间搞了，一方面是要先学习下Python的yield和send如何使用，其次要准备毕设的中期答辩和被老师安排了去读源代码，日后会补上的。但仅仅是多进程，就将IO密集的任务从1153秒提升到了105秒，且极高的提升了资源利用率。

还有一点，本文的代码可能只适用于Next主题，但方法思路是通解，只要改改参数适应你的主题，代码同样能用。结果展示：本站热门

爬虫

如果对爬虫不太了解，可以参考我之前的几篇文章。如果你计算机功底还不错，那么实现爬虫入门，完成简单的爬虫任务还是可以的：

这次的爬取任务很简单，之前看到了别人博客有『热榜』这个东西，很是眼馋，查询了一下发现实现热榜这个东西得经过很多的配置，但是我懒不想配置。于是准备自己动手爬虫，爬取每篇博客的访问量，以此作为博客每排文章的热度，说干就干，开工。

爬虫思路本次爬虫需要request、BeautiulSoup和selenium联合使用，只有其中的一方完不成任务。

因为每篇博客的访问量并不在外部显示，必须点击到文章内部才难加载，所以，这次爬虫必须使用selenium控制浏览器模拟点击，之后进入对应网页，以此来获取不蒜子统计的浏览数量。

首先打开网页的根域名，按F12发现每篇文章的链接的类是post-title-link，以此来获取第一篇文章的名称，点击，进入第一篇博客。部分代码如下所示：

# 寻找第一篇文章
first_page = body.find('a', {'class', 'post-title-link'})
# 记录第一篇文章的标题
first = ""
for i in first_page:
first = i
# 进入第一篇文章
driver.find_element_by_xpath("//a[contains(text(),'{}')]".format(first)).click()
本来想的是，进入网页后，使用requests库直接请求，然后解析出不蒜子统计那个标签的数量。但是，requests网页后发现不蒜子标签下数量根本不显示。意思是，仅仅依靠requests和beautifulsoup的爬虫是爬取不到不蒜子统计的。
所以，还得靠selenium。再次按一下F12，发现不蒜子统计的id是busuanzi_value_page_pv。利用selenium的id定位法，定位到不蒜子统计元素，然后输出定位元素里的文本。部分代码如下所示：
view = driver.find_element_by_id("busuanzi_value_page_pv")
# num 就是每篇文章的访问量
num = int(view.text)
而后，在每篇博客的末尾，都有指向下一篇博客的链接，点击既能进入下一篇博客。如下图所示：

而selenium定位到链接的文字又很费劲，不如用selenium获取当前网页的URL，然后使用requests和beautifulsoup库跟去获取的URL，进一步解析出指向下一篇博客链接的文字。而后把解析出的文字传给selenium的链接定位法，让selenium按照文字去点击链接，进入下一篇博客。如此循环往复，直到最后一篇博客。
因某些博客的图片数量过多，导致加载过慢，如果5秒内加载不完，则直接进入下一篇文章。中间为防止爬虫过猛被屏蔽，其中使用了一些延时函数放缓进度。
最终的结果要把文章的名称、文章的网址和文章的访问量都记录下来。考虑使用字典这种结构，将文章名称和网址作为key，访问量作为value。
将字典保存为json文件，而后将json文件中的结果稍微清洗一下，做成markdown文件，放到博客里，热榜就做成了。
最后，对爬虫任务的整体时间进行记录，对比单进程和多进程的效率。
单进程import requests
from bs4 import BeautifulSoup
home_url = "https://muyuuuu.github.io/"
# 申请当前页面
r = requests.get(home_url)
soup = BeautifulSoup(r.text, "lxml")
body = soup.body
# 使用selenium点开每个页面，统计访问人数和评论数
from selenium import webdriver
driver = webdriver.Chrome(executable_path='/home/lanling/chromedriver_linux64/chromedriver')
import time
# 记录文章的数量
article = {}
# 先进入第一页
# 打开网页
driver.get(home_url)
# 寻找第一篇文章
first_page = body.find('a', {'class', 'post-title-link'})
# 记录第一篇文章的标题
first = ""
for i in first_page:
first = i
# 进入第一篇文章
driver.find_element_by_xpath("//a[contains(text(),'{}')]".format(first)).click()
time.sleep(3)
# 记录浏览数
dr = driver.find_element_by_id("busuanzi_value_page_pv")
# 标题名和域名作为字典的 key
string = "[" + first + "]" + "(" + driver.current_url + ")"
article[string] = int(dr.text)
print(article)
# 而后点击 每篇博客末尾的指向下一篇文章的链接 直到遍历完所有文章
# 记录开始时间
start = time.time()
# 捕获当前的 url
url = driver.current_url
data = requests.get(url)
data = BeautifulSoup(data.text, "lxml")
# 解析当前页面，获取下一页的按钮
next = data.find('div', {'class':'post-nav-next post-nav-item'})
try:
while next:
time.sleep(1)
# 点击下一页的链接 进入 下一个网页
driver.find_element_by_link_text(next.text.strip()).click()
time.sleep(5)
# 查看浏览数，图片较多加载缓慢，5秒内加载不出来跳过
try:
view = driver.find_element_by_id("busuanzi_value_page_pv")
except:
pass
# 获取当前页面的url
url = driver.current_url
time.sleep(1)
data = requests.get(url)
# 解析当前url
data = BeautifulSoup(data.text, "lxml")
# 当前文章的标题和域名传入字典
string = "[" + data.title.text + "]" + "(" + driver.current_url + ")"
# 如果没有加载到浏览数 就给一个负数
if view.text == "":
article[string] = -2
else:
article[string] = int(view.text)
print(string, int(view.text))
time.sleep(1)
# 寻找下一篇博客的链接名，然后点击，直到最后一篇文章。
next = data.find('div', {'class':'post-nav-next post-nav-item'})
except:
# 记录结束时间
end = time.time()
print(end - start)
driver.quit()
# 将博客按访问数排序
article_save = sorted(article.items(), key = lambda item:item[1])
import json
# encoding='utf-8'，用于确保写入中文不乱码
with open('data.json','w',encoding='utf-8') as f_obj:
# ensure_ascii=False，用于确保写入json的中文不发生乱码
json.dump(article_save,f_obj,ensure_ascii=False, indent=4)
这个单进程的任务总共耗时1153秒左右(毕竟网络时延说不准)，资源利用率很少，如下所示：

多进程
多进程仅需在单进程的代码上做一点改动即可：(如果你不懂多进程，请参考我的上一篇文章，如何理解多进程)
首先统计一下博客有几页，就创建几个进程。比如，我的博客目前有14页，就创建14个进程：

进程扔到一个进程池里，等待所有进程执行完毕即可。
多进程之间不共享变量，所以字典的创建方法需要更改。
同样，防止爬虫过猛，中间同样适用延时函数放缓进度。
记录多进程的耗时，与单进程对比。代码如下所示：
import requests
from bs4 import BeautifulSoup
home_url = "https://muyuuuu.github.io/"
r = requests.get(home_url)
soup = BeautifulSoup(r.text, "lxml")
# 有几个页面就创建几个进程
body = soup.body
page_number = body.find('nav', {'class' : 'pagination'})
a = page_number.find_all('a')
max_page_number = 0
for i in a:
for j in i:
if str(j).isdigit():
if int(j) > max_page_number:
max_page_number = int(j)
print(max_page_number)
process_num = max_page_number
# 扔进进程池统一管理 并计时
from multiprocessing import Pool
import time, random
from selenium import webdriver
import multiprocessing
# 进程的字典
article = multiprocessing.Manager().dict()
# 记录每个进程爬几次，就是一个页面有几篇文章，我懒的爬取了，手动设置下
per_page = 7
# 每个进程的任务
def respite_task(url_num):
num = 1
sub_url = ""
if url_num == 0:
sub_url = "https://muyuuuu.github.io/"
else:
sub_url = "https://muyuuuu.github.io/page/" + str(url_num) + "/"
# 每个进程启动一个 driver
print("here")
driver = webdriver.Chrome(executable_path='/home/lanling/chromedriver_linux64/chromedriver')
driver.get(sub_url)
time.sleep(random.randint(2, 6))
r = requests.get(sub_url)
soup = BeautifulSoup(r.text, "lxml")
body = soup.body
# 寻找第一篇文章
first_page = body.find('a', {'class', 'post-title-link'})
# 记录第一篇文章的标题
first = ""
for i in first_page:
first = i
# 进入第一篇文章
driver.find_element_by_xpath("//a[contains(text(),'{}')]".format(first)).click()
time.sleep(5)
# 记录浏览数
try:
view = driver.find_element_by_id("busuanzi_value_page_pv")
except:
pass
# 标题名和域名作为字典的 key
string = "[" + first + "]" + "(" + driver.current_url + ")"
# 如果没有加载到浏览数 就给一个负数
if view.text == "":
article[string] = -2
else:
article[string] = int(view.text)
print(string, int(view.text))
# 捕获当前的 url (已经进入了新页面)
url = driver.current_url
data = requests.get(url)
data = BeautifulSoup(data.text, "lxml")
# 解析当前页面，获取下一页的按钮
next = data.find('div', {'class':'post-nav-next post-nav-item'})
try:
while next and num < per_page:
num += 1
time.sleep(1)
# 点击下一页的链接 进入 下一个网页
driver.find_element_by_link_text(next.text.strip()).click()
time.sleep(5)
# 查看浏览数，图片较多加载缓慢，5秒内加载不出来跳过
try:
view = driver.find_element_by_id("busuanzi_value_page_pv")
except:
pass
# 获取当前页面的url
url = driver.current_url
time.sleep(1)
data = requests.get(url)
# 解析当前url
data = BeautifulSoup(data.text, "lxml")
# 当前文章的标题和域名传入字典
string = "[" + data.title.text + "]" + "(" + driver.current_url + ")"
# 如果没有加载到浏览数 就给一个负数
if view.text == "":
article[string] = -2
else:
article[string] = int(view.text)
print(string, int(view.text))
time.sleep(1)
# 寻找下一篇博客的链接名，然后点击，直到最后一篇文章。
next = data.find('div', {'class':'post-nav-next post-nav-item'})
except:
pass
finally:
driver.quit()
p = Pool(process_num)
for i in range (process_num + 1):
p.apply_async(respite_task, args=(i,))
print('waitting for all subprocess done')
start = time.time()
p.close()
p.join()
end = time.time()
print('All subprocesses done costs {} seconds'.format(end - start))
# 升序排列并保存
article_save = sorted(article.items(), key = lambda item:item[1])
import json
# encoding='utf-8'，用于确保写入中文不乱码
with open('data_multiprocess.json','w',encoding='utf-8') as f_obj:
# ensure_ascii=False，用于确保写入json的中文不发生乱码
json.dump(article_save,f_obj,ensure_ascii=False, indent=4)

最终的结果和单线程的结果保持一致，但仅仅用了105秒就执行完毕，足足提升了10倍。因为每个进程都有一个主线程，将主线程分配给多个核，所以导致了资源利用率比单线程要高的多：

结语

这好像不是传说中的并行计算，毕竟不是计算密集的任务，但这个几个进程的任务确实在并行执行，『知识就是力量』还是有道理的。