python爬虫 body 显示的是js python爬虫运行无结果

项目简介

由于最近调研文献需要，想查看KDD2017年的论文是否有相关的论文。但是KDD accept的论文有200+，要一篇篇去看太浪费时间了。于是想写个爬虫，爬取论文的abstract，然后Ctrl+F看下是否包含相关的keyword。 本来也想爬取每篇论文的keywords，但是提供的网页中没有这个内容，所以这里没有爬取。最后爬取的内容格式为：

，其中link是论文在acm library中的网址。

用到的工具

Python 3.6(Anaconda虚拟环境)

requests、BeautifulSoup、pandas、re包

Chrome插件：selectorgadget

具体步骤

首先，进入kdd2017的网址，发现accepted paper在 http://www.kdd.org/kdd2017/accepted-papers中，且该网址使用'GET'方法，所以利用requests包打开该网址。代码如下：

import requests
url = 'http://www.kdd.org/kdd2017/accepted-papers'
res = requests.get(url)
res.encoding = 'utf-8' ##设置编码

然后观察我们需要的论文的CCS属性，利用selectorgadget可以方便的得到所有论文的CCS属性为"#fitvid0 , .table-bordered a"，所以我们可以用BeautifulSoup去定位到这些论文，并把结果存在papers变量中。

from bs4 import BeautifulSoup
soup = BeautifulSoup(res.text, 'html.parser')
papers = soup.select('#fitvid0 , .table-bordered a')

我们输出papers中第一个元素看一下，

#注释的部分为输出结果:
print(papers[0])
#Randomization or Condensation?: Linear-Cost Matrix Sketching Via Cascaded Compression Sampling

我们发现结果中包含'href'属性，这是论文的详细描述。之前http://www.kdd.org/kdd2017/accepted-papers中只包含论文的title和author。所以为了爬取具体的abstract，我们需要分别进入每一篇论文的描述页中。 使用如下代码： papers[i]['href'],i为具体第i篇论文，我们使用for循环可以遍历每一篇论文。

解析论文描述页内容

首先我们随便找一篇论文，查看网页中包含哪些内容：

image.png

网页中包含 title, author, Abstract，以及一个支持下载的按钮。 其中该下载按钮中包含一个url跳转到具体的下载的acm library页面。所以我们接下来就对每个内容进行爬取。

Title

image.png

title内容的爬取非常简单，我们利用Chrome自带开发者模式中元素审查发现它存在于

中，所以我们直接定位到该标签位置即可

title = soup.select('h3').text

Author

image.png

author内容在之中，所以我们可以使用如下代码提取作者信息。

author = soup.strong.text

注意：soup.strong会找出网页中第一个strong标签的内容，因为这里author的strong标签是第一个出现的，所以没有关系。

Abstract

image.png

从图中我们看到Abstract内容在

image.png

爬取Abstract的难点主要有3点：

1.我们发现输出的结果中除了Abstract还有其他很多没用的信息

2.Abstract的

3.有些论文的Abstract有2段，有些论文的Abstract只有1段。

在这里，我们通过观察每个论文的

第一个内容，以及最后两个内容不是我们要的Abstract，其他中间的内容就是Abstract。所以我们可以利用list的分片方法取出中间的内容。

abstract = []
for a in soup.select('p')[1:-2]:
abstract.append(a.text)
abstracts = ' '.join(abstract)##把多段的内容合并成一段

Link

Link的提取是本项目最难的地方。我们直接审查元素无法定位到具体的url，而真正的url存在于中

image.png

当我们定位标签时，会出现下面的情况。

image.png

我们发现会把网页中所有链接的url都输出了。我们需要从中选出真正指向acm library的url。在这里我们使用正则表达式进行筛选。 因为acm library的网址的开头一定是‘dl.acm.org’，所以我们利用如下的方法对每个url进行正则匹配，选择出匹配的结果。

import re
link = []
for ele in soup.find_all("a"):
m = re.search('.*dl.acm.org/.*', ele['href'])
if m:
link.append(m.group(0)) ##group(0)表示完整的匹配结果

我们尝试对例子网页进行爬取，发现成功提取除了url。

image.png

By the way：细心的朋友发现我这里link初始化成list，在后面if语句中使用append添加元素。而不是直接用link = m.group(0)、这是因为在kdd2017 accepted 论文中有一篇论文不提供 download full paper的按钮，所以对那篇论文进行操作时，m对象实际上不存在。如果不先初始化link为list，则会导致程序出错。

构造解析函数

我们把上面四个内容的爬取写进一个函数中，函数的参数为论文的描述页url。

def paperDetail(url):
detail = {}
res = requests.get(url)
res.encoding = 'UTF-8'
soup = BeautifulSoup(res.text, 'html.parser')
title = soup.h3.text
author = soup.strong.text
link = []
for ele in soup.find_all("a"):
m = re.search('.*dl.acm.org/.*', ele['href'])
if m:
link.append(m.group(0))
abstract = []
for a in soup.select('p')[1:-2]:
abstract.append(a.text)
abstracts = ' '.join(abstract)
exp = lambda x: x[0] if len(x) > 0 else ''
detail['link'] = exp(link)
detail['author'] = author
detail['title'] = title
detail['abstract'] = abstracts
return detail
循环解析所有论文
import pandas as pd
total_paper = []
for i in range(len(papers)):
print(i)
one_paper = paperDetail(papers[i]['href'])
total_paper.append(one_paper)
result = pd.DataFrame(total_paper)
result = result[['title','author','abstract','link']]
result.head()
result.to_csv('paper.csv')

至此，项目结束。

总结

这是属于最基本、最简单的python爬虫项目，只对静态页面进行爬取，也没有遇到发爬虫的困难。(本来还想进入每篇论文的link爬取论文的doi,但是acm有反爬虫机制，导致无法爬取，之后会研究如何反-反爬虫)。

有大神对我其中任何一个步骤有建议的欢迎评论，有问题也可留言。

致谢

感谢提供帮助的同学们：swy, cx, lck

完整代码

import pandas as pd
from bs4 import BeautifulSoup
import requests
import re
def paperDetail(url):
detail = {}
res = requests.get(url)
res.encoding = 'UTF-8'
soup = BeautifulSoup(res.text, 'html.parser')
title = soup.h3.text
author = soup.strong.text
link = []
for ele in soup.find_all("a"):
m = re.search('.*dl.acm.org/.*', ele['href'])
if m:
link.append(m.group(0))
abstract = []
for a in soup.select('p')[1:-2]:
abstract.append(a.text)
abstracts = ' '.join(abstract)
exp = lambda x: x[0] if len(x) > 0 else ''
detail['link'] = exp(link)
detail['author'] = author
detail['title'] = title
detail['abstract'] = abstracts
return detail
def parse():
url = 'http://www.kdd.org/kdd2017/accepted-papers'
res = requests.get(url)
res.encoding = 'utf-8' ##设置编码
soup = BeautifulSoup(res.text, 'html.parser')
papers = soup.select('#fitvid0 , .table-bordered a')
total_paper = []
for i in range(len(papers)):
print(i)
one_paper = paperDetail(papers[i]['href'])
total_paper.append(one_paper)
result = pd.DataFrame(total_paper)
result = result[['title','author','abstract','link']]
result.head()
result.to_csv('paper.csv')
return result
if __name__ == '__main__':
parse()