python爬取b站评论 b站评论爬虫

转载

mob64ca14010a69 2023-10-10 14:52:48

文章标签 python爬取b站评论 html json 数据 文章分类 Python 后端开发

本周我们的目标是：B站（哔哩哔哩弹幕网 https://www.bilibili.com ）视频评论数据。

我们都知道，B站有很多号称“镇站之宝”的视频，拥有着数量极其恐怖的评论和弹幕。所以这次我们的目标就是，爬取B站视频的评论数据，分析其为何会深受大家喜爱。

首先去调研一下，B站评论数量最多的视频是哪一个。。。好在已经有大佬已经统计过了，我们来看一哈！

python爬取b站评论 b站评论爬虫_html

【B站大数据可视化】B站评论数最多的视频究竟是？ python爬取b站评论 b站评论爬虫_html_02

嗯？《全职高手》，有点意思，第一集和最后一集分别占据了评论数量排行榜的第二名和第一名，远超了其他很多很火的番。那好，就拿它下手吧，看看它到底强在哪儿。

废话不多说，先去B站看看这部神剧到底有多好看

python爬取b站评论 b站评论爬虫_json_03

额，需要开通大会员才能观看。。。

好吧，不看就不看，不过好在虽然视频看不了，评论却是可以看的。

python爬取b站评论 b站评论爬虫_json_04

感受到它的恐怖了吗？63w6条的评论！9千多页！果然是不同凡响啊。

接下来，我们就开始编写爬虫，爬取这些数据吧。

使用爬虫爬取网页一般分为四个阶段：分析目标网页，获取网页内容，提取关键信息，输出保存。

1. 分析目标网页

首先观察评论区结构，发现评论区为鼠标点击翻页形式，共 9399 页，每一页有 20 条评论，每条评论中包含用户名、评论内容、评论楼层、时间日期、点赞数等信息展示。

python爬取b站评论 b站评论爬虫_python爬取b站评论_05

接着我们按 F12 召唤出开发者工具，切换到Network。然后用鼠标点击评论翻页，观察这个过程有什么变化，并以此来制定我们的爬取策略。
我们不难发现，整个过程中 URL 不变，说明评论区翻页不是通过 URL 控制。而在每翻一页的时候，网页会向服务器发出这样的请求（请看 Request URL）。

python爬取b站评论 b站评论爬虫_数据_06

点击 Preview 栏，可以切换到预览页面，也就是说，可以看到这个请求返回的结果是什么。下面是该请求返回的 json 文件，包含了在 replies 里包含了本页的评论数据。在这个 json 文件里，我们可以发现，这里面包含了太多的信息，除了网页上展示的信息，还有很多没展示出来的信息也有，简直是挖到宝了。不过，我们这里用不到，通通忽略掉，只挑我们关注的部分就好了。

python爬取b站评论 b站评论爬虫_数据_07

2. 获取网页内容

网页内容分析完毕，可以正式写代码爬了。

1 import requests
 2 
 3 def fetchURL(url):
 4     '''
 5     功能：访问 url 的网页，获取网页内容并返回
 6     参数：
 7         url ：目标网页的 url
 8     返回：目标网页的 html 内容
 9     '''
10     headers = {
11         'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
12         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
13     }
14     
15     try:
16         r = requests.get(url,headers=headers)
17         r.raise_for_status()
18         print(r.url)
19         return r.text
20     except requests.HTTPError as e:
21         print(e)
22         print("HTTPError")
23     except requests.RequestException as e:
24         print(e)
25     except:
26         print("Unknown Error !")
27         
28 
29 if __name__ == '__main__':
30     url = 'https://api.bilibili.com/x/v2/reply?callback=jQuery172020326544171595695_1541502273311&jsonp=jsonp&pn=2&type=1&oid=11357166&sort=0&_=1541502312050'
31     html = fetchURL(url)
32     print(html)

python爬取b站评论 b站评论爬虫_html_08

不过，在运行过后，你会发现，403 错误，服务器拒绝了我们的访问。

运行结果：

403 Client Error: Forbidden for url: https://api.bilibili.com/x/v2/reply?callback=jQuery172020326544171595695_1541502273311&jsonp=jsonp&pn=2&type=1&oid=11357166&sort=0&_=1541502312050
HTTPError
None

python爬取b站评论 b站评论爬虫_python爬取b站评论_09

同样的，这个请求放浏览器地址栏里面直接打开，会变403，什么也访问不到。

python爬取b站评论 b站评论爬虫_html_10

这是我们本次爬虫遇到的第一个坑。在浏览器中能正常返回响应，但是直接打开请求链接时，却会被服务器拒绝。（我第一反应是 cookie ，将浏览器中的 cookie 放入爬虫的请求头中，重新访问，发现没用），或许这也算是一个小的反爬虫机制吧。

网上查阅资料之后，我找到了解决的方法（虽然不了解原理），原请求的 URL 参数如下：

callback = jQuery1720913511919053787_1541340948898
jsonp = jsonp
pn = 2
type = 1
oid = 11357166&sort=0
_ = 1541341035236

python爬取b站评论 b站评论爬虫_json_11

其中，真正有用的参数只有三个：pn（页数），type（=1）和oid（视频id）。删除其余不必要的参数之后，用新整理出的url去访问，成功获取到评论数据。

https://api.bilibili.com/x/v2/reply?type=1&oid=11357166&pn=2

python爬取b站评论 b站评论爬虫_html_12

python爬取b站评论 b站评论爬虫_python爬取b站评论_13

python爬取b站评论 b站评论爬虫_html_14

然后，在主函数中，通过写一个 for 循环，通过改变 pn 的值，获取每一页的评论数据。

1 if __name__ == '__main__':
2     for page in range(0,9400):
3         url = 'https://api.bilibili.com/x/v2/reply?type=1&oid=11357166&pn=' + str(page)
4         html = fetchURL(url)

3. 提取关键信息

通过 json 库对获取到的响应内容进行解析，然后提取我们需要的内容：楼层，用户名，性别，时间，评价，点赞数，回复数。

1 import json
 2 import time
 3 
 4 def parserHtml(html):
 5     '''
 6     功能：根据参数 html 给定的内存型 HTML 文件，尝试解析其结构，获取所需内容
 7     参数：
 8             html：类似文件的内存 HTML 文本对象
 9     '''
10     s = json.loads(html)
11 
12     for i in range(20):
13         comment = s['data']['replies'][i]
14 
15         # 楼层，用户名，性别，时间，评价，点赞数，回复数
16         floor = comment['floor']
17         username = comment['member']['uname']
18         sex = comment['member']['sex']
19         ctime = time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(comment['ctime']))
20         content = comment['content']['message']
21         likes = comment['like']
22         rcounts = comment['rcount']
23 
24         print('--'+str(floor) + ':' + username + '('+sex+')' + ':'+ctime)
25         print(content)
26         print('like : '+ str(likes) + '      ' + 'replies : ' + str(rcounts))
27         print('  ')

部分运行结果如下：

--204187:day可可铃(保密):2018-11-05 18:16:22
太太又出本了，这次真的木钱了(´；ω；`)
like : 1      replies : 0
  
--204186:长夜未央233(女):2018-11-05 16:24:52
12区打卡
like : 2      replies : 0
  
--204185:果然还是人渣一枚(男):2018-11-05 13:48:09
貌似忘来了好几天
like : 1      replies : 1
  
--204183:day可可铃(保密):2018-11-05 13:12:38
要准备去学校了，万恶的期中考试( ´_ゝ｀)
like : 2      replies : 0
  
--204182:拾秋以叶(保密):2018-11-05 12:04:19
11月5日打卡（￣▽￣）
like : 1      replies : 0
  
--204181:芝米士哒(女):2018-11-05 07:53:43
这次是真的错过了一个亿[蛆音娘_扶额]
like : 2      replies : 1

4. 保存输出

我们把这些数据以 csv 的格式保存于本地，即完成了本次爬虫的全部任务。下面附上爬虫的全部代码。

1 import requests
  2 import json
  3 import time
  4 
  5 def fetchURL(url):
  6     '''
  7     功能：访问 url 的网页，获取网页内容并返回
  8     参数：
  9         url ：目标网页的 url
 10     返回：目标网页的 html 内容
 11     '''
 12     headers = {
 13         'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
 14         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
 15     }
 16     
 17     try:
 18         r = requests.get(url,headers=headers)
 19         r.raise_for_status()
 20         print(r.url)
 21         return r.text
 22     except requests.HTTPError as e:
 23         print(e)
 24         print("HTTPError")
 25     except requests.RequestException as e:
 26         print(e)
 27     except:
 28         print("Unknown Error !")
 29         
 30 
 31 def parserHtml(html):
 32     '''
 33     功能：根据参数 html 给定的内存型 HTML 文件，尝试解析其结构，获取所需内容
 34     参数：
 35             html：类似文件的内存 HTML 文本对象
 36     '''
 37     try:
 38         s = json.loads(html)
 39     except:
 40         print('error')
 41         
 42     commentlist = []
 43     hlist = []
 44 
 45     hlist.append("序号")
 46     hlist.append("名字")
 47     hlist.append("性别")
 48     hlist.append("时间")
 49     hlist.append("评论")
 50     hlist.append("点赞数")
 51     hlist.append("回复数")
 52 
 53     #commentlist.append(hlist)
 54 
 55     # 楼层，用户名，性别，时间，评价，点赞数，回复数
 56     for i in range(20):
 57         comment = s['data']['replies'][i]
 58         blist = []
 59 
 60         floor = comment['floor']
 61         username = comment['member']['uname']
 62         sex = comment['member']['sex']
 63         ctime = time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(comment['ctime']))
 64         content = comment['content']['message']
 65         likes = comment['like']
 66         rcounts = comment['rcount']
 67 
 68         blist.append(floor)
 69         blist.append(username)
 70         blist.append(sex)
 71         blist.append(ctime)
 72         blist.append(content)
 73         blist.append(likes)
 74         blist.append(rcounts)
 75 
 76         commentlist.append(blist)
 77 
 78     writePage(commentlist)
 79     print('---'*20)
 80 
 81 def writePage(urating):
 82     '''
 83         Function : To write the content of html into a local file
 84         html : The response content
 85         filename : the local filename to be used stored the response
 86     '''
 87     
 88     import pandas as pd
 89     dataframe = pd.DataFrame(urating)
 90     dataframe.to_csv('Bilibili_comment5-1000条.csv', mode='a', index=False, sep=',', header=False)
 91 
 92 
 93 if __name__ == '__main__':
 94     for page in range(0,9400):
 95         url = 'https://api.bilibili.com/x/v2/reply?type=1&oid=11357166&pn=' + str(page)
 96         html = fetchURL(url)
 97         parserHtml(html)
 98 
 99         # 为了降低被封ip的风险，每爬20页便歇5秒。
100         if page%20 == 0:
101             time.sleep(5)