爬取微博热搜评论生成词云_java爬取微博热搜评论生成词云_java_02



前言

微博大家都很熟悉了,时不时就谁谁上了热搜,底下评论什么都有,我们想获得评论信息做个简单的分析,可以用爬虫爬取,但花费的时间可能有点多,还会面临反爬,微博给我们开了 api 接口,我们可以调用方便的获取数据,带来了不少便利,小编带大家来爬取评论内容



api 配置

https://open.weibo.com/

打开,注册一个账号,按照下列序号新建应用,完善基本信息

  1. 点击【我的应用】,完善基本信息

  2. 完善后的样子

  3. 点击【微连接】【其他】,新建应用

  4. 点击建好的应用

爬取微博热搜评论生成词云_java_03


App Key,App Secret 是接口需要的密匙

爬取微博热搜评论生成词云_java_04


授权回调页,取消授权回调页都写为:https://api.weibo.com/oauth2/default.html

爬取微博热搜评论生成词云_java_05




文档查看

我们点击【文档】,找到评论接口,我们选择【获取某条微博的评论】

爬取微博热搜评论生成词云_java_06


点开文档后,里面都有详细参数,我们只需要评论的数据,还有其它的数据,用户 id,地区等数据,你可以自制选择玩出你的花样

爬取微博热搜评论生成词云_java_07


怎么接入授权爬取数据文档也有

爬取微博热搜评论生成词云_java_08



接入代码

接入代码要先获得授权的 taken,其中要用到 App Key,App Secret

爬取微博热搜评论生成词云_java_09


运行代码会要输入 code,code 是运行后,会弹出一个 web 界面,在 url 后面,输入这个 code 就可以开始爬取了

爬取微博热搜评论生成词云_java_10



爬取


打开一条微博,找到它的 id,一般就是 url 后面那串数字

爬取微博热搜评论生成词云_java_11


接下来写爬取逻辑,其中画线的是接入方法,id 是刚刚的 id,count 设置一页获得数量,默认50

爬取微博热搜评论生成词云_java_12


这样我们就爬取成功了

爬取微博热搜评论生成词云_java_13


生成词云

爬取微博热搜评论生成词云_java_14爬取微博热搜评论生成词云_java_15