同事微博涨粉200+，一顿分析真爱粉只有4个？？

转载

大数据梦想 2023-01-09 16:07:26

文章标签 数据保存数据公众号 文章分类 运维

全文共2696字，阅读全文需10分钟

大家好，我是小一同事微博涨粉200+，一顿分析真爱粉只有4个？？_数据

事情是这样的，同事小A说他最近微博涨粉老快了，但是自己还是和以前一样就偶尔发发动态，看看新闻吃吃瓜，也没买啥涨粉包之类的。

小A说这话的时候稍显淡定，但是小一清楚的看到小A的嘴角微微上扬，不禁撇了撇嘴。

可能是以为我不信他最近涨粉老快这件事，小A随后发来了这张图：

同事微博涨粉200+，一顿分析真爱粉只有4个？？_公众号_02

好家伙，小A他总共粉丝才几百人，这七天就涨了一百多，微博涨粉这么容易的？

要不我也换个阵地试试？这速度比小一现在的公众号涨粉快多了同事微博涨粉200+，一顿分析真爱粉只有4个？？_公众号_03

这个时候小A又补了一句：“这只是近七天的，之前一周的更多呢！”说完这话，小A转身潇洒而去。

这家伙在炫耀！绝对是！

话说微博小一也有在玩，但是确实很少涨粉，粉丝基本都是一些认识的朋友，除非是：

僵尸粉！

其实小A也怀疑自己突然多的粉丝可能是僵尸粉，但是一个一个去检查似乎有点浪费时间。

于是在小A的请求下便有了下面的故事

强烈建议下面步骤在征得同事的同意下进行，不然可能会被打

获取粉丝数据

小一之前也写过微博的爬虫，大概爬了几十万条的土味情话和一些gif图，所以大概知道获取微博粉丝列表应该这样做：

获取用户的总粉丝数，计算运行次数
解析每页的粉丝列表，获取粉丝数据
通过粉丝uid构造粉丝主页链接url
爬取粉丝的详细数据

要检测粉丝到底是不是僵尸粉，可以通过粉丝的粉丝数量、微博动态数这些数据

但是好像不够全面，所以在上面第④步小一获取每个粉丝的详细数据，例如简介、签名、性别等，其中最重要的是获取到该粉丝最近一次的发博情况。

这里面会用到两个链接，一个是微博用户主页信息的链接，一个是粉丝翻页链接，分别如下：

用户主页信息url：

url_master = "https://m.weibo.cn/profile/info?uid=" + uid

粉丝翻页url：

url_fans = "https://m.weibo.cn/api/container/getIndex?containerid=231051_-_fans_-_{0}&since_id={1}".format(uid, index)

【左右滑动查看更多】

注意：

uid是微博中每个用户默认的id唯一编号，我用的是小A的uid，在他的微博主页拿到的。

翻页的时候因为是一页默认20个粉丝，所以index应该是0、20、40这样子的

流程不难，篇幅有点多，所以就不贴具体的实现函数了，你可以在后台回复“微博粉丝”获取所有源码。

大致的主函数代码如下：

if __name__ == '__main__':
    uid = '用户uid'
    """获取详情数据"""
    master_info = get_master_info(uids=uid)
    print("用户id:{0}，发博数:{1}，关注{2}人，拥有粉丝{3}人".format(
        uid, master_info['statuses_count'], master_info['follow_count'], master_info['followers_count']))

    """设置最大页数"""
    fans_count = master_info['followers_count']
    # 由于当page大于250时就已经无法得到内容了，所以要设置最大页数为250
    max_page = fans_count//20 + 1 if fans_count < 5000 else 250

    # 爬取数据
    fans_data = pd.DataFrame()
    for i in range(max_page):
        index = i*20
        url_fans = "https://m.weibo.cn/api/container/getIndex?containerid=231051_-_fans_-_{0}&since_id={1}".format(uid, index)
        data_per_page = get_page_info(url_fans, i)
        fans_data = fans_data.append(data_per_page)
        sleep(3)
    fans_data.to_csv('weibo_{0}_fans_1.csv'.format(uid), encoding='gbk', index=False)

    """爬取每个粉丝的详情数据"""
    for fans in fans_data.iterrows():
        fans_url = "https://m.weibo.cn/profile/info?uid=" + str(fans[1]['用户id'])
        fan_info = get_fans_info(fans_url)

        # 获取并更新每个粉丝最近的一条微博动态
        fans_data.loc[fans_data['用户id'] == fans[1]['用户id'], '总动态数'] = fan_info['statuses_count']
        fans_data.loc[fans_data['用户id'] == fans[1]['用户id'], '最近一次发博日期'] = fan_info['created_at']
        fans_data.loc[fans_data['用户id'] == fans[1]['用户id'], '最近一次发博内容'] = fan_info['text']
        fans_data.loc[fans_data['用户id'] == fans[1]['用户id'], '最近一次发博终端'] = fan_info['source']
        fans_data.loc[fans_data['用户id'] == fans[1]['用户id'], '签名'] = fan_info['description']
        fans_data.loc[fans_data['用户id'] == fans[1]['用户id'], '性别'] = fan_info['gender']
        sleep(3)

    # 保存数据
    fans_data.to_csv('weibo_{0}_fans.csv'.format(uid), encoding='utf-8', index=False)