在这个技术迅速发展的时代，社交媒体的力量已经无可估量。微博作为中国极为流行的社交平台，吸引了大量用户关注和参与。而对于开发者来说，能够有效地获取用户的粉丝信息，不仅可以分析社交网络的动态，还能为后续的营销和服务提供强有力的数据支持。基于此，我开始了“Java微博粉丝爬取”的项目，下面将详细记录这个过程的每一个环节。
### 初始技术痛点
在项目启动之初，我深刻体会到一些技术难题。由于微博的反爬
主要代码如下图from selenium import webdriver
from pyecharts.charts import PictorialBar
from pyecharts.charts import Line
from opdata.opexcel import Operatingexcel
from bs4 import BeautifulSoup
import time
i
转载
2023-11-10 22:06:48
70阅读
广告投放时选择博主的关键，并不只是博主本身，粉丝往往也起着决定作用。受众与博主共同决定了这个账号是否适合投广告？适合投放什么广告。所以，不分析粉丝画像的广告投放就是粗投，甚至盲投。正因为如此，我们在不断优化粉丝画像功能，希望给广告主提供更多粉丝相关的场景数据，以便广告选号时提供决策支持。1 粉丝画像功能优化1.去水粉丝数粉丝数据在原有的活跃粉丝数、铁粉数的基础上，新增了博主的去水粉丝数，去水粉丝数
转载
2023-08-01 17:11:33
408阅读
虽然我是不用微博的，但由于某种原因，手机端的微博会时不时地推送几条我必须看的消息过来。微博被看久了，前几天又看到 语亮 - 简书 一年前的的微博爬虫，就有了对某人微博深入挖掘的想法。之前语亮的爬虫不能抓取用户一条微博的多张图片，一年后微博界面也发生了一些变化，决定还是参考语亮爬取手机端界面的方法更新下代码，同时加上一点小小的数据分析。主要想法是抓取指定用户的全部微博原创内容和全部原创图片
转载
2023-06-26 10:18:43
651阅读
# 使用Java爬取微博用户IP和粉丝数量
在网络时代，人们对于社交媒体的关注越来越多。其中，微博作为中国最大的社交媒体平台之一，拥有庞大的用户群体和可观的数据资源。本文将介绍如何使用Java编写爬虫程序，从微博用户页面中提取IP地址和粉丝数量的信息。
## 爬虫概述
爬虫是一种自动化程序，通过网络请求和解析HTML等页面内容，从中提取所需的数据。在爬取微博用户页面时，我们可以通过以下步骤获
原创
2023-10-19 08:52:09
79阅读
电脑端网页版微博weibo.com的处理相对复杂，先从最简单的移动端weibo.cn开始。因为微博系统限制，移动端只能查看前20页关注和粉丝信息，所以对于关注或粉丝超过200的用户，只能获取部分粉丝和部分关注的信息。 用户主页的链接有3种形式www.weibo.cn/uid
www.weibo.cn/u/uid
www.weibo.cn/个性域名 文章目录1. UID2. 基本信息3. 关注和粉丝
转载
2024-06-13 21:10:14
210阅读
# Java微博粉丝数量
## 1. 简介
随着社交媒体的兴起，人们越来越关注微博等社交平台上的用户数量和互动程度。而对于开发者来说，获取微博粉丝数量是一项非常有用的功能。本文将介绍如何使用Java编程语言来获取微博用户的粉丝数量，并提供相应的代码示例。
## 2. 实现思路
要获取微博用户的粉丝数量，我们需要使用微博开放平台的API接口。具体实现思路如下：
1. 获取微博用户的授权，获
原创
2023-10-26 05:45:42
81阅读
相关github地址：https://github.com/KaguraTyan/web_crawler一般做爬虫爬取网站时，首选的都是m站，其次是wap站，最后考虑PC站，因为PC站的各种验证最多。当然，这不是绝对的，有的时候PC站的信息最全，而你又恰好需要全部的信息，那么PC站是你的首选。一般m站都以m开头后接域名， 我们这次通过m.weibo.cn去分析微博的HTTP请求。准备工作1、环境配
转载
2023-07-29 23:11:01
288阅读
本文通过一种简单的方式来抓取华为终端官方微博的内容信息。首先抓取登录微博的cookie，然后使用cookie来登录微博。 具体的代码如下所示：# -*- coding: utf-8 -*-
"""
Created on Sun Apr 16 14:16:32 2017
@author: zch
"""
import requests
from bs4 import BeautifulSoup
转载
2023-06-21 09:46:55
155阅读
爬取某人的微博数据，把某人所有时间段的微博数据都爬下来。具体思路：创建driver-----get网页----找到并提取信息-----保存csv----翻页----get网页（开始循环）----...----没有“下一页”就结束，用了while True，没用自我调用函数代码如下from selenium import webdriver
from selenium.webdriver.commo
转载
2023-07-01 01:52:25
219阅读
开发工具**Python版本：**3.6.4相关模块：argparse模块；requests模块；jieba模块；wordcloud模块；以及一些Python自带的模块。环境搭建安装Python并添加到环境变量，pip安装需要的相关模块即可。原理简介一. 爬虫目标爬取某条微博底下的评论数据。二. 模拟登录爬像新浪微博这样的大网站，不用想就知道不登录肯定是爬不了多少数据的(事实就是不登录的话只能爬第
转载
2023-10-03 13:40:17
68阅读
1.selenium模拟登陆 2.定位进入高级搜索页面 3.对高级搜索进行定位，设置。 4.代码实现import time
from selenium import webdriver
from lxml import etree
from selenium.webdriver import ChromeOptions
import requests
fr
转载
2023-07-07 10:30:32
316阅读
目的： 利用python和selenium实现自动化爬虫所需工具： 1、python2.7 2、selenium库（pip install selenium或者easy_install selenium进行安装） 3、火狐浏览器 安装好上述工具之后就可以开始微博爬虫啦！ 首先，打开你的python编辑器（本人使用的是subli
转载
2023-09-11 20:41:44
175阅读
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取文实例讲述了Python爬虫爬取新浪微博内容。分享给大家供大家参考，具体如下：用Python编写爬虫，爬取微博大V的微博内容，本文以女神的微博为例（爬新浪m站：https://m.weibo.cn/u/1259110474）一般
转载
2023-06-14 10:34:20
425阅读
# Python爬取微博流程
## 介绍
在这篇文章中，我将教会你如何使用Python来爬取微博。作为一名经验丰富的开发者，我将向你展示整个流程，并给出每个步骤所需要的代码，并对代码的含义进行注释。请按照下面的表格中的步骤进行操作，你将成功地实现Python爬取微博。
## 流程图
```flow
st=>start: 开始
e=>end: 结束
op1=>operation: 准备工作
op
原创
2023-08-15 16:24:06
342阅读
此次爬虫要实现的是爬取某个微博用户的关注和粉丝的用户公开基本信息，包括用户昵称、id、性别、所在地和其粉丝数量，然后将爬取下来的数据保存在MongoDB数据库中，最后再生成几个图表来简单分析一下我们得到的数据。一、具体步骤：然后查看其关注的用户，打开开发者工具，切换到XHR过滤器，一直下拉列表，就会看到有很多的Ajax请求。这些请求的类型是Get类型，返回结果是Json格式，展开之后就能看到有很多
转载
2024-03-05 21:13:50
86阅读
最近在复习以前学习的python爬虫内容，就拿微博来练了一下手，这个案例适合学习爬虫到中后期的小伙伴，因为他不是特别简单也不是很难，关键是思路，为什么说不是很难呢？因为还没涉及到js逆向，好了话不多说开干。（1）找到要爬取的页面，如下：（2）点开评论，拉到最下方，如下位置：点击“点击查看”进入另一个页面，如下所示：这里会显示更多评论，但是不是全部，随便复制一条评论的内容，然后到源码里手搜索，发现是
转载
2023-06-07 21:51:23
1926阅读
# Python微博爬取
> 本文介绍了使用Python进行微博爬取的基本原理和代码示例。
## 引言
随着互联网的发展，社交媒体已成为人们获取信息和交流的重要渠道之一。微博作为中国最大的社交媒体平台之一，拥有庞大的用户群体和各种各样的内容。对于一些研究者和数据分析师来说，获取并分析微博数据可能是非常有价值的。本文将介绍如何使用Python进行微博爬取，并提供相应的代码示例。
## 爬
原创
2023-10-17 16:19:53
186阅读
# 如何使用Python爬取微博数据
## 引言
在信息时代，社交媒体的数据正变得越来越重要。微博是中国最大的社交媒体平台之一，因此，了解如何使用Python爬取微博数据对于开发者来说是非常有价值的技能。本文将详细介绍如何实现这一目标，从整体的流程到每一步所需的代码。
## 整体流程
首先，我们来看一下整体的流程。下表展示了爬取微博数据的步骤以及每一步所需的代码：
| 步骤 | 代码 |
|
原创
2023-08-16 08:15:45
99阅读
爬虫学习的一点心得任务：微博指定信息抓取抓取：requests解析：xpath，正则表达式遇到的问题:1.正则解析或Xpath解析的时候采用先抓大再抓小的方法会使抓取的信息更加准确且不会有遗漏2.先抓大：获取到div（class=c）下的div标签中所有节点的内容text，利用tostring函数把每个个节点及其子节点形成的树转换成html，在抓小：然后正则替换掉所有标签，然后获取需要的所有信息。
转载
2023-05-31 09:11:31
181阅读
