新浪微博爬取前言 现在这个数据时代，要做点数据研究，少不了爬虫。毕竟自己没有可以研究的数据呀。本篇文章已爬取新浪微博为实例驱动，讲解爬虫。主要有微博文章爬取，评论爬取，用户信息爬取（用户名称，所在地，以及性别）。这个项目其实主要是用户爬取文本做情感分析的，为此付出了不少时间，来研究和优化这个项目。三者的爬取是三个独立的模块。数据存储采用Mysql数据库，orm框架使用sqlarlchemy框架。
第一次写博客，mark一下。以前没写过技术分享博客也是因为没什么好分享的，现在觉得有些经验和思考过程还是值得记录下来的；一则便于以后查阅，二则如果能给别人带来些许帮助，则无比幸甚。这次是因为工作需要做一些市场声量的分析，需要爬取一些论坛内容，微博内容做数据分析，懒得找其他盈利性的网站购买，就自己研究了一下Python 爬虫，写出来一个小小的爬虫爬虫主要分两大部分：1，下载网页功能（就是把网页内容以
转载
2023-08-20 21:40:25
0阅读
写在前面时光飞逝，距离微博爬虫这个项目及系列文章 微博超级爬虫 第一次发布已经过去将近两年了，最开始，我也没想到，会维护这个项目如此之久。项目更新过很多次，从代码到文章，熬过夜，也废过食，还好一直有读者反馈，也有不少点赞支持的粉丝，这些大概都是维护这个项目的动力来源。这一年，完成了从一名学生到大厂工程师的转变，自由支配的时间少了许多；有感于大家的热情咨询，这一两周抽空，完成了 2021 年最新版微
课上老师留了作业做这个花了一小会时间做了一下，分享下过程。一.首先我们选择微博移动端去爬取即这个网址微博移动版 二.登陆后获取到我们的cookie和user-agent，存下来一会会用。 三.分析评论url，我们可以发现往下翻评论时每次可获得一个url，一个url中包含几十条评论，找到规律如下： 第一个为：https://m.weibo.cn/comments/hotflow?id=4629867
功能爬取新浪微博信息，并写入csv/txt文件，文件名为目标用户id加".csv"和".txt"的形式，同时还会下载该微博原始图片和微博视频(可选)。本程序需要设置用户cookie，以获取微博访问权限，后面会讲解如何获取cookie。如需免cookie版，大家可以访问https://github.com/dataabc/weibo-crawler，二者功能类似，免cookie版因为不需要cooki
背景：实验室大数据分析需要得到社交网站的数据，首选当然是新浪。数据包括指定关键词、话题、位置的微博的内容。字段包括：图片、时间、用户、位置信息。思路分析：要爬新浪的数据主要有2种方法： 1.微博开发者平台提供的微博API，资源包括微博内容、评论、用户、关系、话题等信息。同时，你也可以申请高级接口、商业接口获得更多权限，你要去注册申请成为开发者获得OAuth2授权以及这个使
转载
2023-07-06 11:26:20
128阅读
本篇文章主要针对Python爬虫爬取微博内容（也可类似实现图片）。通过给定初始爬取起点用户id，获取用户关注其他用户，不断爬取，直到达到要求。一、项目结构：1. main.py中对应程序过程逻辑2. url_manager.py对应管理URL3. html_parser.py 将网页下载器、网页解析器、博文保存封装在了一起。（理论上应该分开，但是我这里图方便就合在一起了）二、程序介绍：1. 主函数
转载
2023-09-18 20:50:42
324阅读
必知首先我们需要切记的是我们需要爬取的微博地址为：https://m.weibo.cn。不是https://weibo.com/。因为前者的数据时通过AJAX加载的，有利于我们的抓取，后者难度大，本人找了半天也找不到接口。 本次我们爬取演员张一山的微博。操作打开开发者工具，刷新爬取页面，由于微博数据是通过AJAX请求获取的，所以选择XHR 只查看AJAX请求。 依次点击AJAX请求查找获取数据的接
应该看得懂吧，把cookie换成自己的就好了。 !/usr/bin/env python coding=utf8 """ Simulate a user login to Sina Weibo with cookie. You can use this method to visit any pag
原创
2021-07-15 17:08:38
489阅读
微博scrapy爬虫实战经验分享这两天想要爬一些微博的数据，在github上找到了开源代码，但是在实际使用过程中遇到了很多困难，在此做一下记录。安装MongoDB首先安装MongoDB，Windows系统教程可以参考。获取微博小号因为需要爬的数据量较大，笔者采用了senior版本，通过构建微博小号账号池来提高爬虫效率，因此购买了一些微博小号。目前网页版微博已经全部需要验证码登录了，但是有一些小号可
python爬虫爬取微博评论python爬虫是程序员们一定会掌握的知识，练习python爬虫时，很多人会选择爬取微博练手。python爬虫微博根据微博存在于不同媒介上，所爬取的难度有差异，无论是python新入手的小白，还是已经熟练掌握的程序员，可以拿来练手。本文介绍python爬取微博评论的代码实例。一、爬虫微博与QQ空间爬虫类似，可以爬取新浪微博用户的个人信息、微博信息、粉丝、关注和评论等。爬
转载
2023-06-21 13:24:05
248阅读
早上刷空间发现最近好多人过生日诶~仔细想想，好像4月份的时候也是特别多人过生日【比如我那么每个人生日的月份有什么分布规律呢。。。突然想写个小程序统计一下 最简单易得的生日数据库大概就是新浪微博了： 但是电脑版的新浪微博显然是动态网页。。。如果想爬这个应该要解析JS脚本【就像上次爬网易云音乐。。然而并不会解其实有更高效的方法：爬移动版移动版因为手机浏览器的限制大多都做了简化，更有
早上刷空间发现最近好多人过生日诶~仔细想想，好像4月份的时候也是特别多人过生日【比如我那么每个人生日的月份有什么分布规律呢。。。突然想写个小程序统计一下 最简单易得的生日数据库大概就是新浪微博了： 但是电脑版的新浪微博显然是动态网页。。。如果想爬这个应该要解析JS脚本【就像上次爬网易云音乐。。然而并不会解其实有更高效的方法：爬移动版移动版因为手机浏览器的限制大多都做了简化，更有
转载
2023-05-31 10:16:02
264阅读
文章目录好久没更新了，今天来更新一波。一、网页分析二、接口分析url分析返回数据分析三、编写代码获取数据保存数据完整代码 好久没更新了，今天来更新一波。今天继续使用新版微博一、网页分析依旧是女神迪丽热巴? 找到热巴的主页，依旧先打开开发者模式，然后刷新网页。 在这个请求中你可以得到：昵称、关注数、粉丝数、博文数、个人简介、性别、是否通过微博认证、认证信息、地区、微博等级、会员等级等等。 另外一个
转载
2023-09-12 16:48:00
272阅读
去年的实训 记录一下～供大家交流学习！ 在网上也借鉴了许多学生信息管理系统最终得出～ jsp代码在文中最后-0-百度网盘自取 数据库的表代码丢失各位加油-0- 根据下面的数据库设计可以很快做出来的:)主要功能：显示微博信息，用户信息，能够查看微博，编辑微博，更改微博，以及删除微博。总体设计方案： 创建用户信息数据库，微博信息数据库，连接数据库 用户通过账户和密码进行登录注册，进入微博页面完成增删查
本文承接上一篇爬虫开篇的说明----上一篇已经很好的用到了reqquests,Beautifulsoup等库，以及爬虫的常用更简单框架；本篇内容的目的是充分的认识scrapy 框架的各个组件，以及利用scrapy 框架实现微博的爬取开篇之前，先来概览一下scrapy 框架的架构scrapy 架构1. Engine 引擎，触发事务，是整个框架的核心部分2.scheduler 调度器，将引擎发来的请求
一、新浪微博全栈爬虫先不扯皮，直接上获取数据效果图爬虫策略：递归获取每个用户的粉丝用户id，想要获取多少用户id，则可以获取多少；利用获取的用户id再获取每个用户的所有数据 例如爬黑猫警长GIAO的一条微博所有评论爬虫策略：进入手机端找到微博对应的微博id，进行爬虫，利用如下方式组合成url，进行爬虫url组合方式：'https://m.weibo.cn/comments/h
转载
2023-06-30 22:08:18
234阅读
利用新浪API实现数据的抓取(2018.4.16 更新)<font color=#FF0000 size=4 face="黑体">2018.4.16 说明注意：今天有人言语恶劣地评论我的博客是垃圾，说我的代码有问题，这篇博客历史久远，是我初玩爬虫写的博客。我非常感谢能对我的代码提出意见的人，但是出言不逊，态度恶劣的人我是忍受不了的，有话好好说，是一个现代社会高学历高知识分子的最低觉悟。
百度搜索下进入页面发现需要使用移动端我们打开控制台，F12，点击移动版，然后刷新页面可以进入搜索界面。可以看到有一个post的接口，参数正是我们输入的关键词当这个关键词被收录的时候。会有提示，我们点击下面的蓝色关键词，进入详情页面。点击30天，会出现新的请求。参数是wid 和 1month而这个wid，就是在之前搜索页面输入已经被收录的关键词后，返回的respons...
原创
2021-07-07 11:40:42
551阅读
# Java微博爬虫实现指南
## 引言
在本篇文章中，我将向你介绍如何使用Java编写微博爬虫。作为一名经验丰富的开发者，我将指导你完成整个流程，并提供必要的代码示例和解释。本文的目标是帮助初学者了解并掌握爬取微博数据的基本方法和技术。
## 整体流程
下面是爬取微博数据的整体流程，我们将按照这个流程一步一步进行实现。
| 步骤 | 说明 |
| ---- | ---- |
| 步骤一 |
原创
2023-08-05 07:14:44
67阅读
