早上刷空间发现最近好多人过生日诶~仔细想想，好像4月份的时候也是特别多人过生日【比如我那么每个人生日的月份有什么分布规律呢。。。突然想写个小程序统计一下 最简单易得的生日数据库大概就是新浪微博了： 但是电脑版的新浪微博显然是动态网页。。。如果想爬这个应该要解析JS脚本【就像上次爬网易云音乐。。然而并不会解其实有更高效的方法：爬移动版移动版因为手机浏览器的限制大多都做了简化，更有
转载
2024-02-20 17:18:58
108阅读
Python 3.6 抓取微博m站数据2019.05.01 更新内容containerid 可以通过 "107603" + user_id 组装得到，无需请求个人信息获取；优化多线程抓取，修复之前因urllib.request全局定义，导致代理无法正常切回本地IP；优化分布式抓取策略，由每台机器顺序获取用户ID 再拼装URL抓取策略，修改为每台机器顺序获取URL进行抓取。防止由于某个微博账号微博动
超级实用，开放源码~
原创
2022-03-11 09:42:47
1095阅读
新浪微博爬取前言 现在这个数据时代，要做点数据研究，少不了爬虫。毕竟自己没有可以研究的数据呀。本篇文章已爬取新浪微博为实例驱动，讲解爬虫。主要有微博文章爬取，评论爬取，用户信息爬取（用户名称，所在地，以及性别）。这个项目其实主要是用户爬取文本做情感分析的，为此付出了不少时间，来研究和优化这个项目。三者的爬取是三个独立的模块。数据存储采用Mysql数据库，orm框架使用sqlarlchemy框架。
转载
2023-10-12 09:43:32
159阅读
第一次写博客，mark一下。以前没写过技术分享博客也是因为没什么好分享的，现在觉得有些经验和思考过程还是值得记录下来的；一则便于以后查阅，二则如果能给别人带来些许帮助，则无比幸甚。这次是因为工作需要做一些市场声量的分析，需要爬取一些论坛内容，微博内容做数据分析，懒得找其他盈利性的网站购买，就自己研究了一下Python 爬虫，写出来一个小小的爬虫爬虫主要分两大部分：1，下载网页功能（就是把网页内容以
转载
2023-08-20 21:40:25
0阅读
本篇文章主要针对Python爬虫爬取微博内容（也可类似实现图片）。通过给定初始爬取起点用户id，获取用户关注其他用户，不断爬取，直到达到要求。一、项目结构：1. main.py中对应程序过程逻辑2. url_manager.py对应管理URL3. html_parser.py 将网页下载器、网页解析器、博文保存封装在了一起。（理论上应该分开，但是我这里图方便就合在一起了）二、程序介绍：1. 主函数
转载
2023-09-18 20:50:42
504阅读
python爬虫爬取微博评论python爬虫是程序员们一定会掌握的知识，练习python爬虫时，很多人会选择爬取微博练手。python爬虫微博根据微博存在于不同媒介上，所爬取的难度有差异，无论是python新入手的小白，还是已经熟练掌握的程序员，可以拿来练手。本文介绍python爬取微博评论的代码实例。一、爬虫微博与QQ空间爬虫类似，可以爬取新浪微博用户的个人信息、微博信息、粉丝、关注和评论等。爬
转载
2023-06-21 13:24:05
255阅读
课上老师留了作业做这个花了一小会时间做了一下，分享下过程。一.首先我们选择微博移动端去爬取即这个网址微博移动版 二.登陆后获取到我们的cookie和user-agent，存下来一会会用。 三.分析评论url，我们可以发现往下翻评论时每次可获得一个url，一个url中包含几十条评论，找到规律如下： 第一个为：https://m.weibo.cn/comments/hotflow?id=4629867
转载
2023-09-25 22:56:34
219阅读
写在前面时光飞逝，距离微博爬虫这个项目及系列文章 微博超级爬虫 第一次发布已经过去将近两年了，最开始，我也没想到，会维护这个项目如此之久。项目更新过很多次，从代码到文章，熬过夜，也废过食，还好一直有读者反馈，也有不少点赞支持的粉丝，这些大概都是维护这个项目的动力来源。这一年，完成了从一名学生到大厂工程师的转变，自由支配的时间少了许多；有感于大家的热情咨询，这一两周抽空，完成了 2021 年最新版微
转载
2023-09-25 22:56:16
110阅读
早上刷空间发现最近好多人过生日诶~仔细想想，好像4月份的时候也是特别多人过生日【比如我那么每个人生日的月份有什么分布规律呢。。。突然想写个小程序统计一下 最简单易得的生日数据库大概就是新浪微博了： 但是电脑版的新浪微博显然是动态网页。。。如果想爬这个应该要解析JS脚本【就像上次爬网易云音乐。。然而并不会解其实有更高效的方法：爬移动版移动版因为手机浏览器的限制大多都做了简化，更有
转载
2023-05-31 10:16:02
299阅读
必知首先我们需要切记的是我们需要爬取的微博地址为：https://m.weibo.cn。不是https://weibo.com/。因为前者的数据时通过AJAX加载的，有利于我们的抓取，后者难度大，本人找了半天也找不到接口。 本次我们爬取演员张一山的微博。操作打开开发者工具，刷新爬取页面，由于微博数据是通过AJAX请求获取的，所以选择XHR 只查看AJAX请求。 依次点击AJAX请求查找获取数据的接
转载
2024-01-08 16:39:23
505阅读
功能爬取新浪微博信息，并写入csv/txt文件，文件名为目标用户id加".csv"和".txt"的形式，同时还会下载该微博原始图片和微博视频(可选)。本程序需要设置用户cookie，以获取微博访问权限，后面会讲解如何获取cookie。如需免cookie版，大家可以访问https://github.com/dataabc/weibo-crawler，二者功能类似，免cookie版因为不需要cooki
转载
2024-03-13 15:17:59
69阅读
python爬虫，微博爬虫，需要知晓微博用户id号，能够通过抓取微博用户主页内容来获取用户发表的内容，时间，点赞数，转发数等数据，当然以上都是本渣渣结合网上代码抄抄改改获取的！要抓取的微...
原创
2021-05-13 14:23:42
546阅读
## Python爬虫微博用户IP地址字段详解
### 引言
随着互联网的快速发展，社交媒体平台成为人们获取信息、分享生活和交流思想的重要途径。微博作为中国最大的社交媒体平台之一，拥有庞大的用户群体和海量的内容。对于分析微博用户行为和用户画像等研究，获取用户的IP地址信息显得尤为重要。本篇文章将介绍如何使用Python爬虫获取微博用户的IP地址字段，并给出相关代码示例。
### 什么是IP地址
原创
2023-08-24 19:55:58
626阅读
一、新浪微博全栈爬虫先不扯皮，直接上获取数据效果图爬虫策略：递归获取每个用户的粉丝用户id，想要获取多少用户id，则可以获取多少；利用获取的用户id再获取每个用户的所有数据 例如爬黑猫警长GIAO的一条微博所有评论爬虫策略：进入手机端找到微博对应的微博id，进行爬虫，利用如下方式组合成url，进行爬虫url组合方式：'https://m.weibo.cn/comments/h
转载
2023-06-30 22:08:18
291阅读
在成功登陆之后，我们可以进行下一波操作了~接下来，我们的目的是通过输入关键字，找到相关用户，并收集用户的一些基本信息 环境tools1、chrome及其developer tools2、python3.63、pycharm Python3.6中使用的库 1 import urllib.error
2 import urllib.request
3 import urlli
# Python微博爬虫实现流程
## 1. 确定需求
首先，我们需要明确我们的目标和需求。在这个案例中，我们的目标是实现一个Python微博爬虫，即通过Python代码自动登录微博，并获取用户的微博内容。下面是整个实现流程的表格形式：
| 步骤 | 描述 |
| --- | --- |
| 1 | 导入必要的库和模块 |
| 2 | 登录微博 |
| 3 | 获取用户ID |
| 4 |
原创
2023-09-04 15:02:14
171阅读
文章目录好久没更新了，今天来更新一波。一、网页分析二、接口分析url分析返回数据分析三、编写代码获取数据保存数据完整代码 好久没更新了，今天来更新一波。今天继续使用新版微博一、网页分析依旧是女神迪丽热巴? 找到热巴的主页，依旧先打开开发者模式，然后刷新网页。 在这个请求中你可以得到：昵称、关注数、粉丝数、博文数、个人简介、性别、是否通过微博认证、认证信息、地区、微博等级、会员等级等等。 另外一个
转载
2023-09-12 16:48:00
425阅读
这里的微博爬虫，我主要实现的是输入你关心的某个大V的微博名称，以及某条微博的相关内容片段，即可自动爬取相关该大V一段时间内发布的微博信息和对应微博的评论信息。Cookie获取与上面的Boss直聘网站类似，爬取微博也需要获取响应的cookie。用浏览器打开微博页面，拷贝出对应的Cookie，保存到本地。微博搜索既然是某位大V，这里就肯定涉及到了搜索的事情，我们可以先来尝试下微博自带的搜索，地址如下：
转载
2019-10-09 15:27:30
1945阅读
不知在那个群里面看到的消息：请问如何抓取近几个月来大蒜的价格？ Oh！My！God！卖大蒜的农夫现在都需要用到数据抓取、数据分析来制定销售策略销售计划等等，IT行业的程序员们以及我们这种类似IT行业的GISer们对数据的需求自然不用说，同时，找工作、找学校、找房东，都可以用到数据抓取，数据抓取是一个很有意思的事情。 一直以来都希望学一学数据抓取，但一个重度拖延症患者的拖延水平简直是要上天了…2
