前面讲解了Scrapy中各个模块基本使用方法以及代理池、Cookies池。接下来我们以一个反爬比较强的网站新浪微博为例，来实现一下Scrapy的大规模爬取。一、本节目标本次爬取的目标是新浪微博用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至MongoDB。二、准备工作请确保前文所讲的代理池、Cookies池已经实现并可以正常运行，安装Scrapy、
实现在新浪微博搜索中自动抓取配置的关键字的搜索结果。在此分享一下。
推荐
原创
2012-11-02 09:37:52
10000+阅读
点赞
40评论
不知在那个群里面看到的消息：请问如何抓取近几个月来大蒜的价格？ Oh！My！God！卖大蒜的农夫现在都需要用到数据抓取、数据分析来制定销售策略销售计划等等，IT行业的程序员们以及我们这种类似IT行业的GISer们对数据的需求自然不用说，同时，找工作、找学校、找房东，都可以用到数据抓取，数据抓取是一个很有意思的事情。 一直以来都希望学一学数据抓取，但一个重度拖延症患者的拖延水平简直是要上天了…2
一、起因最近几天陈情令大火,而#肖战#王一博等人也成为众人所熟知的对象,所以我想用Scrapy爬取演员的微博信息来分析下演员信息二、 目标本次爬取的的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至Mysql,并绘制出图表三、准备工作请确保代理池、Cookies池已经实现并可以正常运行，安装Scrapy、PyMysql库。这里我新注册了四个微博
转载
2023-09-10 22:22:06
37阅读
我们要做一个高性能的系统，要具备一个低延迟、高实时性，微博要做到高实时性这是核心的价值，实时性的核心就是让数据离CPU最近，避免磁盘的 IO。我们看淘宝核心系统专家余锋说过的一句话“CPU访问L1就像从书桌拿一本书，L2是从书架拿一本书，L3是从客厅桌子上拿一本书，访问主存就像骑车去社区图书馆拿一书”。我们微博如果要做到非常实时的话，我们就需要把数据尽量离CPU节点最近。所以我们看一下cache设
转载
2023-09-30 21:52:36
147阅读
这次的项目 和文件都放到了 github 上 https://github.com/poiu1235/weibo-catch：有兴趣的可以follow一下，或者点个赞咯我这里采用的深度挖掘的方式：没有设定爬取的边界（这个以后是要考虑的）大致的思路是，用自己的 账号登陆后，获取自己的微博列表和朋友列表。然后根据朋友列表然后在爬取对方的微博列表和朋友列表。这样不断的深度挖掘和遍历的过程过程中
转载
2023-09-14 09:46:21
105阅读
fiddler 之前了解了一些常见到的反爬措施，JS加密算是比较困难，而微博的登录中正是用JS加密来反爬，今天来了解一下。分析过程首先我们去抓包，从登录到微博首页加载出来的过程。我们重点关注一下登录操作，其次是首页的请求，登录一般是POST请求。我们搜索一下： 得知登录的url为https://login.sina.com.cn/sso/login.php?client=sso
转载
2023-12-28 23:39:42
174阅读
# 采集新浪微博的Python实践
## 引言
在当今社交媒体的时代，微博已经成为了人们获取信息和交流的重要平台之一。为了分析和了解用户行为、舆情等，我们需要采集微博上的数据。Python作为一种简单易用的编程语言，提供了很多强大的工具和库，可以帮助我们实现这样的数据采集任务。
本文将介绍如何使用Python采集新浪微博的内容，并通过代码示例来让读者理解和实践这一过程。
## 准备工作
原创
2023-10-15 07:17:30
92阅读
相信大家都有微博了，作为一个技术人员，往往关注的不是明星，而是技术。微博现在很火，底层技术是如何实现的呢，最近 在网上看到一篇文章，是关于微博底层技术的架构，和大家分享一下。 很多技术人员对微博的构架非常感兴趣，就是一个明星他有300万粉丝，这个技术怎么来实现？今天在这里跟大家分享一下微博的底层机构，让大家对微博的底层技术有更
转载
2023-07-14 19:27:16
128阅读
新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！我们使用到的是第三方作者开发的爬虫库weiboSpider（有工具当然要用工具啦）。这里默认大家已经装好了Python，如果没有的话可以看我们之前的文章：Python详细安装指南。1. 下载项
转载
2023-11-21 19:21:08
275阅读
编者按：由InfoQ主办的全球架构师峰会将于2012年8月10日-12日在深圳举行，为了更好地诠释架构的意义、方法和实践，InfoQ中文站近期会集中发布一批与架构相关的文章，本篇即为其中之一。InfoQ也欢迎读者亲身参与到本次全球架构师峰会中，与来自国内外的顶尖架构师进行面对面的交流。报名参会请点击这里。\ 张松国，现任腾讯微博事业部技术总监，负责腾讯微博技术工作。曾任腾讯系统架构部架构师和腾讯
转载
2023-09-19 06:25:34
90阅读
# 利用 Python 实现新浪微博登录
在当今社交网络发展的时代，微博作为中国的一大社交平台，连接了无数用户。在进行微博相关的开发项目时，登录功能是基础而又关键的一部分。本文将介绍如何使用 Python 实现新浪微博登录，并配以相应的代码示例。
## 一、理解 新浪微博 API
在访问新浪微博的功能之前，首先需要了解微博提供的 API。新浪微博开放平台提供了丰富的 API 接口，使得开发者
13.13 Scrapy 爬取新浪微博前面讲解了 Scrapy 中各个模块基本使用方法以及代理池、Cookies 池。接下来我们以一个反爬比较强的网站新浪微博为例，来实现一下 Scrapy 的大规模爬取。1. 本节目标本次爬取的目标是新浪微博用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至 MongoDB。2. 准备工作请确保前文所讲的代理池、Co
转载
2023-07-01 11:20:09
237阅读
首先说一下我这个的实现思路，登录支持多个账号，也就是说可以保存多个微博账号登录的时候选择其中一个登录。多个账号信息保存在sqlite的数据库中，每一个账号信息就是一条记录, 当用户启动微博客户端的时候去取保存在sqlite数据库中的账号记录信息，然后把这些在界面中以列表的形式展示出来，用户可以点击其中的一个账号进入微博，如果如果启动微博客户端的时候检查到s
转载
2023-10-31 07:05:09
59阅读
写在前面时光飞逝，距离微博爬虫这个项目及系列文章 微博超级爬虫 第一次发布已经过去将近两年了，最开始，我也没想到，会维护这个项目如此之久。项目更新过很多次，从代码到文章，熬过夜，也废过食，还好一直有读者反馈，也有不少点赞支持的粉丝，这些大概都是维护这个项目的动力来源。这一年，完成了从一名学生到大厂工程师的转变，自由支配的时间少了许多；有感于大家的热情咨询，这一两周抽空，完成了 2021 年最新版微
转载
2023-09-25 22:56:16
110阅读
http://book.51cto.com/art/201310/412836.htm短短几年时间新浪微博的用户数就从零增长到数亿，明星用户的粉丝数达数千万，围绕着新浪微博正在发展一个集社交、媒体、游戏、电商等多位一体的生态系统。同大多数网站一样，新浪微博也是从一个小网站发展起来的。简单的LAMP（Linux+Apache+MySQL+PHP）架构，支撑起最初的新浪微博，应用程序用PHP开发，所有
转载
2023-09-26 20:05:13
450阅读
新浪微博头条文章在去年12月底正式上线，使用头条文章可以让长文在信息流中以更醒目的方式呈现，编辑效果和打开速度也将提升，从而优化用户的阅读体验。 新浪微博头条文章发布方法： 1、登录新浪微博，打开首页； 2、点击【头条文章】； 3、打开每天有不计其数的博主会在微博上发表头条文章，那么微博网页版怎么发布头条文章？今天的视频就来为大家解答一下，一起来看看吧。1、新浪微博头条文章发布后需要通过新浪收藏进
转载
2023-06-27 23:25:27
250阅读
新浪微博事业部总结了三种微博格式，一个是阿迪达斯的蒲公英式，适合于拥有多个子品牌的集团；另一个是放射式，由一个核心账号统领各分属账号，分属账号之间是平等的关系，信息由核心账号放射向分属账号，分属账号之间信息并不进行交互，这种适合地方分公司比较多并且为当地服务的业务模式。第三个是双子星模式，老板一个账号很有影响力，公司官方一个账号也有影响力，形成互动。这些都是比较初级的模式，企业真正要建立的体系，除
转载
2023-08-21 19:39:44
1084阅读
微博搜索爬虫网页分析由于网页端反爬虫机制比较完善所以才去移动端进行爬虫。url地址：https://m.weibo.cn/搜索框，输入关键词进行搜索对网页进行抓包，找到相关数据查看数据是否与网页的内容相同分析多组数据的请求头 编写程序构造url地址通过网页分析构造url地址对，地址信息访问。import requests
#构造搜索内容
data = {
'containerid':
转载
2023-07-29 21:41:09
138阅读
基本思路：在登录状态下，打开首页，利用高级搜索框输入需要查询的条件，点击搜索链接进行搜索。如果数据有多页，每页数据是20条件，读取页数 然后循环页数，对每页数据进行抓取数据。 在实践过程中发现一个问题，利用IE驱动，在利用高级搜索后，抓取数据时，抓取不到，只能抓取第一条数据，其它的数据是空的，很奇怪，不知道什么原因，后来用phantomjs就可以抓取到，但是用phantomjs又出现一个问题
转载
2023-07-05 21:03:39
164阅读
