Python,网络爬虫selenium与pyautogui抓取新浪微博用户数据不需要登陆新浪微博账户,直接运行就可以通过python爬虫爬取新浪微博用户数据。本例selenium与pyautogui结合,爬取十大城市的地铁(轨道交通)官方微博的粉丝数量。最终把数据存入excel和csv文件。python代码:import re
import time
import pandas as pd
fro
转载
2023-05-31 10:39:58
269阅读
首先说一下我这个的实现思路,登录支持多个账号,也就是说可以保存多个微博账号登录的时候选择其中一个登录。多个账号信息保存在sqlite的数据库中,每一个账号信息就是一条记录, 当用户启动微博客户端的时候去取保存在sqlite数据库中的账号记录信息,然后把这些在界面中以列表的形式展示出来,用户可以点击其中的一个账号进入微博,如果如果启动微博客户端的时候检查到s
转载
2023-10-31 07:05:09
59阅读
# 利用 Python 实现新浪微博登录
在当今社交网络发展的时代,微博作为中国的一大社交平台,连接了无数用户。在进行微博相关的开发项目时,登录功能是基础而又关键的一部分。本文将介绍如何使用 Python 实现新浪微博登录,并配以相应的代码示例。
## 一、理解 新浪微博 API
在访问新浪微博的功能之前,首先需要了解微博提供的 API。新浪微博开放平台提供了丰富的 API 接口,使得开发者
故障分析:1、用户遇到网页版新浪微博打不开的时候,先要开一下其他网页,看看其他网页是否能够打开,如果其他网页也打不开的话,那么用户需要从网络故障入手,逐一检测排查。2、如果仅是网页版新浪微博打不开的话,有可能是电脑设置静态IP时,首选和备用DNS服务器设置错误。在DNS服务器IP地址完全正确的前提下,网页版新浪微博打不开,那么最有可能的是路由器里设置了新浪域名的过滤。解决方法:一、用户先打开其他网
本文主要记录分析新浪微博登陆以及发送文字和图片微博的详细过程
原文链接(本人):说明本文主要记录分析新浪微博登陆以及发送文字和图片微博的详细过程分析登陆入口选择的是新浪通行证登陆入口
https://login.sina.com.cn/signup/signin.php
抓包找到登陆请求
https://login.sina.com.cn/sso/log
转载
2023-08-18 15:50:30
467阅读
本文转自:http://www.jb51.net/article/44779.htm1、主函数(WeiboLogin.py)import urllib2
import cookielib
import WeiboEncode
import WeiboSearch
if __name__ == '__main__':
 
转载
精选
2014-09-06 22:15:29
3195阅读
点赞
2评论
基本思路:在登录状态下,打开首页,利用高级搜索框输入需要查询的条件,点击搜索链接进行搜索。如果数据有多页,每页数据是20条件,读取页数 然后循环页数,对每页数据进行抓取数据。 在实践过程中发现一个问题,利用IE驱动,在利用高级搜索后,抓取数据时,抓取不到,只能抓取第一条数据,其它的数据是空的,很奇怪,不知道什么原因,后来用phantomjs就可以抓取到,但是用phantomjs又出现一个问题
转载
2023-07-05 21:03:39
164阅读
早上刷空间发现最近好多人过生日诶~仔细想想,好像4月份的时候也是特别多人过生日【比如我那么每个人生日的月份有什么分布规律呢。。。突然想写个小程序统计一下 最简单易得的生日数据库大概就是新浪微博了: 但是电脑版的新浪微博显然是动态网页。。。如果想爬这个应该要解析JS脚本【就像上次爬网易云音乐。。然而并不会解其实有更高效的方法:爬移动版移动版因为手机浏览器的限制大多都做了简化,更有
转载
2023-05-31 10:16:02
299阅读
# Java实现新浪微博登录
## 概述
新浪微博是中国最大的社交媒体平台之一,拥有数亿用户。要在Java中实现新浪微博登录,我们需要使用新浪微博提供的开放平台API,通过OAuth2.0协议进行身份验证和授权。
## OAuth2.0协议
OAuth2.0是一种用于身份验证和授权的开放标准协议,用于授权第三方应用访问用户在某个服务提供商上存储的受保护资源。在新浪微博登录中,我们需要以用户的身
原创
2023-08-08 22:30:09
149阅读
python 爬虫 爬微博分析 数据最近刚看完爱情公寓5,里面的大力也太好看了吧。。。打开成果的微博,小作文一样的微博看着也太爽了吧。。。@犬来八荒 来 用python分析分析 狗哥这几年微博的干了些啥。需要的工具有: scrapy + pyecharts + pymysql这些库的使用我就不说自己百度学吧。第一步:当然是进入狗哥的微博分析了这里我推选 微博 手机版的网站,因为手机版的网站比较简单
转载
2023-05-31 10:40:47
136阅读
注册新浪微博应用将会获得该应用的App Key和Secret Key,您可以通过这两个Key您可以在灯鹭控制台完成与新浪微博的对接。App Key是应用的唯一标识,开放平台通过App Key来鉴别应用的身份。 AppSecret是给应用分配的密钥,您需要妥善保存这个密钥,这个密钥用来保证应用来源的的可靠性,防止被伪造。下面我们通过截图的方式详细说明申请新浪微博应用的步骤。一、首先进入新浪微博开放平
转载
2023-10-31 22:24:51
42阅读
一、起因最近几天陈情令大火,而#肖战#王一博等人也成为众人所熟知的对象,所以我想用Scrapy爬取演员的微博信息来分析下演员信息二、 目标本次爬取的的公开基本信息,如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等,这些信息抓取之后保存至Mysql,并绘制出图表三、准备工作请确保代理池、Cookies池已经实现并可以正常运行,安装Scrapy、PyMysql库。这里我新注册了四个微博
转载
2023-09-10 22:22:06
37阅读
非常久之前就了解过模拟登录的过程。近期对python用的比較多,想来练练手,就想实现一下新浪微博登录,首先随便一搜,网上有大量的前辈们都做过了,我也细致看了一下。并且參考之后发现无法登录。并且还有非常多细节没有说得太清楚。同一时候网上最新的也是非常久之前的。对于最新的版本号也有一些修改,因此将我接近
转载
2018-02-21 13:00:00
1039阅读
2评论
# 如何实现新浪微博的HTML5登录
随着互联网的发展,许多网站和应用程序都在使用第三方登录功能,以帮助用户更快速地注册和登录其中的服务。新浪微博作为一个广受欢迎的社交媒体平台,提供了便捷的登录方式,尤其是HTML5的支持,使得这一过程更加简单高效。本文将指导你如何在你的应用中集成新浪微博的HTML5登录功能,详细说明实现的每个步骤,并提供必要的代码示例。
## 流程概述
我们首先需要了解实
本文记录了用新浪微博官方Python SDK调用API进行开发的流程。准备工作申请成为开发者并创建一个应用:首先要有一个新浪微博的账号,然后去新浪微博开放平台(P.S.,应用需要设置一个回调地址(CALL_BACK),可以设定为默认的回调网址:这一步完成后,将得到三个有用的信息:APP_KEY,APP_SECRET和CALL_BACK,这三个信息在后面编写程序时将用到。OAuth2.0授权微博开放
转载
2024-02-02 10:27:19
62阅读
在iOS9中,xcode访问微博等应用会出现 SDKSample[669:19724] NSURLSession/NSURLConnection HTTP load failed (kCFStreamErrorDomainSSL, -9802) 的错误提示。原因是IOS9 中将 http 请求改成了 HTTPS(加密) 的方式 临时解决方案  
转载
2023-07-30 14:27:33
51阅读
我们要做一个高性能的系统,要具备一个低延迟、高实时性,微博要做到高实时性这是核心的价值,实时性的核心就是让数据离CPU最近,避免磁盘的 IO。我们看淘宝核心系统专家余锋说过的一句话“CPU访问L1就像从书桌拿一本书,L2是从书架拿一本书,L3是从客厅桌子上拿一本书,访问主存就像骑车去社区图书馆拿一书”。我们微博如果要做到非常实时的话,我们就需要把数据尽量离CPU节点最近。所以我们看一下cache设
转载
2023-09-30 21:52:36
147阅读
1.首先在浏览器中进入WAP版微博的网址,因为手机版微博的内容较为简洁,方便后续使用正则表达式或者beautifulSoup等工具对所需要内容进行过滤 2.人工输入账号、密码、验证字符,最后最重要的是勾选(记住登录状态) 3.使用Wireshark工具或者火狐的HttpFox插件对GET请求进行分析
转载
2017-01-13 14:38:00
402阅读
2评论
转载:http://www.liyongyue.com/?p=103前段时间朋友需要实现新浪微博爬虫,我也顺便研究了一下新浪微博的模拟登录过程。下面就简单的描述一下吧。其实开始朋友说起让我一块看看这个模拟登录时我是拒绝的,因为你不能说让我做,我马上就去做,第一我要看一下,因为我不愿意看完之后加一些特技上去,程序“咣”一下,很快、很流畅,这样观众出来一定会骂我,因为没有这么简单的程序,就证明上面的效
转载
精选
2015-05-20 11:54:29
5693阅读
相信大家都有微博了,作为一个技术人员,往往关注的不是明星,而是技术。微博现在很火,底层技术是如何实现的呢,最近 在网上看到一篇文章,是关于微博底层技术的架构,和大家分享一下。 很多技术人员对微博的构架非常感兴趣,就是一个明星他有300万粉丝,这个技术怎么来实现?今天在这里跟大家分享一下微博的底层机构,让大家对微博的底层技术有更
转载
2023-07-14 19:27:16
128阅读