毕设题目要使用到新浪数据,所以要爬取新浪的数据。一般而言,新浪的爬虫有两种模式:新浪官方API和模拟登录新浪。两种方法的异同点和适用情况就无须赘述了。前辈的文章已经非常多了。写这篇文章主要记录自己的探究过程。背景知识:Http协议,HttpClient开源包。1,登陆流程使用Firefox下的HttpFox或者Chrome下的[工具]->[开发者工具](F12快捷键启动)
# 使用Java绑定API的简单指南 随着社交媒体的迅猛发展,作为中国最大的社交网络平台之一,其API(应用程序编程接口)为开发者提供了各种数据交互的可能性。本文将介绍如何使用Java绑定API,并提供一些代码示例。 ## 1. 环境准备 在开始之前,你需要确保以下几个方面的准备: - 申请开发者账号,并在开发者平台上创建应用,获取`App Key`和`App Secr
原创 8月前
34阅读
好长时间都没有玩了,闲来没事去逛逛,发现绑定的手机号是以前的(以前手机号已注销),就想着换绑成现在的手机号。问题来了,修改绑定手机号,需要原手机号的验证码,吐血三升。上网查了很多种方法,大多被新浪气的不轻,无比愤怒的弃号,还有些比较执着的联系着很难联系到的客服,然后填写各种详细的资料,包括手持身份证照片等,对于那种还要输入历史密码的又只有一个密码的人来说就更坑爹了。待填入信息哈哈哈,有人吐
前言:开放平台提供了数据的api接口,不仅可以直接通过api调用服务发布查询,更重要的是,可以在自己的网站上获得新浪api的授权,调用的某些内容,就好像我们再网站中看到好文章要分享到或者其他社交网站中一样,非常方便。下面就来探秘一番。1.注册开发者并获取app key 和 app secret  百度很容易找到开放平台的入口,登录自己的账号,点击账
转载 2023-07-20 20:38:01
744阅读
1评论
新浪接口使用步骤1) 创建应用        2) 下载SDK    http://open.weibo.com/wiki/SDK    3) 下载SDK并导入Demo    https://github.com/sinaweibosdk/wei
原创 2015-07-03 00:29:38
1575阅读
先上图演示下:    看完图就直接上代码吧,其中有几处写死的地方,我有提示,你们自己改下就是了。//@显示用户列表 (function($) {//判断是否为子元素   function isParent(obj,pobj){     while (obj != undefined && obj != null && obj
转载 2023-12-03 09:21:42
22阅读
我的个人早前有大量跟好友的页面聊天数据,随着时间增多,发的近乎上万条,可是本身没有提供数据备份功能,查看了一下API文档,从官方提供的接口取得的数据也只是有限条,无法满足需要,因此萌发了写个爬虫用模拟登录的方式将所有发过的抓取下来。一 、先分析一下网页版的结构和流程:首先是登录,需要用户名、密码、验证码,登录成功后进入个人主页,在主页右边有一个年份侧边栏,从这里可以按时间查
使用提供的API接口发送创建应用应用开放API接口,不对个人账号开放,我们要先注册一个应用,将自己电脑作为应用服务器。如果用户想通过API接口发,那么用户要先向应用授权,应再帮这个用户发。一个应用可以提供给很多用户使用。获取用户授权的过程这个过程需要三方共同参与:用户,服务器,应用服务器。创建应用后,我们会拿到一对 App Key 和 App
新浪时间的返回格式 Thu Aug 13 18:03:49 +0800 2015,Thu和+0800我也不晓得是什么,就没管这两个。我将的发表时间先统一格式化为20150813180349的格式,然后获取系统时间也格式化为这个形式,得到两个时间的毫秒差值,根据差值来确定时间的显示格式。虽然下面的代码是针对新浪的进行编写的,不过我觉得以后可能还会在其他地方用得着,索性就记录下来
  我刚申请不就这个账号,绑定我的新浪时提示,我的新浪账号已经被绑定了,求大神帮助我该咋弄,才能绑定我的新浪账号。
原创 2012-11-06 16:24:47
301阅读
在正题之前,先了解一下java下抓取网页上特定内容的方法,也就是所谓的网络爬虫,在本文中只会涉及简单的文字信息与链接爬取。java中访问http的方式不外乎两种,一种是使用原生态的httpconnection,还有一种是使用封装好的插件或框架,如httpclient,okHttp等。在测试爬取网页信息的过程中,本人是使用的jsoup工具,因为该工具不仅仅封装了http访问,还有强大的html解析功
java模拟登录新浪(通过cookie)这几天一直在研究新浪的爬虫,发现爬取的数据首先要登录。本来打算是通过账号和密码模拟浏览器登录。但是现在的登录机制比较复杂。通过账号密码还没有登录成功QAQ。所以就先记录下,通过cookie直接访问自己的主页。登录的认证过程登录的细节在其他的博客里已经有了详细的介绍。大概就是用户输入账号和密码后与服务器产生几次会话。若认证成功后,
上次也写了一个登陆页面,不过功能还不够完善。今天重新完善了一些功能,分享出来给大家。基本功能如下:(1)具有类似新浪的用户注册图形界面.(2)使用用户名或手机号注册,注册时需要提供新密码和确认密码。(3)注册时,用户名重复和手机号重复时能提供提示。(4)注册时,手机号明显错误时能提供提示,手机号长位,并且以(5)程序以应用程序形式实现,不用(6)用户数据存储以1 package com.b
转载 2023-06-06 21:39:38
159阅读
前言前几天刚刚接触了Java这边的关于HTTP的一个工具包—HttpClient , 那么就想借此机会练练手, 用这个工具进行对的模拟登录, 简单的获取一下的数据 , 但是大家可以不必执着于这个框架的学习 , 还可以选择其他的 , 就在写博客的时候发现了更多的网络框架 , 比如okHttp , Retrofit , OpenFeign , WebMagic , 可以着重考虑使用上面的框架来
转载 2023-08-11 14:30:24
222阅读
背景最近用实现了一个简单的发的功能。新浪的SDK已经经历了多次更新,而网上的资料、教程大多还是基于旧版本的,很多细节上有了一些变化。本文将基于最新的新浪SDK介绍发的过程。简介首先,需要在新浪开放平台创建自己的应用,获取App Key与App Secret两个字符串。然后,下载新浪SDK。在配置文件中填入上一步获得点的AppKey与App Secret,以及回调地址。运行例
### Java调用API发送 #### 引言 随着社交媒体的普及,已经成为了人们分享生活、表达观点的重要平台之一。提供了一套开放的API,使得开发者可以通过编程的方式来与进行交互。本文将介绍如何使用Java语言调用API来发送。 #### 运行环境配置 在开始编写代码之前,我们需要做一些运行环境的配置。 1. 首先,我们需要创建一个新的Java项目。可以使用
原创 2024-01-13 06:17:47
383阅读
在成功登陆之后,我们可以进行下一波操作了~接下来,我们的目的是通过输入关键字,找到相关用户,并收集用户的一些基本信息 环境tools1、chrome及其developer tools2、python3.63、pycharm Python3.6中使用的库1 import urllib.error 2 import urllib.request 3 import urllib.
转载 2024-01-01 20:29:17
28阅读
作者 |  李水青智东西1月22日报道,大年三十,2023年央视春晚照例引起了全民热议,其中的“元宇宙”元素也亮了。在一开场的《花开种花家》开场歌舞中,科技萌兔吉祥物“兔圆圆”登场,为本届春晚的三维“元宇宙“风格定调。往年大发红包的科技公司,如今风头被白酒品牌等春晚互动伙伴抢走,但晚会制作的科技味儿似乎并没有淡。比如,视觉画师通过VR(虚拟现实)三维绘制的过程被搬上晚
转载 2023-09-06 09:36:19
59阅读
环境: ubuntu 18.10 python 3.6 pip install sinaweibopy3说下:m.weibo.cnweibo.cnweibo.com我们只使用第一个,用来获取代码中需要的idopen.weibo.com自己完成认证以后, 打开自己新建的应用找到下面两个东西: App Key:502108417 App Secret:794019e15ae228d4295f2509b
转载 2023-06-12 14:43:09
171阅读
前言:本文主要内容是介绍如何用最简单的办法去采集新浪的数据,主要是采集指定用户发布的以及收到的回复等内容,可以通过配置项来调整爬取的用户列表以及其他属性。既然说是最简单的办法,那么我们就得先分析爬虫可能选择的几个目标网址,首先肯定是最常见的web网站了还有就是m站,也就是移动端网页以及一个无法旧版本的访问入口了,首先可以排除web站了,这个是最麻烦的,它的请求是被js加密过
转载 3月前
386阅读
  • 1
  • 2
  • 3
  • 4
  • 5