1 import requests 2 from urllib.parse import urlencode 3 from pyquery import PyQuery as pq 4 from pymongo import MongoClient 5 6 base_url = 'https://m.weibo.cn/api/container/getIndex?' 7 header
转载 2023-05-23 21:51:52
184阅读
背景:实验室大数据分析需要得到社交网站的数据,首选当然是新浪。数据包括指定关键词、话题、位置的的内容。字段包括:图片、时间、用户、位置信息。思路分析:要爬新浪的数据主要有2种方法:    1.开发者平台提供的API,资源包括内容、评论、用户、关系、话题等信息。同时,你也可以申请高级接口、商业接口获得更多权限,你要去注册申请成为开发者获得OAuth2授权以及这个使
新浪APIjava版)============================修改事项:1、接口返回结果采用json对象方式封装2、修改WeiboResponse中空字符串("")调用判断的bug3、修改了JSONObject中返回空对象的问题4、增加了直接文件上传接口直接常用接口实例:(使用前先修改 Weibo.java 中 public static final String CONSUMER_KEY = "";public static final String CONSUMER_SECRET = "";填写成实际申请的
转载 2010-12-02 13:02:00
165阅读
2评论
<br /><br />新浪APIjava版)<br />==============
原创 2022-11-28 17:36:18
104阅读
修改事项: 1、接口返回结果采用json对象方式封装 2、修改WeiboResponse中空字符串("")调用判断的bug 3、修改了JSONObject中返回空对象的问题 4、增加了直接文件上传接口直接 常用接口实例: (使用前先修改 Weibo.java 中   public static final String CONSUMER_KEY = ""; public static fina..
原创 2023-03-28 06:49:06
127阅读
应用未通过审核时,只能加15个测试用户。private void jButton2ActionPerformed(java.awt.event.ActionEvent evt) throws WeiboException, IOException, JSONException  {// TODO add your handling code here:String code = jTex
原创 2013-06-03 15:14:47
599阅读
一、起因最近几天陈情令大火,而#肖战#王一等人也成为众人所熟知的对象,所以我想用Scrapy爬取演员的信息来分析下演员信息二、 目标本次爬取的的公开基本信息,如用户昵称、头像、用户的关注、粉丝列表以及发布的等,这些信息抓取之后保存至Mysql,并绘制出图表三、准备工作请确保代理池、Cookies池已经实现并可以正常运行,安装Scrapy、PyMysql库。这里我新注册了四个
最近简单地研究了下新浪Android SDK的使用方法,接下来会简单说说实现的方法。 主要实现的功能: 1 软件首次使用,用户授权,将用户信息保存到数据库,同个用户第二次登陆就不用授权了。授权完后,用户就可以发,查看最新公共信息,查看自己最新发布的,等等.......其实就是对API接口的调用。 2 当数据库中存在用户信息后,在登陆界面会弹出对话框,让用户选择账号 3 如果
原创 2012-10-11 02:37:39
1158阅读
首先,需要下载新浪SDK,这里附上地址:http://code.google.com/p/weibo4j/downloads/detail?name=we
原创 2023-03-28 06:42:52
245阅读
很多Android应用会加入分享到或人人的功能,今天我们就来看一下用新浪提供的Android SDK写一个发的Demo程序。首先不得不说说关于OAuth授权认证的事情,因为现在的开放平台API新浪、腾讯、人人SDK都必须在这个基础上才能调用:OAuth是一种国际通用的授权方式,它的特点是不需要用户在第三方应用输入用户名及密码。OAuth的技术说明可参看官方网站http://oauth.n
上一节中已经安装了Python SDK,可以在程序中引入weibo模块编写程序了。下面的程序的功能就是利用该模块发一条新,先开具体的代码:#! /usr/bin/python"""引入Python SDK的包"""import weibo"""授权需要的三个信息,APP_KEY、APP_SECRET为创建应用时分配的,CALL_BACK在应用的设置网页中设置的。【注意】这里授权时使用的CALL_BACK地址与应用中设置的CALL_BACK必须一致,否则会出现redirect_uri_mismatc
转载 2013-06-15 15:44:00
219阅读
2评论
必知首先我们需要切记的是我们需要爬取的地址为:https://m.weibo.cn。不是https://weibo.com/。因为前者的数据时通过AJAX加载的,有利于我们的抓取,后者难度大,本人找了半天也找不到接口。 本次我们爬取演员张一山的。操作打开开发者工具,刷新爬取页面,由于数据是通过AJAX请求获取的,所以选择XHR 只查看AJAX请求。 依次点击AJAX请求查找获取数据的接
新浪开放平台网址 http://open.weibo.com/ 怎么建立自己的应用我就不说了。 1 下载Android SDK 下载地址:https://github.com/mobileresearch/weibo_android_sdk/downloads 下载解压后有两个文件夹com_weibo_android和com_weibo_android_example 将com_w
原创 2012-10-15 01:03:32
2040阅读
这几天 新浪账号被盗,导致多出了700个关注,手动删除是在蛋疼,决定写个程序 批量删除。首先申请开发者,这些不再赘述,总之最都得到
转载 2023-03-28 06:46:44
68阅读
       前段时候抓取的数据,想着自己使用htmlunit来模拟登陆新浪来抓取数据,这两天看了新浪的官方API,发现通过新浪的官方API 来获取新浪信息,更全面,更简单。下面就从注册新浪,到在新浪开放平台上面完善开发者信息,然后创建应用,从而获取Access Token,最后开发自己的应用程序。 1注册126邮箱&n
转载 2023-05-22 17:48:13
83阅读
1、申请应用,申请应用成功后有下面两个App Key:App Secret:2、获取code,参数:client_id=App Keyredirect_uri=站内地址r
原创 2023-07-11 00:09:52
82阅读
)client.get.s...
转载 2015-10-30 23:39:00
255阅读
2评论
{ "info": { "_postman_id": "76e666b8-44fb-4235-9092-d52ea10a4fc1", "name": "weibo", "schema":
原创 2021-07-15 14:51:55
428阅读
{ "info": { "_postman_id": "76e666b8-44fb-4235-9092-d52ea10a4fc1", "name": "weibo", "schema": "https://schema.getpostman.com/json/collection/v2.1.0/collection.json" }, "item": [ { "name"...
原创 2022-04-15 15:58:24
278阅读
在成功获取用户的列表之后,我们可以对每个用户的主页内容进行爬取了 环境tools1、chrome及其developer tools2、python3.63、pycharm Python3.6中使用的库1 import urllib.error 2 import urllib.request 3 import urllib.parse 4 import urllib
  • 1
  • 2
  • 3
  • 4
  • 5