在成功获取用户的列表之后,我们可以对每个用户的主页内容进行爬取了 环境tools1、chrome及其developer tools2、python3.63、pycharm Python3.6中使用的库1 import urllib.error 2 import urllib.request 3 import urllib.parse 4 import urllib
1、申请应用,申请应用成功后有下面两个App Key:App Secret:2、获取code,参数:client_id=App Keyredirect_uri=站内地址r
原创 2023-07-11 00:09:52
82阅读
1 import requests 2 from urllib.parse import urlencode 3 from pyquery import PyQuery as pq 4 from pymongo import MongoClient 5 6 base_url = 'https://m.weibo.cn/api/container/getIndex?' 7 header
转载 2023-05-23 21:51:52
184阅读
新浪APIjava版)============================修改事项:1、接口返回结果采用json对象方式封装2、修改WeiboResponse中空字符串("")调用判断的bug3、修改了JSONObject中返回空对象的问题4、增加了直接文件上传接口直接常用接口实例:(使用前先修改 Weibo.java 中 public static final String CONSUMER_KEY = "";public static final String CONSUMER_SECRET = "";填写成实际申请的
转载 2010-12-02 13:02:00
165阅读
2评论
<br /><br />新浪APIjava版)<br />==============
原创 2022-11-28 17:36:18
104阅读
背景:实验室大数据分析需要得到社交网站的数据,首选当然是新浪数据包括指定关键词、话题、位置的的内容。字段包括:图片、时间、用户、位置信息。思路分析:要爬新浪数据主要有2种方法:    1.开发者平台提供的API,资源包括内容、评论、用户、关系、话题等信息。同时,你也可以申请高级接口、商业接口获得更多权限,你要去注册申请成为开发者获得OAuth2授权以及这个使
修改事项: 1、接口返回结果采用json对象方式封装 2、修改WeiboResponse中空字符串("")调用判断的bug 3、修改了JSONObject中返回空对象的问题 4、增加了直接文件上传接口直接 常用接口实例: (使用前先修改 Weibo.java 中   public static final String CONSUMER_KEY = ""; public static fina..
原创 2023-03-28 06:49:06
127阅读
应用未通过审核时,只能加15个测试用户。private void jButton2ActionPerformed(java.awt.event.ActionEvent evt) throws WeiboException, IOException, JSONException  {// TODO add your handling code here:String code = jTex
原创 2013-06-03 15:14:47
599阅读
一、起因最近几天陈情令大火,而#肖战#王一等人也成为众人所熟知的对象,所以我想用Scrapy爬取演员的信息来分析下演员信息二、 目标本次爬取的的公开基本信息,如用户昵称、头像、用户的关注、粉丝列表以及发布的等,这些信息抓取之后保存至Mysql,并绘制出图表三、准备工作请确保代理池、Cookies池已经实现并可以正常运行,安装Scrapy、PyMysql库。这里我新注册了四个
首先,需要下载新浪的SDK,这里附上地址:http://code.google.com/p/weibo4j/downloads/detail?name=we
原创 2023-03-28 06:42:52
245阅读
必知首先我们需要切记的是我们需要爬取的地址为:https://m.weibo.cn。不是https://weibo.com/。因为前者的数据时通过AJAX加载的,有利于我们的抓取,后者难度大,本人找了半天也找不到接口。 本次我们爬取演员张一山的。操作打开开发者工具,刷新爬取页面,由于数据是通过AJAX请求获取的,所以选择XHR 只查看AJAX请求。 依次点击AJAX请求查找获取数据的接
这几天 新浪账号被盗,导致多出了700个关注,手动删除是在蛋疼,决定写个程序 批量删除。首先申请开发者,这些不再赘述,总之最都得到
转载 2023-03-28 06:46:44
68阅读
<!-- JiaThis Button BEGIN --> <a class="jiathis_button_tsina">新浪</a> <script type="text/javascript" src="http://v2.jiathis.com/code/jia.js" charset="utf-8"></script> &l
转载 2023-07-27 16:38:38
99阅读
       前段时候抓取数据,想着自己使用htmlunit来模拟登陆新浪来抓取数据,这两天看了新浪的官方API,发现通过新浪的官方API获取新浪信息,更全面,更简单。下面就从注册新浪,到在新浪开放平台上面完善开发者信息,然后创建应用,从而获取Access Token,最后开发自己的应用程序。 1注册126邮箱&n
转载 2023-05-22 17:48:13
83阅读
在短地址(也称短链接、缩短地址等)方面,在twitter发展之后就接着发展了起来,而且很多互联网网站都使用了短地址,国内国外都很多,但稳定和可靠性,还是国内的比较靠谱些,不怕没墙,国外几家已经悲剧了,所以如果项目中用到短地址,个人还是建议使用新浪或者其他国内的短链接服务。新浪短链接API是开放的,而腾讯的短地址API没有开放,本想着通过不一样的路径获取腾讯API的,最后还是以失败收场
转载 精选 2014-12-12 19:56:17
4769阅读
)client.get.s...
转载 2015-10-30 23:39:00
255阅读
2评论
新浪数据可是非常有价值的,你可以拿来数据分析、拿来做网站、甚至是*。不过很多人由于技术限制,想要使用的时候只能使用复制粘贴这样的笨方法。没关系,现在就教大家如何批量爬取数据,大大加快数据迁移速度!我们使用到的是第三方作者开发的爬虫库weiboSpider(有工具当然要用工具啦)。这里默认大家已经装好了Python,如果没有的话可以看我们之前的文章:Python详细安装指南。1. 下载项
{ "info": { "_postman_id": "76e666b8-44fb-4235-9092-d52ea10a4fc1", "name": "weibo", "schema":
原创 2021-07-15 14:51:55
428阅读
{ "info": { "_postman_id": "76e666b8-44fb-4235-9092-d52ea10a4fc1", "name": "weibo", "schema": "https://schema.getpostman.com/json/collection/v2.1.0/collection.json" }, "item": [ { "name"...
原创 2022-04-15 15:58:24
278阅读
新浪数据是分三段显示的。代码中只请求http://weibo.com/leijun#!/leijun?page=2&pre_page=1&end_id=3547112191461289&end_msign=-1只能获取第一段前15条代码需要访问三次才能将数据全部获取第一次访问的url为  url = "http://weibo.com
转载 2023-04-28 09:30:06
110阅读
  • 1
  • 2
  • 3
  • 4
  • 5