新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！我们使用到的是第三方作者开发的爬虫库weiboSpider（有工具当然要用工具啦）。这里默认大家已经装好了Python，如果没有的话可以看我们之前的文章：Python详细安装指南。1. 下载项
基本思路：在登录状态下，打开首页，利用高级搜索框输入需要查询的条件，点击搜索链接进行搜索。如果数据有多页，每页数据是20条件，读取页数 然后循环页数，对每页数据进行抓取数据。 在实践过程中发现一个问题，利用IE驱动，在利用高级搜索后，抓取数据时，抓取不到，只能抓取第一条数据，其它的数据是空的，很奇怪，不知道什么原因，后来用phantomjs就可以抓取到，但是用phantomjs又出现一个问题
转载
2023-07-05 21:03:39
139阅读
在成功获取微博用户的列表之后，我们可以对每个用户的主页内容进行爬取了 环境tools1、chrome及其developer tools2、python3.63、pycharm Python3.6中使用的库1 import urllib.error
2 import urllib.request
3 import urllib.parse
4 import urllib
实现在新浪微博搜索中自动抓取配置的关键字的搜索结果。在此分享一下。
推荐
原创
2012-11-02 09:37:52
10000+阅读
点赞
40评论
cookie用浏览器的开发者工具登陆微博后得到 只写了抓取下载页面部分 抽取内容可用jsoup完成 注意这是模拟浏览器登录的操作 你在浏览器上完成不了的 代码也不能完成(比如访问不是粉丝的人的第11页好友列表(新浪规定只能访问前10页非自己粉丝的微博用户))这个代码依赖JSOUP package jsoupTest;import java.io.IOException...
原创
2023-03-28 06:41:21
167阅读
Python，网络爬虫selenium与pyautogui抓取新浪微博用户数据不需要登陆新浪微博账户，直接运行就可以通过python爬虫爬取新浪微博用户数据。本例selenium与pyautogui结合，爬取十大城市的地铁（轨道交通）官方微博的粉丝数量。最终把数据存入excel和csv文件。python代码：import re
import time
import pandas as pd
fro
转载
2023-05-31 10:39:58
242阅读
<?php set_time_limit(0); $url="hoborder=1&isWeibo=1&isFans=1&uid=1724077823&veri
转载
2023-05-09 16:39:24
82阅读
1，实现效果
2，数据库
3。主要步骤
1，输入账号password，模拟新浪微博登陆
2，抓取评论页的内容
3。用正則表達式过滤出username，评论时间和评论内容
4，将得到的内容存入数据库
5，用SQL语句实现其它功能：比如统计评论次数等
4，具体步骤
# -*- coding: utf-8 -*-
import requests
import base64
import
转载
2017-06-21 18:46:00
273阅读
2评论
我们要做一个高性能的系统，要具备一个低延迟、高实时性，微博要做到高实时性这是核心的价值，实时性的核心就是让数据离CPU最近，避免磁盘的 IO。我们看淘宝核心系统专家余锋说过的一句话“CPU访问L1就像从书桌拿一本书，L2是从书架拿一本书，L3是从客厅桌子上拿一本书，访问主存就像骑车去社区图书馆拿一书”。我们微博如果要做到非常实时的话，我们就需要把数据尽量离CPU节点最近。所以我们看一下cache设
相信大家都有微博了，作为一个技术人员，往往关注的不是明星，而是技术。微博现在很火，底层技术是如何实现的呢，最近 在网上看到一篇文章，是关于微博底层技术的架构，和大家分享一下。 很多技术人员对微博的构架非常感兴趣，就是一个明星他有300万粉丝，这个技术怎么来实现？今天在这里跟大家分享一下微博的底层机构，让大家对微博的底层技术有更
转载
2023-07-14 19:27:16
108阅读
1 package com.shiyimm.crawler.weibo; 2 3 import java.io.FileNotFoundException; 4 import java.io.FileReader; 5 import java.io.IOException; 6 import java.io.UnsupportedEncodingException; 7 import java.net.URLDecoder; 8 import java.net.URLEncoder; 9 import java.util.ArrayList; 10 import java...
转载
2014-03-04 23:11:00
79阅读
2评论
本文主要记录分析新浪微博登陆以及发送文字和图片微博的详细过程
原文链接（本人）：说明本文主要记录分析新浪微博登陆以及发送文字和图片微博的详细过程分析登陆入口选择的是新浪通行证登陆入口
https://login.sina.com.cn/signup/signin.php
抓包找到登陆请求
https://login.sina.com.cn/sso/log
转载
2023-08-18 15:50:30
236阅读
# Java 抓取微博教程
## 介绍
在本教程中，我将向你详细介绍如何使用Java来抓取微博。抓取微博的过程可以分为几个步骤，包括获取微博登录凭证、模拟登录、抓取微博数据等。
## 流程图
下面是整个抓取微博的流程图：
```mermaid
erDiagram
抓取微博 -> 获取登录凭证 : 请求登录页面
获取登录凭证 -> 模拟登录 : 提交登录表单
模拟登录
原创
2023-09-15 15:49:12
77阅读
新浪微博头条文章在去年12月底正式上线，使用头条文章可以让长文在信息流中以更醒目的方式呈现，编辑效果和打开速度也将提升，从而优化用户的阅读体验。 新浪微博头条文章发布方法： 1、登录新浪微博，打开首页； 2、点击【头条文章】； 3、打开每天有不计其数的博主会在微博上发表头条文章，那么微博网页版怎么发布头条文章？今天的视频就来为大家解答一下，一起来看看吧。1、新浪微博头条文章发布后需要通过新浪收藏进
转载
2023-06-27 23:25:27
170阅读
http://book.51cto.com/art/201310/412836.htm短短几年时间新浪微博的用户数就从零增长到数亿，明星用户的粉丝数达数千万，围绕着新浪微博正在发展一个集社交、媒体、游戏、电商等多位一体的生态系统。同大多数网站一样，新浪微博也是从一个小网站发展起来的。简单的LAMP（Linux+Apache+MySQL+PHP）架构，支撑起最初的新浪微博，应用程序用PHP开发，所有
新浪微博事业部总结了三种微博格式，一个是阿迪达斯的蒲公英式，适合于拥有多个子品牌的集团；另一个是放射式，由一个核心账号统领各分属账号，分属账号之间是平等的关系，信息由核心账号放射向分属账号，分属账号之间信息并不进行交互，这种适合地方分公司比较多并且为当地服务的业务模式。第三个是双子星模式，老板一个账号很有影响力，公司官方一个账号也有影响力，形成互动。这些都是比较初级的模式，企业真正要建立的体系，除
转载
2023-08-21 19:39:44
737阅读
实现一个内容系统的问答排名，了解一下几个经典的算法hacker news的排名算法hacker news上面的热度排名多年以来能够很好的反映绝大多数用户的喜好，热度比较高的的文章也不会一直出现在前列，从而导致没有新的内容被关注，他们会按照文章的票数多少和发布时间对文章进行一些逻辑处理得到对应的热度排序。Score=(P−1)(T+2)G
S
1 import requests
2 from urllib.parse import urlencode
3 from pyquery import PyQuery as pq
4 from pymongo import MongoClient
5
6 base_url = 'https://m.weibo.cn/api/container/getIndex?'
7 header
转载
2023-05-23 21:51:52
184阅读
此类RESTful接口的开放平台，一般而言都采用OAuth认证方式针对新浪微博新版接口举例如下：1、获取codehttps://api.weibo.com/oauth2/authorize?client_id=YOUR_CLIENT_ID&response_type=code&redirect_uri=YOUR_REGISTERED_REDIRECT_URI在创建应用时需要填写YO
转载
2023-07-09 14:32:36
87阅读
爬取新浪微博信息，并写入csv/txt文件，文件名为目标用户id加".csv"和".txt"的形式，同时还会下载该微博原始图片(可选)。运行环境开发语言：python2/python3系统： Windows/Linux/macOS以爬取迪丽热巴的微博为例，她的微博昵称为"Dear-迪丽热巴"，id为1669879400(后面会讲如何获取用户id)。我们选择爬取她的原创微博。程序会自动生成一个wei
转载
2023-09-14 16:51:18
189阅读
