新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！我们使用到的是第三方作者开发的爬虫库weiboSpider（有工具当然要用工具啦）。这里默认大家已经装好了Python，如果没有的话可以看我们之前的文章：Python详细安装指南。1. 下载项
基本思路：在登录状态下，打开首页，利用高级搜索框输入需要查询的条件，点击搜索链接进行搜索。如果数据有多页，每页数据是20条件，读取页数 然后循环页数，对每页数据进行抓取数据。 在实践过程中发现一个问题，利用IE驱动，在利用高级搜索后，抓取数据时，抓取不到，只能抓取第一条数据，其它的数据是空的，很奇怪，不知道什么原因，后来用phantomjs就可以抓取到，但是用phantomjs又出现一个问题
转载
2023-07-05 21:03:39
139阅读
Python，网络爬虫selenium与pyautogui抓取新浪微博用户数据不需要登陆新浪微博账户，直接运行就可以通过python爬虫爬取新浪微博用户数据。本例selenium与pyautogui结合，爬取十大城市的地铁（轨道交通）官方微博的粉丝数量。最终把数据存入excel和csv文件。python代码：import re
import time
import pandas as pd
fro
转载
2023-05-31 10:39:58
242阅读
实现在新浪微博搜索中自动抓取配置的关键字的搜索结果。在此分享一下。
推荐
原创
2012-11-02 09:37:52
10000+阅读
点赞
40评论
在成功获取微博用户的列表之后，我们可以对每个用户的主页内容进行爬取了 环境tools1、chrome及其developer tools2、python3.63、pycharm Python3.6中使用的库1 import urllib.error
2 import urllib.request
3 import urllib.parse
4 import urllib
1，实现效果
2，数据库
3。主要步骤
1，输入账号password，模拟新浪微博登陆
2，抓取评论页的内容
3。用正則表達式过滤出username，评论时间和评论内容
4，将得到的内容存入数据库
5，用SQL语句实现其它功能：比如统计评论次数等
4，具体步骤
# -*- coding: utf-8 -*-
import requests
import base64
import
转载
2017-06-21 18:46:00
273阅读
2评论
测试开发Python培训：抓取新浪微博抓取数据-技术篇 poptest是国内唯一一家培养测试开发工程师的培训机构，以学员能胜任自动化测试，性能测试，测试工具开发等工作为目标。在poptest的selenium的课程中，我们在培训的课程里讲python的语言，也是通过项目实战的方式进行讲解，前期分享了个新浪微博的登陆功能，这次在通过抓取新浪微博数据进一步讲解脚本
转载
精选
2015-12-14 16:21:32
409阅读
新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*****。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！我们使用到的是第三方作者开发的爬虫库weiboSpider(有工具当然要用工具啦)。这里默认大家已经装好了Python，如果没有的话可以看我们之前的文章：Python详细安装指南。1.
爬取新浪微博信息，并写入csv/txt文件，文件名为目标用户id加".csv"和".txt"的形式，同时还会下载该微博原始图片(可选)。运行环境开发语言：python2/python3系统： Windows/Linux/macOS以爬取迪丽热巴的微博为例，她的微博昵称为"Dear-迪丽热巴"，id为1669879400(后面会讲如何获取用户id)。我们选择爬取她的原创微博。程序会自动生成一个wei
转载
2023-09-14 16:51:18
189阅读
利用新浪API实现数据的抓取1. 首先来看看最后我们得到的是什么结果，是不是你想要了解的东西，再决定是否往下读。 <br/>我主要抓取了大概4天的数据，图上可以看的出来大概有360万条数据，由于是在自己的电脑上爬取做数据的，有时候晚上断网了就间断了，所以大概一天可以爬取有1
原创
2018-01-14 12:32:40
10000+阅读
2评论
<?php set_time_limit(0); $url="hoborder=1&isWeibo=1&isFans=1&uid=1724077823&veri
转载
2023-05-09 16:39:24
82阅读
1 package com.shiyimm.crawler.weibo; 2 3 import java.io.FileNotFoundException; 4 import java.io.FileReader; 5 import java.io.IOException; 6 import java.io.UnsupportedEncodingException; 7 import java.net.URLDecoder; 8 import java.net.URLEncoder; 9 import java.util.ArrayList; 10 import java...
转载
2014-03-04 23:11:00
79阅读
2评论
一. 方案1直接存到数据库MySQL用户表如下： last_checkin_time 上次签到时间checkin_count 连续签到次数记录每个用户签到信息签到流程1.用户第一次签到 last_checkin_time 2.用户非第一次签到，且当天已签到什么也不做，返回已签到。3.用户非第一次签到，且当天还未签到a.昨天也有签到 last_checkin_time b.昨天没
需要工具： python3.6 pandas Flask china.json echarts.js element.js jQuery.js,map.js,vue.js 需要数据集： 新浪微博用户数据集.csv 数据集一览：用pandas读入数据集放在内存中，Flask接收到Ajax传入的请求，将数据整理分析打包
一、起因最近几天陈情令大火,而#肖战#王一博等人也成为众人所熟知的对象,所以我想用Scrapy爬取演员的微博信息来分析下演员信息二、 目标本次爬取的的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至Mysql,并绘制出图表三、准备工作请确保代理池、Cookies池已经实现并可以正常运行，安装Scrapy、PyMysql库。这里我新注册了四个微博
转载
2023-09-10 22:22:06
0阅读
我们要做一个高性能的系统，要具备一个低延迟、高实时性，微博要做到高实时性这是核心的价值，实时性的核心就是让数据离CPU最近，避免磁盘的 IO。我们看淘宝核心系统专家余锋说过的一句话“CPU访问L1就像从书桌拿一本书，L2是从书架拿一本书，L3是从客厅桌子上拿一本书，访问主存就像骑车去社区图书馆拿一书”。我们微博如果要做到非常实时的话，我们就需要把数据尽量离CPU节点最近。所以我们看一下cache设
目的爬取微博移动端的评论数据(如下图)，然后将数据保存到.txt文件和.xlsl文件中。
实现过程实现的方法很简单，就是模拟浏览器发送ajax请求，然后获取后端传过来的json数据。一、找到获取评论数据的ajax请求按下F12，打开控制台，找到以下请求
以 https://m.weibo.cn/detail/4467454577673256 为例，得到的ajax请求是这样的：htt
爬取新浪微博数据爬虫流程1. 模拟登陆新浪微博2.爬取指定微博评论内容2.1分析网页2.2获取数据2.2.1 方法一：抓包2.2.2 方法二： selenium库3、微博首页具体动态链接获取3.1、寻找Ajax加载的数据3.2、解析提取json数据3.3、提取所有页面链接代码4、selenium爬取评论 爬虫流程1. 模拟登陆新浪微博上一个博客有详细说明 link.2.爬取指定微博评论内容我选
转载
2023-07-27 13:40:44
399阅读
使用python爬取微博数据，使用的代理是蜻蜓代理的隧道代理，包天17元。使用的是request库。有些网页因为网络等原因打不开，总共获取到了76000+数据，没有爬取评论。评论部分的代码调试没有问题，在实际爬取的时候总是报错，可以确定的是代码没问题，可能是网页的问题，可以加一个异常处理，不想写了，评论爬下来也没有很大价值。 这次爬取给我最大的感受就是不可能爬到所有信息，之前没加异常处理总是爬到一
转载
2023-08-11 19:23:03
91阅读
cookie用浏览器的开发者工具登陆微博后得到 只写了抓取下载页面部分 抽取内容可用jsoup完成 注意这是模拟浏览器登录的操作 你在浏览器上完成不了的 代码也不能完成(比如访问不是粉丝的人的第11页好友列表(新浪规定只能访问前10页非自己粉丝的微博用户))这个代码依赖JSOUP package jsoupTest;import java.io.IOException...
原创
2023-03-28 06:41:21
167阅读
