爬取新浪微博信息，并写入csv/txt文件，文件名为目标用户id加".csv"和".txt"的形式，同时还会下载该微博原始图片(可选)。运行环境开发语言：python2/python3系统： Windows/Linux/macOS以爬取迪丽热巴的微博为例，她的微博昵称为"Dear-迪丽热巴"，id为1669879400(后面会讲如何获取用户id)。我们选择爬取她的原创微博。程序会自动生成一个wei
转载
2023-09-14 16:51:18
189阅读
本文通过一种简单的方式来抓取华为终端官方微博的内容信息。首先抓取登录微博的cookie，然后使用cookie来登录微博。 具体的代码如下所示：# -*- coding: utf-8 -*-
"""
Created on Sun Apr 16 14:16:32 2017
@author: zch
"""
import requests
from bs4 import BeautifulSoup
转载
2023-06-21 09:46:55
145阅读
新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*****。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！我们使用到的是第三方作者开发的爬虫库weiboSpider(有工具当然要用工具啦)。这里默认大家已经装好了Python，如果没有的话可以看我们之前的文章：Python详细安装指南。1.
基本思路：在登录状态下，打开首页，利用高级搜索框输入需要查询的条件，点击搜索链接进行搜索。如果数据有多页，每页数据是20条件，读取页数 然后循环页数，对每页数据进行抓取数据。 在实践过程中发现一个问题，利用IE驱动，在利用高级搜索后，抓取数据时，抓取不到，只能抓取第一条数据，其它的数据是空的，很奇怪，不知道什么原因，后来用phantomjs就可以抓取到，但是用phantomjs又出现一个问题
转载
2023-07-05 21:03:39
139阅读
使用python爬取微博数据，使用的代理是蜻蜓代理的隧道代理，包天17元。使用的是request库。有些网页因为网络等原因打不开，总共获取到了76000+数据，没有爬取评论。评论部分的代码调试没有问题，在实际爬取的时候总是报错，可以确定的是代码没问题，可能是网页的问题，可以加一个异常处理，不想写了，评论爬下来也没有很大价值。 这次爬取给我最大的感受就是不可能爬到所有信息，之前没加异常处理总是爬到一
转载
2023-08-11 19:23:03
91阅读
目的爬取微博移动端的评论数据(如下图)，然后将数据保存到.txt文件和.xlsl文件中。
实现过程实现的方法很简单，就是模拟浏览器发送ajax请求，然后获取后端传过来的json数据。一、找到获取评论数据的ajax请求按下F12，打开控制台，找到以下请求
以 https://m.weibo.cn/detail/4467454577673256 为例，得到的ajax请求是这样的：htt
爬取新浪微博数据爬虫流程1. 模拟登陆新浪微博2.爬取指定微博评论内容2.1分析网页2.2获取数据2.2.1 方法一：抓包2.2.2 方法二： selenium库3、微博首页具体动态链接获取3.1、寻找Ajax加载的数据3.2、解析提取json数据3.3、提取所有页面链接代码4、selenium爬取评论 爬虫流程1. 模拟登陆新浪微博上一个博客有详细说明 link.2.爬取指定微博评论内容我选
转载
2023-07-27 13:40:44
399阅读
@数据化管理：其实和日期有关的函数都应该是HR必备的，比如：date、year、month、day、day360......这些函数组合可以自动提醒续约日、生日提醒等。 // @环球人力资源智库：【HR必会EXCEL技巧】对于HR新人，尤其是做薪酬、绩效及档案管理工作的HR，有两个基础的EXCEL技巧你是一定要学会的，会大大提高你工作效率。第一个就是数据透视表（教程见http://t.cn/zOL
原创
2022-08-20 00:59:24
171阅读
# Java 抓取微博教程
## 介绍
在本教程中，我将向你详细介绍如何使用Java来抓取微博。抓取微博的过程可以分为几个步骤，包括获取微博登录凭证、模拟登录、抓取微博数据等。
## 流程图
下面是整个抓取微博的流程图：
```mermaid
erDiagram
抓取微博 -> 获取登录凭证 : 请求登录页面
获取登录凭证 -> 模拟登录 : 提交登录表单
模拟登录
原创
2023-09-15 15:49:12
77阅读
# Python抓取微博文代码
## 介绍
随着社交媒体的普及，微博已经成为了人们获取最新资讯和交流的重要平台之一。而对于一些研究者和分析师来说，获取大量的微博文本数据并进行分析是必不可少的。本文将介绍如何使用Python来抓取微博文，并给出相应的代码示例。
## 准备工作
在开始之前，我们需要安装以下两个库：`requests`和`beautifulsoup4`。
```python
Python抓取微博有两种方式，一是通过selenium自动登录后从页面直接爬取，二是通过api。 这里采用selenium的方式。程序：from selenium import webdriverimport timeimport re#全局变量driver = webdriver.Chrome("C:\Program Files (x86)\Google\Chrome...
原创
2022-08-04 17:28:45
507阅读
Python，网络爬虫selenium与pyautogui抓取新浪微博用户数据不需要登陆新浪微博账户，直接运行就可以通过python爬虫爬取新浪微博用户数据。本例selenium与pyautogui结合，爬取十大城市的地铁（轨道交通）官方微博的粉丝数量。最终把数据存入excel和csv文件。python代码：import re
import time
import pandas as pd
fro
转载
2023-05-31 10:39:58
242阅读
标签（空格分隔）： Python selenium前言近来都在与新浪这个大佬在pk。首先是网页爬取新浪微博，遇到的难题是cookie的存活期太慢，一般爬十分钟就over了一个；后来发明了手机版的模拟登录，顺风顺水了一段时间，结果新浪又来一个验证码，被气得半死。无奈手动输入验证码后，再模拟登录。然而不过两个月，新浪哥又开始抓严，搞得手机版的模拟登陆经常登陆不上去。最后实在无办法了，只好真的去“模拟”
转载
2023-08-16 13:59:34
84阅读
# 微博关键词抓取教程（使用Python）
抓取微博关键词是一个有趣且实用的项目，可以帮助开发者获取热门话题和讨论的实时动态。以下是一篇详细的文章，帮助您实现这一功能。
## 整体流程
在开始之前，我们需要了解整个操作的流程。以下是微博关键词抓取的基本步骤：
| 步骤编号 | 步骤名称 | 描述 |
|----------|
# Python微博登录后抓取文章
微博是一个非常热门的社交平台，每天都有大量的用户在上面分享自己的生活点滴。有时候我们可能需要抓取微博上的一些文章内容进行分析或者其他用途。本文将介绍如何使用Python登录微博并抓取文章内容。
## 1. 登录微博
要抓取微博文章，首先需要登录微博账号。我们可以使用`requests`库来发送登录请求，并使用`session`来保持登录状态。下面是示例代码
一、简单动态页面爬取 我们之前进行的页面爬取工作都是基于静态的页面。但是现在的很多页面都采用了动态页面，这些动态页面又有百分之七十是由javascript写的，因此我们了解如何从javascript页面爬取信息就显得非常的重要。 先认识具体情况之前，我们需要先了解什么是ajax，ajax它的英文全称是asynchronous javascript and xml，是一种异步JavaScript
新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！我们使用到的是第三方作者开发的爬虫库weiboSpider（有工具当然要用工具啦）。这里默认大家已经装好了Python，如果没有的话可以看我们之前的文章：Python详细安装指南。1. 下载项
项目背景： 主要爬取新浪微博用户的相册和视频，下载到本地。 第一步 获取微博用户uid 找到想要获取的用户获取链接里的uid 再检查网页,找到微博的api接口,接口里获取的数据包就有我们想要的内容 第二部 写代码 前期分析完后我们就可以来写代码了， 先引用需要的库 创建一个weibo类,并在构造方法
转载
2021-10-11 13:54:33
804阅读
项目概述：相信很多小伙伴都有用过新浪微博，因为这是当今很火的一款社交app。正因为这样，我们需要获取新浪微博中每一个用户的信息以及评论、发布时间等来满足公司的需求，获取每日热点、评论量、点赞量等相关信息。如今是一个大数据的时代，得数据者得天下，下面教大家如何抓取新浪微博的数据。首先需要安装python环境（python2.7以及scrapy+selenium+phantomjs+chrome）一、
转载
2023-07-03 20:13:00
325阅读
下面，我就介绍一下我的项目效果以及文件结构。目录一、目标二、效果展示三、文件结构一、目标利用 python 爬取微博热门消息榜以及榜单上的热门消息的内容（切记，这里爬取的是公开的微博数据！！！）并将其保存到本地。我将会在后面的几篇文章展示我的教程，感兴趣的小伙伴可以 关注 哦！！！二、效果展示以2021年1月11日17:46的热搜榜为例1、控制台输出我们爬取
