8月19日，微博十年的内容开始在微信朋友圈集中式刷屏。从发布第一条微博到如今离不开微博，悄然间，微博已经陪伴大家十年。在互联网行业里，能坚持十年还存活的公司不多，能够在十年后稳定增长的公司更是屈指可数，微博恰恰就是这样一家幸运的公司。在微博十年信息刷频的当天，微博发布2019年Q2季度的财务报告。根据微博的财报数据显示，二季度微博营收为4.318亿美元，同比增长1%，超过市场预期4.301亿美元，
转载
2023-09-13 19:39:38
42阅读
主要代码如下图from selenium import webdriver
from pyecharts.charts import PictorialBar
from pyecharts.charts import Line
from opdata.opexcel import Operatingexcel
from bs4 import BeautifulSoup
import time
i
转载
2023-11-10 22:06:48
70阅读
基于Java爬取微博数据(三) 微博主页用户数据
原创
2024-08-25 14:18:21
124阅读
项目概述：相信很多小伙伴都有用过新浪微博，因为这是当今很火的一款社交app。正因为这样，我们需要获取新浪微博中每一个用户的信息以及评论、发布时间等来满足公司的需求，获取每日热点、评论量、点赞量等相关信息。如今是一个大数据的时代，得数据者得天下，下面教大家如何抓取新浪微博的数据。首先需要安装python环境（python2.7以及scrapy+selenium+phantomjs+chrome）一、
转载
2023-07-03 20:13:00
347阅读
背景：实验室大数据分析需要得到社交网站的数据，首选当然是新浪。数据包括指定关键词、话题、位置的微博的内容。字段包括：图片、时间、用户、位置信息。思路分析：要爬新浪的数据主要有2种方法： 1.微博开发者平台提供的微博API，资源包括微博内容、评论、用户、关系、话题等信息。同时，你也可以申请高级接口、商业接口获得更多权限，你要去注册申请成为开发者获得OAuth2授权以及这个使
转载
2023-07-06 11:26:20
160阅读
数据库隔离级别如果没有隔离级别会出现的问题脏读意思是读取到了事务正在修改的数据，如果事务回滚，那么拿到的数据就是错误的时间事务A事务B1开始事务2读取quantity为53修改quantity为44开始事务5读取到quantity为46发生错误，回滚，quantity为57提交事务在按照正常逻辑quantity应该为5不可重复读时间事务A事务B1开始事务2读取quantity为53开始事务4修改q
转载
2023-11-21 11:01:16
74阅读
作为爬虫小白，代码偏向简单，大佬勿喷~本次使用语言：Python 本次使用库：requests、wordcloud、jieba思路通过尝试，在网页版微博死活找不出文本url（可能是能力有限），在移动端微博找到了，所以推荐大家爬取移动端微博数据。移动端微博网址：https://m.weibo.cn/ 1.此次爬取的是“方方”的文本，进入开发者模式，找到名为"getIndex…“的接口。可以看到Pre
转载
2024-05-04 14:02:34
72阅读
# 教你使用 Python 爬取抖音用户数据
作为一名刚入行的小白，爬虫技术可能会让你感到无从下手。但是不要担心！本文将为你详细讲解如何使用 Python 爬取抖音用户数据的完整流程。
## 爬虫的基本流程
在开始之前，首先让我们来看一下整个爬虫的基本流程。以下是一个简单的步骤表格，展示了爬取抖音用户数据所需的步骤。
| 步骤 | 描述
写在前面时光飞逝，距离微博爬虫这个项目及系列文章 微博超级爬虫 第一次发布已经过去将近两年了，最开始，我也没想到，会维护这个项目如此之久。项目更新过很多次，从代码到文章，熬过夜，也废过食，还好一直有读者反馈，也有不少点赞支持的粉丝，这些大概都是维护这个项目的动力来源。这一年，完成了从一名学生到大厂工程师的转变，自由支配的时间少了许多；有感于大家的热情咨询，这一两周抽空，完成了 2021 年最新版微
转载
2023-09-25 22:56:16
110阅读
存储关系使用数据库最方便，也有利于后期的数据分析，我选择sqlite数据库，因为Python自带sqlite，sqlite在Python中使用起来也非常方便。 数据库中需要2个表，一个表存储用户的相互关注信息，另一个表存储用户的基本信息，在B站的用户体系中，一个用户的mid号是唯一的。 然后我还需要一个列表来存储所以已经爬取的用户，防止重复爬
功能输出实例运行环境使用说明下载脚本安装依赖程序设置设置数据库（可选）运行脚本按需求修改脚本（可选）如何
原创
2022-12-29 10:24:12
339阅读
课上老师留了作业做这个花了一小会时间做了一下，分享下过程。一.首先我们选择微博移动端去爬取即这个网址微博移动版 二.登陆后获取到我们的cookie和user-agent，存下来一会会用。 三.分析评论url，我们可以发现往下翻评论时每次可获得一个url，一个url中包含几十条评论，找到规律如下： 第一个为：https://m.weibo.cn/comments/hotflow?id=4629867
转载
2023-09-25 22:56:34
219阅读
必知首先我们需要切记的是我们需要爬取的微博地址为：https://m.weibo.cn。不是https://weibo.com/。因为前者的数据时通过AJAX加载的，有利于我们的抓取，后者难度大，本人找了半天也找不到接口。 本次我们爬取演员张一山的微博。操作打开开发者工具，刷新爬取页面，由于微博数据是通过AJAX请求获取的，所以选择XHR 只查看AJAX请求。 依次点击AJAX请求查找获取数据的接
转载
2024-01-08 16:39:23
513阅读
1 import requests
2 from urllib.parse import urlencode
3 from pyquery import PyQuery as pq
4 from pymongo import MongoClient
5
6 base_url = 'https://m.weibo.cn/api/container/getIndex?'
7 header
转载
2023-05-23 21:51:52
208阅读
这里的微博爬虫，我主要实现的是输入你关心的某个大 V 的微博名称，以及某条微博的相关内容片段，即可自动爬取相关该大 V 一段时间内发布的微博信息和对应微博的评论信息。Cookie 获取与上面的 Boss 直聘网站类似，爬取微博也需要获取响应的 cookie。 用浏览器打开微博页面，拷贝出对应的 Cookie，保存到本地。微博搜索既然是某位大 V，这里就肯定涉及到了搜索的事情，我们可以先来尝试下微博
转载
2023-06-14 15:19:59
157阅读
# Java 缓存用户数据实现指南
作为一名刚入行的开发者，你可能对如何在Java中实现缓存用户数据感到困惑。本文将为你提供一个简单的指南，帮助你理解整个过程，并提供必要的代码示例。
## 缓存数据的流程
首先，让我们通过一个表格来了解实现缓存用户数据的整个流程。
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 确定缓存需求 |
| 2 | 选择缓存技术 |
原创
2024-07-25 05:58:46
70阅读
# Java用户数据隔离实现指南
## 概述
本文旨在向刚入行的开发者介绍如何实现Java用户数据隔离。用户数据隔离是一种常见的需求，特别是在开发多租户应用程序时。本文将提供详细的步骤和代码示例，帮助开发者快速理解和实现用户数据隔离。
## 流程概览
下表显示了实现Java用户数据隔离的一般流程：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1：创建数据库表 | 创建用于
原创
2023-09-14 11:23:20
228阅读
早上刷空间发现最近好多人过生日诶~仔细想想，好像4月份的时候也是特别多人过生日【比如我那么每个人生日的月份有什么分布规律呢。。。突然想写个小程序统计一下 最简单易得的生日数据库大概就是新浪微博了： 但是电脑版的新浪微博显然是动态网页。。。如果想爬这个应该要解析JS脚本【就像上次爬网易云音乐。。然而并不会解其实有更高效的方法：爬移动版移动版因为手机浏览器的限制大多都做了简化，更有
转载
2023-05-31 10:16:02
299阅读
平台开发3年了，只能算初具雏形。市场坐不住了，这么大投资，需要见效，要着急宣传。我的意见，套用毛主席语录：“把自己的事情办好，就是对外宣传最好的方法”，当前任务还是做好当前几个项目，打磨底层。在做项目过程中，经常性推翻之前的设计，也就是底层还在不断调整过程中。另外还有很多没有想到的问题。 平台的基本理念是一个组织只有一套系统。业务数据库是分布的，不同的业务一
原创
2024-02-05 08:51:20
151阅读
爱尔兰都柏林圣三一大学（Trinity College Dublin）的计算机科学教授进行的一项研究发现，Android手机收集的用户数据是同类iPhone的20倍。据研究员兼学院计算机系统主席道格·莱思（Doug Leith）称，iOS和Android手机都在不断收集数据并将其分别发送回苹果和谷歌。信息手机行为从将SIM卡插入智能手机开始，包含硬件和应用程序的交互等。当用户未登录，在隐私设置中选
转载
2023-09-08 15:38:48
103阅读
