看到网上充斥着很多词云分析的资料，今天心血来潮，也尝试下词云分析。最近热火的《创造101》，杨超越小姐姐一直在风口浪尖，因此这里借用小姐姐的微博数据做分析。一、准备工具 作词云分析主要用到两个工具： jieba,俗称结巴，中文分词工具；wordcloud，词云生成工具。可以先用pip安装这两个
转载
2023-10-17 14:54:20
208阅读
# 微博大V数据分析与使用示例
在社交媒体的世界里，“大V”是一个特殊的称号，通常指在微博等平台上拥有大量粉丝和影响力的用户。对这些大V的分析可以为市场营销、舆情监测、品牌推广等带来重要的指导。本文将通过一些代码示例展示如何进行微博大V的数据分析，并提供相关的可视化工具。
## 数据获取
我们首先需要获取微博大V的相关数据。大V的关注者数、转发量、评论数等信息都是分析的重要指标。为了获取公共
本文最近开发的一个项目，记录下其过程以及效果亮点功能（1）情感分析之舆情管理：在爬取微博数据的同时，利用senta框架提供的预模型进行情感分析，统计情感分析结果来进行某个话题/文章的舆情监控。(sunburst图 + 表格等)（2）可视化分析功能： 对话题的观点、关键词、热度进行分析，利用多种图形来进行分析，结合的统计方法、tfidf、textrank等。视频演示
深度学习+微博大数据舆情监
转载
2023-11-17 19:20:42
104阅读
**1、组织数据 (需要处理每条数据开头和结尾的中括号)
（1）创建Hive表weibo_json(json string)，表只有一个字段，导入所有数据，并验证查询前5条数据 **create table weibo_json(json string);
load data local inpath '/root/weibo.txt' into table weibo_json;
转载
2023-07-18 08:50:37
257阅读
微博大数据分析系统是一个强大的平台，能够收集和处理大量的微博数据，通过数据分析发掘潜在的价值。这一系统的开发和部署涉及多个环节，包括环境的预检、系统的部署架构、安装过程的管理、依赖的处理、数据的迁移，以及最佳实践的总结。在接下来的部分，我们将详细探讨这些步骤，确保大家能够清晰地理解整个工作流以及如何顺利完成这一项目。
## 环境预检
在启动项目之前，进行详细的环境预检至关重要。我们需要确保所有
了解微信、微博、小视频每天产生的数据量与数据类型。微信每天可以产生超过10亿人的数据量，数据类型有String、Number、Object、Array、Bool、Date、Geo、Null等微博每天可以产生上亿条数据，数据类型有String、Number、Object、Array、Bool、Date、Geo、Null等小视频每天可以产生几亿人的流量，数据类型有String、Number、Objec
转载
2023-07-29 21:20:45
84阅读
大数据开发、只能硬件和图形图像需求增长最快，需求人员最多。对微博数据分析平台搭建，以及微博数据分析平台数据存储模块设计与实现。 最好有一定软件开发方面的知识功底，比如了解网站开发、OA开发、Linux操作系统引言、云端实验室环境基于开源的ambari大数据平台，部署了7个节点： 一、 项目背景企业可能对用户在微博上的评价内容有监测需求，如活动效果、用户对产品的评价，用户关注于产品的价格还
转载
2023-12-28 06:32:47
63阅读
1. 了解微信、微博、小视频每天产生的数据量与数据类型。微信：数据量：月活量高达10亿，日活量有3千万之多，十分的稳定，是我国国民级别的app,可以说是现在社会已经离不开它们了。数据类型：主要是聊天记录。 微博：数据量： 月活量也在3亿左右。日活量有1千万之多，在有骇人听闻，或者振奋人心的新闻出现时就在短短几个小时内超过微信的数
转载
2023-12-04 20:00:46
279阅读
接下来首先用一个图梳理下我们用到的方法和技术，然后再逐一介绍。 基础及关联算法 这一层算法的主要作用是为微博推荐挖掘必要的基础资源、解决推荐时的通用技术问题、完成必要的数据分析为推荐业务提供指导。 这一部分中常用的算法和技术如下： 分词技术与核心词提取 是微博内容推荐的基础，用于将微博内容转化为结构化向量，包括词语切分、词语信息标注、内容核心词/实体词提取、语义依存分析等。分类与
转载
2024-01-14 14:27:11
83阅读
# 新浪微博大数据分析项目实战
## 简介
随着社交网络的快速发展，微博已成为人们获取信息、表达观点和建立网络社交关系的重要平台。在这个背景下，对微博数据的分析变得越来越重要。本文将介绍一个基于新浪微博大数据分析项目的实战案例，并提供相应的代码示例。
## 数据收集
在进行微博数据分析之前，我们首先需要收集大量的微博数据。新浪微博提供了开放平台API，可以通过API获取公开的微博数据。我们
原创
2023-07-29 10:50:30
307阅读
点赞
原标题：使用python抓取新浪微博数据 大数据分析师证书点击进入数据分析学习官网通过数据分析辨别可疑和虚假流量的方法我们在之前的文章中曾经介绍过。本篇文章我们对这个方法进行自动化，介绍如何通过随机森林分类预测模型对流量进行分类，从中发现可疑流量的影子。需要特殊说明的是本篇文章中的数据并非真实数据，我们只使用三个简单用户行为特征指标对方法和过程进行说明。真实世界中情况会更加复杂。随机森林是一个包含
转载
2023-12-04 20:27:18
93阅读
[实验数据] 本实验所用数据为新浪微博数据，包含了从2013年1日到14日期间的12,102,744条微博。数据集已经存放在HDFS上，路径为“/data/13/3/post/post.csv”，各字段以制表符分隔。数据集还存放在了Hive上，表名为“bigdata_cases.post”。各字段的定义为：字段 定义
PostId 微博标识符
UserId 用户标识符
UtcTime 微博发布
转载
2024-01-20 02:52:35
95阅读
作者：周萝卜今天再分享一份超级棒的数据，就是2020年全年的微博热点数据，说实话，这里面如果认真分析的话，还是可以找到很多有意思，有价值的信息的。但是由于我已经写过一篇2019年微博热点数据分析的文章了，这里就不再重复了，有兴趣的同学可以点击这里查看2019微博热点分析这里分享数据出来，希望更多的朋友可以从数据当中挖掘出更多的有价值的信息，大家一起学习进步！下面是一些简单的数据汇总，欢迎大家一起讨
转载
2023-08-14 15:21:17
196阅读
Python实战案例：旅游方面博文的数据分析一、旅游方面博文数据展示数据分析的出现便利了每个人，企业，竞争者。在以前的时候，如果想要了解市场的动向，就设计了调查问卷或者现场采访的方式，以至于被很多人误以为不法之举。而如今如果在想了解市场，我们只需要简单的设计和建立一个数据库，以此来监测人们的行为和动向，一段时间之后，数据结果自然会告知你一切。在很多的时候，爬虫工程师爬取数据之后，都需要进行后续的数
转载
2023-12-15 05:22:17
86阅读
数据分析需要从来源、行为、流失等方面进行分析。微信数据分析要根据微信传播的特性而定，微信传播是基于好友分享内容而产生的，这里不考虑单纯的复制粘贴，那样的传播指向性不明确，这里我们只讨论指向性明确的分享链接和内容。微信数据分析需要从用户入手，新增、活跃、留存代表着数据分析的三个方面，进行开源节流。数据分析的作用，能够帮助我们回顾过去，评估现在，计划明天，预测未来，从而能够展望未来。数据分析还能够帮助
转载
2023-10-12 10:59:57
121阅读
一、web工具篇让我们先来看一下市面上比较成熟的产品。 1、微博风云榜
[caption id="attachment_1916" align="alignleft" width="364"] 微博风云榜[/caption]
[caption id="attachment_1917" align="alignleft" width="119"] 微博风云榜菜单[/caption]从菜单栏可以看到
# 微博大V的点赞优化方案
## 背景
随着社交网络的快速发展，微博用户的点赞功能相较于以往变得愈发重要。为了增强用户体验，微博希望对大V的点赞功能进行优化，提升点赞的响应速度和系统的可扩展性。在此背景下，我们决定采用Redis作为缓存优化方案，提高系统的效率。
## 需求分析
1. **实时性**：用户在点赞之后，系统需要实时更新其他用户看到的点赞数。
2. **高并发处理**：在热门大
原创
2024-08-11 03:37:42
84阅读
汇集国内知名数据分析与数据挖掘相关的网站门户、交流论坛，推荐给数据分析爱好者们，给您数据分析之旅“添油加醋”！1、人大经济论坛网址：http://bbs.pinggu.org简介：人大经济论坛依托中国人民大学，成立于2003 年，内容涵盖经济、管理、金融和统计，目前已经发展成为国内最活跃和最具影响力的在线交流平台。2、中国统计网网址：http://www.itongji.cn简介：中国统计网,数据
转载
2023-08-09 16:46:11
128阅读
目录原始数据数据仓库构建统计需求1.微博总量和独立用户数2.用户所有微博被转发的总数，输出前3个用户3.被转发次数最多的前3条微博，输出用户id4.每个用户发布的微博总数，存储到临时表5.统计带图片的微博数6.统计使用iphone发微博的独立用户数7.微博中评论次数小于1000的用户id和数据来源，放入视图8.统计上条视图中数据来源“ipad客户端”的用户数目特殊需求1.Hive的UDF应用一2
转载
2024-01-14 20:00:43
143阅读
# 微店数据分析的实现指南
作为一名刚入行的小白，学习如何实现“微店数据分析”可能显得有些复杂。但别担心，本指南将一步步引导你了解整个流程，并提供必要的代码示例，以及数据分析过程中需要使用的工具和技巧。
## 流程概览
以下是微店数据分析的一般流程：
| 步骤 | 描述 |
| -------- | ----------
