本文最近开发的一个项目，记录下其过程以及效果亮点功能（1）情感分析之舆情管理：在爬取微博数据的同时，利用senta框架提供的预模型进行情感分析，统计情感分析结果来进行某个话题/文章的舆情监控。(sunburst图 + 表格等)（2）可视化分析功能： 对话题的观点、关键词、热度进行分析，利用多种图形来进行分析，结合的统计方法、tfidf、textrank等。视频演示
深度学习+微博大数据舆情监
看到网上充斥着很多词云分析的资料，今天心血来潮，也尝试下词云分析。最近热火的《创造101》，杨超越小姐姐一直在风口浪尖，因此这里借用小姐姐的微博数据做分析。一、准备工具 作词云分析主要用到两个工具： jieba,俗称结巴，中文分词工具；wordcloud，词云生成工具。可以先用pip安装这两个
转载
2023-10-17 14:54:20
152阅读
**1、组织数据 (需要处理每条数据开头和结尾的中括号)
（1）创建Hive表weibo_json(json string)，表只有一个字段，导入所有数据，并验证查询前5条数据 **create table weibo_json(json string);
load data local inpath '/root/weibo.txt' into table weibo_json;
转载
2023-07-18 08:50:37
229阅读
接下来首先用一个图梳理下我们用到的方法和技术，然后再逐一介绍。 基础及关联算法 这一层算法的主要作用是为微博推荐挖掘必要的基础资源、解决推荐时的通用技术问题、完成必要的数据分析为推荐业务提供指导。 这一部分中常用的算法和技术如下： 分词技术与核心词提取 是微博内容推荐的基础，用于将微博内容转化为结构化向量，包括词语切分、词语信息标注、内容核心词/实体词提取、语义依存分析等。分类与
大数据开发、只能硬件和图形图像需求增长最快，需求人员最多。对微博数据分析平台搭建，以及微博数据分析平台数据存储模块设计与实现。 最好有一定软件开发方面的知识功底，比如了解网站开发、OA开发、Linux操作系统引言、云端实验室环境基于开源的ambari大数据平台，部署了7个节点： 一、 项目背景企业可能对用户在微博上的评价内容有监测需求，如活动效果、用户对产品的评价，用户关注于产品的价格还
1. 了解微信、微博、小视频每天产生的数据量与数据类型。微信：数据量：月活量高达10亿，日活量有3千万之多，十分的稳定，是我国国民级别的app,可以说是现在社会已经离不开它们了。数据类型：主要是聊天记录。 微博：数据量： 月活量也在3亿左右。日活量有1千万之多，在有骇人听闻，或者振奋人心的新闻出现时就在短短几个小时内超过微信的数
了解微信、微博、小视频每天产生的数据量与数据类型。微信每天可以产生超过10亿人的数据量，数据类型有String、Number、Object、Array、Bool、Date、Geo、Null等微博每天可以产生上亿条数据，数据类型有String、Number、Object、Array、Bool、Date、Geo、Null等小视频每天可以产生几亿人的流量，数据类型有String、Number、Objec
转载
2023-07-29 21:20:45
80阅读
# 新浪微博大数据分析项目实战
## 简介
随着社交网络的快速发展，微博已成为人们获取信息、表达观点和建立网络社交关系的重要平台。在这个背景下，对微博数据的分析变得越来越重要。本文将介绍一个基于新浪微博大数据分析项目的实战案例，并提供相应的代码示例。
## 数据收集
在进行微博数据分析之前，我们首先需要收集大量的微博数据。新浪微博提供了开放平台API，可以通过API获取公开的微博数据。我们
原创
2023-07-29 10:50:30
235阅读
点赞
原标题：使用python抓取新浪微博数据 大数据分析师证书点击进入数据分析学习官网通过数据分析辨别可疑和虚假流量的方法我们在之前的文章中曾经介绍过。本篇文章我们对这个方法进行自动化，介绍如何通过随机森林分类预测模型对流量进行分类，从中发现可疑流量的影子。需要特殊说明的是本篇文章中的数据并非真实数据，我们只使用三个简单用户行为特征指标对方法和过程进行说明。真实世界中情况会更加复杂。随机森林是一个包含
[实验数据] 本实验所用数据为新浪微博数据，包含了从2013年1日到14日期间的12,102,744条微博。数据集已经存放在HDFS上，路径为“/data/13/3/post/post.csv”，各字段以制表符分隔。数据集还存放在了Hive上，表名为“bigdata_cases.post”。各字段的定义为：字段 定义
PostId 微博标识符
UserId 用户标识符
UtcTime 微博发布
最近做OLAP工作时一直在和kylin打交道，因为kylin相关知识比较多，所以为了加深对kylin的整体理解以及把自己的经验分享给大家，便准备周末写了该文章，正文如下1、kylin概述在讲解kylin之前，先大致说下OLAP和OLTP。OLTP也称联机事务处理，一般指面向传统关系型数据库，实时性要求比较高的事务操作。OLAP也称联机分析处理，一般指面向大数据场景的分析操作。因为二者所应对的数据体
转载
2023-08-21 11:42:58
227阅读
大数据分析是什么？大数据分析软件有哪些？这是现在这个信息时代每一个企业管理者、经营参与者都需要了解的。今天，小编就来针对性地总结一下，什么是大数据分析，以及2019年主流的商业大数据分析软件。一、大数据分析是什么大数据分析的特点有以下几点：第一，数据体量巨大。从TB级别，跃升到PB级别。第二，数据类型繁多，包括网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程
转载
2023-09-18 16:10:59
100阅读
商业智能的应用在国外已广为普及，并且开始不断应用大数据和云技术。而国内，商业智能BI工具在这几年才开始慢慢被接受，企业开始有意识地建立一体化数据分析平台，为经营决策提供分析。近几年，商业智能的几大趋势：对于大数据更好的支持，对海量数据块的快速响应，各大商业智能软件基本都支持了hadoop 作为数据库；可视化分析的重要性，也日益明显，比如国内的亿信华辰跟国外的Tableau，QLK， PowerBI
转载
2023-08-27 18:23:50
298阅读
1. 项目简介 大数据技术在体育产业方面也具有重要作用。篮球是众多体育项目中受关注度最高的一项体育运动，NBA更是人们最喜爱的体育联盟之一。对NBA来说，对每位球员的精细分析和数据可视化不仅能帮助球队科学高效地分析球员优劣，为球队排兵布阵提供依据，还能让伟大的运动传奇更具商业价值。
转载
2023-10-13 11:12:29
352阅读
作者：东哥起飞首发于公众号：Python数据科学对于Pandas运行速度的提升方法，之前已经介绍过很多回了，里面经常提及Dask，很多朋友没接触过可能不太了解，今天就推荐一下这个神器。1、什么是Dask？Pandas和Numpy大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合RAM，这时候Dask来了。Dask是开源免费的。它是与其
转载
2023-08-31 21:28:47
93阅读
Python是数据处理常用工具，可以处理数量级从几K至几T不等的数据，具有较高的开发效率和可维护性，还具有较强的通用性和跨平台性。Python可用于数据分析，但其单纯依赖Python本身自带的库进行数据分析还是具有一定的局限性的，需要安装第三方扩展库来增强分析和挖掘能力。Python数据分析需要安装的第三方扩展库有：Numpy、Pandas、SciPy、Matplotlib、Scikit-Lear
转载
2023-07-29 23:39:21
125阅读
数据分析需要从来源、行为、流失等方面进行分析。微信数据分析要根据微信传播的特性而定，微信传播是基于好友分享内容而产生的，这里不考虑单纯的复制粘贴，那样的传播指向性不明确，这里我们只讨论指向性明确的分享链接和内容。微信数据分析需要从用户入手，新增、活跃、留存代表着数据分析的三个方面，进行开源节流。数据分析的作用，能够帮助我们回顾过去，评估现在，计划明天，预测未来，从而能够展望未来。数据分析还能够帮助
转载
2023-10-12 10:59:57
104阅读
# 微信大数据分析实现流程
## 1. 确定需求
在开始实现微信大数据分析之前，首先要明确具体的需求和目标，例如要分析微信用户的使用行为、群发消息的效果等。
## 2. 收集数据
收集微信相关的数据，可以包括用户的基本信息、好友关系、群组关系、聊天记录等。可以通过微信开放平台提供的API来获取数据。
## 3. 数据清洗和预处理
对收集到的数据进行清洗和预处理，包括去除重复数据、处理缺失值、
在当下这个快速发展的信息化时代，对于企业经营来讲，掌握一些大数据分析软件工具来支持经营决策也是至关重要的。2019年商业数据分析软件有哪些呢？本文列出了市面上最主要的几款数据分析软件。1.FineBI目前国内数据分析的佼佼者。FineBI是新一代自助式BI工具,企业客户多、服务范围广, 多维OLAP分析是BI工具分析功能的集中体现，凭借FineBI简单流畅的操作、强劲的大数据性能和自助式的分析体验
业务人员对Excel进行数据收集时，原始数据量动辄几十万上百万条；因数据量大，导致excel打开慢，编辑卡顿，在多指标分析时，需拆分多个excel进行分析，领导查看分析结果时，连带要查看多个报表，体验不好。更棘手的是，excel分析具有时效性，当数据更新后，要重新导数做报表，分析效率低。想要处理超大的数据量，Smartbi一站式数据分析平台来帮你。针对数据量大的问题，小编将以Smartbi为例，为
