之前就看到了一篇文章，叫【大数据对于运维的意义】。该文章基本上是从三个层面阐述的：工程数据，譬如工单数量，SLA可用性，基础资源，故障率，报警统计；业务数据，譬如业务DashBoard,Trace调用链，业务拓扑切换，业务指标，业务基准数据，业务日志挖掘；数据可视化。当然，这篇文章谈的是运维都有哪些数据，哪些指标，以及数据呈现。并没有谈及如何和大数据相关的架构做整合，从而能让这些数据真的变得活起来
转载
2024-04-26 16:25:24
26阅读
在数字经济时代，数字化转型正在重新定义并支撑企业管理的进化。对传统企业而言，数字化转型涉及从根本上对战略、运营和技术进行彻底改造。企业数字化转型的关键在于组织变革与管控模式转型、制造模式与业务模式创新，以及基于大数据的智能分析、智能决策，最终实现颠覆式创新、全渠道多接触点的客户体验和运营数字化、智能化的目标。 工欲善其事，必先利其器在这里相信有许多想要学习大数据的同学，大家可以+下大数据
转载
2024-10-16 21:38:52
25阅读
用户和综合分析系统项目背景近年来，伴随着互联网金融的风生水起；国家出台相关文件，要求加大互联网交易风险防控力度；鼓励通过大数据分析、用户行为建模等手段建立和完善交易风险检测模型。但是目前大数据风控还存在时效性差，准确性不高等问题。综合用户分析平台包含 综合数据分析|登陆风险|注册风险|交易风险|活动风险分析等模块。以下是个各个子系统之间的关系。业务系统：通常指的是APP+后台或Web端（服务目标用
转载
2024-03-04 04:52:02
109阅读
大数据实战之ETL&ELT一、前言二、规规矩矩数仓人二、明明白白数仓魂总结 最近突然听到了一个ELT的名词，众所周知，ETL: Extract（抽取）、Transform（转换）、Load（加载） ;那ELT难道是Extract（抽取）、Load（加载）、Transform（转换），还有这种简写???相信这是大部分读者看到ELT的第一反应（这也是笔者听到这个名词时的第一反应，并且内心OS
转载
2024-04-26 11:31:14
89阅读
CDC CDC 是 Change Data Capture(变更数据获取)的简称。核心思想是，监
原创
2022-12-23 10:00:19
644阅读
一、电商项目的大致流程1.1 电商业务表结构本电商数仓系统涉及到的业务
原创
2021-12-04 16:35:42
888阅读
大数据系列技能树学习笔记，不足之处，望多多指正。引子数据分析师在为公司进行相关数据分析时，需要先很好的理解好公司业务，并能够将相关的业务变化解成指标才能很好的解决实际的业务问题。本文 ，笔者主要在数据分析工作中，比较常用的业务指标，不足之处往往多多指教。\从数据源开始常用的数据字段一般为：用户数据： 用户名（id）、性别、年龄（age）、职业;行为数据：用户的浏览历史、用户的页面停留时间、用户在的
转载
2023-09-05 10:19:07
110阅读
前言本文分三大方面详细的讲如何学大数据：大数据方向工作介绍大数据工程师的技能要求大数据学习路径一.大数据方向工作介绍大数据方向的工作目前分为三个主要方向:01.大数据工程师02.数据分析师03.大数据科学家04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）二.大数据工程师的技能要求附上二份比较权威的大数据工程师技能图 总结如下:必须技能10条:Java高级
转载
2023-08-15 23:43:05
38阅读
微软大中华区副总裁兼市场战略部总经理，微软大中华区首席云计算战略官谢恩伟表示：数据世界正在发生巨大的变化。今天，企业正想方设法从前所未有的数据量中获取业务洞察力，这些数据既来自于企业内部也来自外部资源，甚至是社交媒体网站。企业可以利用大数据解决方案从任何数据源中释放洞察力，并帮助业务获得受益。这些受益不仅限于收入增长，成本节约，也有全新的商业模式。在云端技术上，微软在4-5年前推出了Azure平
转载
2023-07-31 19:18:11
226阅读
日前，《2021中国大数据产业发展白皮书》正式发布，该报告立足“十三五”时期大数据发展成就，展望“十四五”时期大数据发展趋势，分析了中国大数据产业发展演进、政策体系、园区建设、人才培育等产业发展要素情况，研判了大数据在软硬件产品、基础设施和应用服务等领域热点布局。报告指出基础设施、数据服务、融合应用是大数据产业的三大组成部分，三者相互交融，形成完整的大数据产业生态。其中基础设施是大数据产业的基础和
转载
2024-01-29 12:17:13
57阅读
—背景— 当下各地和各行业都相继成立了数据管理部门（大数据局），旨在集中资源更大的发挥信息化、数据共享和大数据分析的赋能价值，但是 ...
转载
2021-10-07 15:48:00
571阅读
2评论
众所周知，伴随着大数据时代的到来，大数据分析也逐渐出现，扩展开来，大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。随着大数据的日常化，为了防止大数据泛滥，所以我们必须要及时采取数据分析，提出
转载
2023-08-07 22:56:52
99阅读
信息技术的发展，如今数据存储能力上升到了 TB、PB 级别，企业和政府部门都以各种形式存储了大量的数据，如何快速有效地处理规模大、结构复杂的数据？本文主要介绍大数据的三类应用架构MapReduce、Hadoop、Spark，进行数据处理。一、MapReduceMapReduce是大规模数据集的并行运算，是实现关联规则的挖掘算法，MapReduce 设计上具有以下主要的技术特征。（1）MapRedu
转载
2024-02-28 14:39:34
35阅读
如今大数据技术大伙儿早已不生疏了，大数据在各个领域的运用早已拥有了挺大的成果。尤其是在企业品牌的活动营销上，也就是大数据营销。尽管大数据技术相对来说问世并没多久，可是大数据营销现在在每个企业眼中，是非常的受欢迎的，企业也善于运用大数据技术的特性来给自己盈利。那么，企业大数据营销必须具有什么构思呢？1 —— 企业大数据的系统化。 企业根据大数据技术进行精准营销时，主要的目的是根据大数据技术来为本身赢
转载
2024-06-25 13:35:06
24阅读
业务，大数据监控平台搭建一、总体架构二、搭建平台相关博文一、总体架构监控Mysql的博文已经通过相关教程 博文搭建成功，可在专栏中查看原文。二、搭建平台相关博文数据采集工具Telegraf：简介及安装时序数据库InfluxDB：简介及安装初试 Prometheus + Grafana 监控系统搭建并监控 Mysql可视化工具Grafana：简介及安装性能测试监控平台：Influx...
原创
2021-06-05 14:52:18
1249阅读
# 从 Java 到大数据的转变指南
在当今的数据驱动时代，大数据技术的崛起让许多开发者感到兴奋而又迷茫。对于一个刚入行的小白来说，如何将自己的 Java 技能转向大数据领域，可能会显得复杂而困惑。本文将提供一套清晰的转变流程和具体操作步骤，帮助你迅速掌握相关知识。
## 流程概览
以下是一张关于从 Java 到大数据的转变流程表：
| 阶段 | 步骤
## Java转大数据的流程
在开始教导小白如何实现"Java转大数据"之前，我们先来了解一下整个流程。下面是整件事情的流程表格：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 从Java应用程序中获取数据 |
| 步骤2 | 数据传输到大数据平台 |
| 步骤3 | 大数据平台处理数据 |
| 步骤4 | 分析和可视化数据 |
接下来，我将逐步为你解释每个步骤需要做什
原创
2023-08-20 10:55:32
120阅读
对于目前的状况来说，移动终端的网络状况没有PC网络状况那么理想。在一个Android应用中，如果需要接收来自服务器的大容量数据，那么就不得不考虑客户的流量问题。本文根据笔者的一个项目实战经验出发，解决大容量数据的交互问题，解决数据大小会根据实际情况动态切换问题（服务器动态选择是否要压缩数据，客户端动态解析数据是否是被压缩的），还有数据交互的编码问题。 解决数据过大的问题，最直观的方法就
转载
2023-07-30 18:03:48
62阅读
文章大纲一、什么是云计算二、什么是大数据三、云计算与大数据、人工智能关系四、参考文章一、什么是云计算云计算（Cloud Computing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。典型的云计算提供商往往提供通用的网络业务应用，可以通过浏览器等软件或者其他Web服务来访问，而软件和数据都存储在服务器上。云计算服务通常提供通用的通过浏览器访问的
转载
2023-09-11 17:18:14
72阅读
现如今，大数据是一个十分火热的技术，我们的生活也开始离不开大数据。而在大数据中，数据源是十分重要的，大数据和数据分析工作都是针对业务而来，从中我们不难看出数据源在大数据中的地位。那么大数据架构知识都有哪些呢？下面我们就给大家介绍一下这些知识。1.大数据工作的特点大数据的工作量是有很大的，也有很大的生态圈，而在这个大数据生态圈中我们不难可以看出，要完成数据工程需要大量的资源，而数
转载
2023-09-14 16:20:10
78阅读
