数据生产面临的挑战数据爆炸，每日使用最新维度对历史数据进行回溯计算。在Kylin的MOLAP模式下存在如下问题：历史数据每日刷新，失去了增量的意义。每日回溯历史数据量大，10亿+的历史数据回溯。数据计算耗时3小时+，存储1TB+，消耗大量计算存储资源，同时严重影响SLA的稳定性。预计算的大量历史数据实际使用率低下，实际工作中对历史的回溯80%集中在近1个月左右，但为了应对所有需求场景，业务要求计算
转载
2021-03-05 19:21:49
612阅读
2评论
1:什么是hive:由facebook开源的用于解决海量结构化日志的数据统计2：hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映谢成一张表，并提供
原创
2021-04-25 23:00:58
206阅读
第一部分 Spark学习 该部分，主要对Spark学习笔记进行记录，学习资料翻译自《apache_spark_tutorial.pdf》
原创
2022-06-15 17:46:54
255阅读
背景：从软通出来，告别华为外包，离开H区，进入了一家搞大数据的创业公司，感觉周围都好陌生，记录下自己大数据的career！ 2019-03-4新
原创
2021-12-21 14:47:27
150阅读
课程内容和目标：讲一些复合数据类型，它们可将较为简单数据对象汇总介绍两个概念：元组和列表讨论常见复合数据类型的基本操作展示一个更为通用的对象合集——字典，以及创建和操作它们的方法本课过后，编写的程序应该能够操作复合数据对象，或者处理标量对象，如数字和字符串1.元组Tuples：下面看一个例子：>>>t1 = (1, 'two', 3)
>>>t1
(1, 'tw
转载
2023-08-11 18:10:03
89阅读
 {
Syste
原创
2023-08-06 03:13:48
64阅读
文章目录1.开源OLAP综述2.开源数仓解决方案1.开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求。现在ROLAP计算存储一体
原创
2022-05-26 01:33:59
926阅读
1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2. 单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。3. 伪分布模式中的注意点？伪分布式
原创
2022-11-11 10:36:53
66阅读
一、大数据关键技术 （1）数据采集 （2）数据存储 （3）数据处理 （4）数据安全 二、大数据计算模式 1.批处理计算 特点：无法实时响应，但是能得到接近准实时性。 2.流计算 特点：数据量少，源源不断到达，但是响应时间要求非常短，一般是秒级/毫秒级 3.图计算 应用场景：社交网络、物流 4.查询分
转载
2019-10-21 13:15:00
141阅读
2评论
100W数据生成一个文件的过程中，等文件生成完毕批次里面去,并没有执行PreparedStatement.executeBatch(),而是在commit()之前统一
原创
2022-08-17 11:47:48
56阅读
一、元组t1 = (1, 2)
t2 = tuple((1, 2))
t3 = (1, )
# 常用操作：索引 | 切片 | 长度
# 索引取值
# t = (1, 2, 3, 2, 3, 2)
# print(t[1])
# print(t[-2])
# 切片
# print(id(t))
# nt = t[:-1:]
# print(nt, id(nt))
# 长度（item元素个数）
转载
2023-08-05 12:14:33
153阅读
0、前期准备修改主机名、ip、iptables关闭；时间同步：ntpdate -s time.windows.com;软件准备ganglia-3.7.1.tar.gz、ganglia-web-3.7.0.tar.gz 地址：http://ganglia.info/?page_id=66confuse-2.7.tar.gz 地址：http://www.nongnu.org/confuse/Pytho...
原创
2021-07-29 10:44:36
578阅读
在大数据使用、开发过程的性能优化一般可以从以下角度着手进行。 SQL 语句优化。使用关系
原创
2022-10-20 09:39:53
2250阅读
贪心地选取两个后缀，然后往前补全，贪心地补全前k个不同的字符 我写了个沙茶dp，结果T掉了，明明都是n3的。。。
转载
2016-10-30 23:03:00
46阅读
2评论
<!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <title>简易网页</title> </head> <body> 文档的内容... ... </body> </html>
转载
2019-09-28 16:48:00
89阅读
2评论
【项目管理t0t1t2】PMP考试全面解析
项目管理专业人士（PMP）认证已成为全球公认的项目管理专业人士标准。在获得PMP认证后，为了保持认证的有效性，每三年需要获得60个专业发展单位（PDU）。本文将详细介绍PMP考试的相关信息，帮助考生更好地理解和准备考试。
一、PMP考试内容
PMP考试主要考察考生在项目管理方面的知识和技能，涵盖五大过程组（启动、规划、执行、监控、收尾）以及十大知识
原创
2023-11-07 17:51:51
104阅读
黑马大数据分析课程 1、大数据分析介绍 一、总结 一句话总结： 1、数据清洗包括哪些方面？ 2、数据挖掘是什么？ 3、常用的分布式方案有哪些？ 4、分布式和集群的区别？ 5、facebook是社交网站，那么评估机构评估facebook的时候，主要评估的是其哪方面的价值？ 6、云计算是什么？ 7、数据
转载
2019-06-03 04:13:00
981阅读
A. 根节点是树的末端节点，代表分类结果B. 内；边表示特征的可能取值，路径表示一系列决策（D错误）。
