写的不到位的地方，欢迎评论指出不足之处单机处理假设有一个 1T的文件I/O 磁盘处理速度是 500MB/s （机器硬盘：100+MB/s、固态硬盘：500MB/s、高速接口：1G - 3G/s ）分析1T 约 1000GB、1GB = 1000MB、1000GB = 500MB * 2000、即 2000秒2000秒 / 60秒 约 30分钟即：循环一次需要30分钟，若一直找不到匹配数据
转载
2024-08-07 10:21:12
43阅读
Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，我们可以利用HBase技术在廉价的PC上搭建起大规模结构化存储集群。同Google的Bigtable基于GFS(Google FileSystem)所提供分布式数据存储服务一样，HBase基于HDFS之上也能提供类似的分布式数据存储服务。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop
转载
2024-01-11 12:32:32
39阅读
SQL OLTP与OLAP 的区别数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）联机分析处理OLAP（On-Line Analytical Processing） OLAP是联机分析处理 主要是查询处理 &nb
转载
2024-05-19 16:05:37
25阅读
认识NoSQLNoSQL：泛指非关系数据库（Not only SQL） NoSQL两重要特征：使用硬盘和把随机存储器作为存储载体NoSQL分类（按照存储格式） 1）键值（Key-Value）存储数据库 2）列存储数据库 3）文档型存储数据库 4）图形数据库目前比较流行的NoSQL数据库有Casssandra，Lucene，Neo4J，MongoDB和HBaseHBase（Hadoop Databa
转载
2024-04-13 19:50:34
51阅读
一、CPU的选择数据库的应用类型可分为两大类：OLTP（Online Transaction Processing，在线事务处理）和OLAP（Online analytical Processing，在线分析处理）。这是两种截然不同的数据库应用：
OLAP多用在数据仓库或数据集市中，一般需要执行复杂的SQL语句来进行查询
OLTP多用在日常的事物处理应用中，如银行交易、在线商品交易、Blog、网络
转载
2024-01-10 12:02:12
107阅读
NoSQL 数据库 HBase5.1HBase 原理5.1.1 HBase 概述5.1.2 HBase 核心概念5.1.3 HBase 的关键流程5.2 HBase 伪分布式安装5.2.1 安装 HBase 的前提条件5.2.2 解压并配置环境变量5.2.3 配置 HBase 参数5.2.4 验证 HBase5.3 HBase Shell5.3.1 HBase Shell 常用命令5.3.2 H
转载
2023-11-20 11:25:51
86阅读
数据采集传输主要技术Sqoopsqoop是Apache旗下的一款开源的离线数据传输工具主要用于Hadoop(Hive)与传统数据库(Mysql、Oracle等)间的数据传递。它可以将关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS中的数据导出到关系型数据库中FlumeFlume是cloudera公司提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输工具，目前已经是Apa
转载
2023-09-20 11:52:58
62阅读
按照上述的参考，您在选型OLAP或者HTAP时，如果希望获得支持存算分离、分布式事务处理、SQL 兼容性、云化
原创
2023-02-07 10:13:09
97阅读
文章目录第一步，环境配置第二步，IDEA 配置第三步，授权第四步，连接测试扩展——华为云/阿里云集群报错 第一步，环境配置首先，你要确保你的集群可以正常运行。我们在 Windows 电脑中安装 Hadoop，并配置环境变量。注意，Hadoop 的版本必须和集群中的对应，然后将压缩包解压到你想要存放的地方。
我集群是 hadoop-2.7.7，所以 Windows 中也装这个版本。将 Ha
ITSM，ITIL这些词越来越热门。有人认为这是一种新的技术，有人认为ITSM不过是MIS的一种应用，也有人认为无非是网管＋工作流。其实ITSM的出现应该放在整个IT行业发展的过程中来看。可以说，ITSM的出现映射着IT行业的新一轮变革，将会伴随着整个IT行业结构和价值链的变化而成长；甚至可以说，ITSM是IT行业开始走向成熟的一个标志。本文试图结合IT行业的发展趋势，来探讨ITSM的产生背景，将
转载
2024-07-24 13:25:30
27阅读
OLAP 分析已死？
转载
2022-06-08 16:14:31
191阅读
数据库的应用分两类，OLTP（Online Transaction Processing，在线事务处理）和OLAP（Online Analytical Processing，在线分析处理）。OLAP一般用在数据仓库（一种关系数据库模式，其中保存了来自一个或者多个源数据库的历史数据和元数据）或数据集市（是数据仓库的一个访问层，用于从数据仓库抽取相关的数据给用户）中，一般需要复杂的SQL语句来进行查询
转载
2024-05-31 22:47:42
72阅读
随着业务发展，公司需要提高数据安全与性能需求，所以需要对新技术预研（先采坑），做技术积累：了解相关AlwaysOn 故障转移集群（热备），数据路由（ICX），Moebius（莫比斯数据路由）决定测试微软提出的高可用性AlwaysOn测试环境： 软件准备（1） SQL Server 2012 （2） Windows Server&
OLAP 一词最早是关系数据库之父 E.F. Codd 在1993年提出的 ，当时 OLAP 在数据分析领域是一门主流技术，IBM、Oracle、微软等知名公司都推出了相应的产品及解决方案，助力很多企业解决了当时的数据分析难题。近几年，各大金融机构纷纷拥抱金融科技，数字化转型不断深入，传统 OLAP 技术的弊端逐渐显现，甚至成为业务发展的阻碍。相较于传统 OLAP 分析产品带来的限制，基于大数据平
SpringBoot使用的初记录
背景吐槽：想要让自己进阶一下，一定要有个可以拿出来秀的东西，所以要尝试写一个属于自己的网站或者平台。因此，我大概的看了一下springboot+Mybatis-plus+... 框架介绍通常 SSM（Spring+SpringMVC+MyBatis）框架集由Spring、SpringMVC、MyBatis三个开
转载
2024-04-12 13:54:19
56阅读
最初SSM框架指的是spring、springMVC、mybatis。后面出现了springboot，它是在spring的基础上做了优化，使用的是注解，而不用去写XML配置文件，由于springboot更加简化，一般项目使用springboot来当启动类。SSM指：spring、springboot、mybatisspring:Spring反转管理整个项目中各个类之间的依赖关系(将new对象的权利
转载
2023-11-13 17:41:22
279阅读
目前还没有一个OLAP系统能够满足各种场景的查询需求。其本质原因是，没有一个系统能同时在数据量、性能、和灵活性三个方面做到完美，每个系统在设计时都需要在这三者间做出取舍。 目前我们能接触到的开源OLAP包括但不限定于：Hive、Hawq、Spark SQL、Presto、Kylin、Impala、D
原创
2023-07-01 05:19:43
367阅读
一、引言Mondrian, 蒙得里安·皮特1872-1944荷兰画家，作品以交错的三原色为基色的垂直线条和平面为特点，他的著作包括 新造型主义(1920年），对抽象艺术的发展曾经产生很深影响。——金山词霸如是说。不过,本文所要讨论的可不是这位艺术家。那到底mondrian是什么呢？Mondrian是一个开源项目。一个用Java写成的OLAP（在线分析性处理）引擎。它用MDX语言实现查询
转载
2023-06-13 10:53:05
100阅读
要说明他们的关系，不得不说说商务智能。从技术角度看，商务智能的过程是企业的决策人员以企业中的数据仓库为基础，经由联机分析处理工具、数据挖掘工具加上决策规划人员的专业知识，从数据中获得有用的信息和知识，帮助企业获取利润。 数据仓库是一个用以更好地支持企业或组织的决策分析处理的的数据集合，它有面向主题、集成、相对稳定、随时间不断变化四个特性，将数据仓库与传统的面向事务处理的数据库区分开来。数据仓库的关
转载
2023-07-14 16:44:47
48阅读
流/批/OLAP一体的Flink引擎介绍开源生态2.Flink整体架构2.1Flink分层框架 1.SDK层：分为三类：SQL/Table、DataStream、Python； 2.执行引擎层（Runtime层）：Runtime层提供统一的DAG，用来描述数据处理的流水线，不管是刘还是批，都会转换为DAG图，调度层再把DAG转换成分布式环境下的Task,Task之间通过Shuffle传输数据； 3
转载
2024-02-27 16:17:41
108阅读
