Apache Kylin的工作原理本质上是 MOLAP（多维立方体分析）。维度和度量维度就是观察数据的角度，例如：电商的销售数据，可以从时间的维度来观察，也可以细化从时间和地区的维度来观察统计时，可以把维度值相同的记录聚合在一起，然后应用聚合函数做累加、平均、去重计数等聚合计算度量就是被聚合的统计值，也是聚合运算的结果。时间（维度）销售额（度量）2019 1Q1.7M2019 2Q2.1M2019
转载
2024-06-22 07:35:58
24阅读
目录1. Kylin的基本介绍2. Kylin的特点3. Kylin的架构 1. Kylin的基本介绍Kylin是一种MOLAP(Multidimensional OLAP)，基于多维数据集，需要预计算。另一种OLAP是ROLAP(Relational OLAP)，基于关系型数据库，不需要预计算，例如Presto一个多维数据集称为一个OLAP Cube，例如城市、品类、月份这三个维度，形成共七种
转载
2023-10-11 10:16:42
54阅读
## Kylin 连接 Hive 的详细指南
在大数据架构中，Apache Kylin 是一个强大的工具，它允许我们在大量数据上进行快速的分析。Kylin 通常用于连接数据存储工具，如 Hive，以实现 OLAP (在线分析处理)。对于刚入行的小白来说，连接 Kylin 和 Hive 可能会感觉有些复杂，下面我将详细介绍整个流程以及具体的实现步骤。
### 整个流程概述
在开始之前，让我们先
原创
2024-09-04 06:23:22
76阅读
nodeJs环境安装nodejs检查nodejs 命令提示符中输入 node -v检查npm npm-v名词解释nodejs 是基于v8引擎(谷歌浏览器内核) 封装的软件 属于后端语言 用来操作系统的 使用js语法npm 附加在nodejs软件里的一个工具 作用是下载以来文件 可以使用命令来启动nodejs服务npm常用命令 初始化npm环境 npm init 下载依赖 npm install
JDBC访问注意点如果JDBC代码访问出现问题，解决问题的办法（我们在不同环境出现了不少问题，发现匪夷所思的问题大部分都是版本导致的）1、校验JDBC URL是否可以使用，在服务器上使用beeline连接这个URL看看是否可以连接的上2、如果JDBC URL没有问题，那么检查代码中的JDBC的版本(如果是pom文件的话 是hive-jdbc)和服务器hive的版本是否对应的上。如果对应不上，修改下
转载
2024-02-02 06:20:46
128阅读
Hive中MySQL的安装及绑定Hive 默认使用的元数据库为 derby，开启 Hive 之后就会占用元数据库derby数据库只支持单用户访问且不与其他客户端共享数据MySQL数据库可支持多用户访问且可与其他客户端共享数据将 Hive 的元数据地址改为 MySQL数据库[mnlg@XJ202 ~]$ my_hadoop.sh start //启动hadoop
[mnlg@XJ202 ~
转载
2023-08-18 23:41:41
195阅读
第一篇：安装hadoop 和 hive我就不多说了，网上太多文章 自己看去首先，在机器上打开hiveservice 1. hive --service hiveserver -p 50000 & 打开50000端口，然后java就可以使用java连了，需要的jar包我发个图片 就这多jar包，必须的不多说，直接上代码 1. package
2.
3. import
4. i
转载
2024-02-20 16:15:04
98阅读
【博学谷学习记录】超强总结，用心分享|Hive数据库和表操作知识积累一、Hive数据库操作二、Hive的表操作2.1 Hive的表数据类型2.2 Hive的表分类2.3 Hive的内部表操作2.4 Hive的外部表操作2.5 Hive表的其他操作2.6 Hive表的复杂类型操作 【博学谷学习记录】超强总结，用心分享|Hive数据库和表操作知识积累一、Hive数据库操作-- 1、当你创建一个数据库
转载
2023-07-04 10:46:50
110阅读
一 、 Hive 基本操作1. 数据库操作(增、删、改、查)1.1 创建数据库create database if not exists test_001; 使用数据库 use test_001;说明：hive 的表存放位置模式是由 hive-site.xml 当中的一个属性指定的，默认是存放在该配置文件设置的路径下，也可在创建数据库时单独指定存储路径。hive.metastore.warehou
转载
2023-07-09 22:12:41
1072阅读
1 创建工程1）点击下图中的"+"。2）填写项目名称和描述信息，并点击Submit按钮提交。 2 获取数据源1）点击DataSource2）点击下图按钮导入Hive表3）选择以下表格，并点击Sync按钮dwd_order_detaildim_sku_infodim_user_infodim_base_province注意事项：Kylin不能处理Hive表中的复杂数据类型（Array,Ma
转载
2023-11-25 13:06:27
209阅读
什么是kylin？Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay公司开发并贡献到apche开源社区成为顶级项目的，他也是第一个由中国。它能在亚秒内查询巨大的Hive表。概念预知：数据仓库： 各种数据（包括历史数据和当前的数据）的存储中心系统，简单的来说数据仓库就是hive中的数据库和
转载
2024-06-05 12:01:12
52阅读
入门案例测试数据表结构介绍导入测试数据按照日期统计订单总额/总数量（Hive方式）按照日期统计订单总额/总数量（Kylin方式）创建项目（Project）创建数据源（DataSource）创建模型（Model）创建立方体（Cube）执行构建执行SQL语句分析按照订单渠道名称统计订单总额/总数量按照日期、区域、产品维度统计订单总额/总数量 测试数据表结构介绍1、（事实表）dw_sales列名列类型
转载
2023-12-15 11:07:08
79阅读
1. Hive 的交互方式第一种交互方式：bin/hive 第二种交互方式：使用 sql 语句或者 sql 脚本进行交互 2. Hive 的基本操作2.1 数据库操作创建数据库：create database if not exists myhive;创建数据库并指定位置：create database myhive location '/myhive';设置数据库
转载
2024-05-29 06:23:07
45阅读
# Java连接Hive数据库连接
Hive是一个数据仓库软件，用于对存储在分布式存储系统（如Hadoop）中的大数据进行查询和管理。它将SQL查询转换为MapReduce或其他计算模型，从而实现对大数据的分析。在Java应用程序中，我们可以通过JDBC连接Hive数据库，实现数据的读取和写入。
## 环境准备
在开始之前，需要确保以下环境已经搭建好：
1. Hadoop集群：Hive依赖
原创
2024-07-25 05:09:16
64阅读
1. 基本介绍1.1 Kylin简介Kylin就是一个解决TB级别数据的数据分析需求的系统，通过预计算方式缓存了所有需要查询的数据结果，需要大量的存储空间。1.2 为什么出现首先需要明确OLAP和OLTP的概念。简单来说OLTP（联机事务处理过程） 是面向交易过程的，特点就是需要即时处理。OLAP（联机分析处理） 支持复杂分析操作，侧重于对决策的支持，要求快速的对大数据量进行查询分析。其中OLAP
转载
2023-10-10 19:26:21
73阅读
参考资料:https://prestodb.io/docs/current/connector/hive.html前言presto支持hive connector，并支持连接多个hive connector，还支持kerberos相关配置普通配置我们在etc目录下创建catalog目录，然后再下面创建hive.propertoes 文件，代表着我们创建了一个hive的catalog，hive.pr
转载
2023-11-23 14:28:51
115阅读
1 出现的问题： jdbc在操作hive时，出现了拒绝连接
2 出现问题的原因： 这是因为没有在服务端开启HiveServer2服务 3 解决方法：
转载
2023-05-24 14:48:21
359阅读
Hive 是一个基于 Hadoop 的数据仓库工具，它提供了 SQL-like 的查询语言，使得用户可以用类似 SQL 的方式查询和分析存储在 Hadoop 上的大数据。本文将介绍 Hive 的基本用法，包括如何建立数据仓库和执行 SQL 查询。数据仓库Hive 的数据存储和查询都是基于 Hadoop 的分布式文件系统 HDFS（Hadoop Distributed File System）。在开
转载
2023-09-29 09:58:19
90阅读
数据仓库概念起源于Facebook，使用SQL语言。数据仓库面向主题的，集成的，随时间变化的，信息相对稳定的数据集合。面向主题：操作性数据库的数据注释是面向事务处理任务。主题指用户使用数据仓库进行决策时关心的重点方面。如商品的推荐。随时间变化数据仓库是不同时间的数据集合，数据仓库中的数据保存时限要能满足进行决策分析的需要（如5到10年），而数据仓库中的数据都要标明数据的历史时期。数据仓库数据相对稳
转载
2024-07-19 14:42:41
49阅读
目录一、Hive简介二、 Hive环境安装1. 准备工作1）安装Hadoop2）安装MariaDB（1）查看MariaDB安装情况（2）卸载MariaDB/MySQL（3）安装MariaDB（4）简单配置MariaDB（5）常见问题及解决2. Hive安装1) 下载Hive安装包2）安装Hive3）上传MySQL驱动4）修改配置文件5）元数据初始化（1）数据库对账号授权（2）初始化元数据3. 测
转载
2023-08-05 23:36:58
328阅读
