CentOsCentos（Community Enterprise Operating System，中文意思是社区企业操作系统）是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码编译而成。由于出自同样的源代码，因此有些要求高度稳定性的服务器用CentOs替代商业版的Red Hat Enterprise Linux使用。两者的不同在于C
转载
2024-05-07 15:22:32
149阅读
作者：IT圈黎俊杰 使用Linux操作系统的第一步无疑是安装，本文通过作者亲手对多个国外主流开源操作系统、多个主流国产操作系统的安装过程进行记录与对比，让大家可以借助安装过程的界面风格、页面布局、功能等，细细的品一下国产Linux操作系统的同源技术与相互之间的差异。 为了涵盖主流国外开源、国外商业、国内开源、国内商业共四类操作系统，能让大家能够清晰的看出它们的相似与差异点，笔者共准备了11种操
转载
2024-05-05 18:06:00
390阅读
Win7_UbuntuKylin双系统安装 由于工作需要最近安装了win764+UbuntuKylin-17.04双系统，花费了两天的时间安装，现在对此次安装做一个总结。1.安装的方式：U盘安装原料：Ubuntu Kylin的ISO、UltraISO、EasyBCD、U盘(>=2G)优点：简单安全，正牌双系统除了u盘安装外也还有很多种方式，也可以只采用EasyBCD进行安装，在安装过程中相
转载
2024-05-24 21:14:35
119阅读
1.dos基本命令cd=（change directory）改变目录cd~ 回到用户的家目录了=cd cd- 返回上一次所在的目录cd.. 返回上一级所在的目录cp复制cp /需要复制的文件路径/复制目的 的文件路径/改名cp -r 复制文件夹MV移动 用法和cp复制差不多mkdir新建目录 用法 mkdir /目录建一串目录：mkdir -p touch 新建文件用
Kylin安装文档
安装包版本
系统：CentOS7
jdk:jdk-8u191-linux-x64
Hadoop:hadoop-2.9.2.tar
hbase:hbase-1.2.7-bin.tar
hive: apache-hive-1.2.1-bin.tar
Kylin:apache-kylin-2.4.0-bin-hbase1x.ta
转载
2024-04-03 00:00:26
72阅读
UbuntuKylin是Ubuntu社区中面向中文用户的Ubuntu衍生版本，与麒麟系统没有关系。它是由工信部软件、集成电路促进中心（CSIP）、国防科技大学（NUDT）与国际著名开源社区UBUNTU的支持公司CANONICAL发起的一款开源社区操作系统项目。发行版本从13.04开始，其有以下特性Dash中的在线音乐搜索: 更加简单、方便的音乐搜索，帮助用户发现最新、最热的中国流行音乐农历（中国传
Kylin版本：2.5.1前言膜拜大神，Kylin作为第一个由国人主导并贡献到Apache基金会的开源项目，堪称大数据分析界的“神兽”。所以我也是抓紧时间来学习Kylin，感受Kylin所带来的魅力。一、Kylin简介Kylin的出现就是为了解决大数据系统中TB级别数据的数据分析需求，它提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据，它能在亚秒内查询巨
转载
2023-09-26 19:35:47
118阅读
先创建一个project 然后选择创建的project 然后点击data Source下的load Hive Table按钮填写需要的hive表的全称（库名.表名），完成后点击Sync按钮就是数据导入 然后创建一个新的ModelModel Name只能是英文 选择事实表(Fact Table)，可以通过 add lookup Table添加其他表
转载
2023-12-19 21:01:13
104阅读
数据量大约在10亿+，需要做一个即席查询，用户可以主动输入搜索条件，如时间。可提供一定的预处理时间。每天还有新数据加入。 10亿+的数据对于普通的rdbms还是有些压力的，而且数据每天还在不停的增长，所以我们运用了我们的spark技术来做一个计算加速。关于增量更新的相关，我会在后续的博客中介绍。语句如下
转载
2024-01-05 21:49:45
36阅读
导入hive表登录Kylin的Web界面，创建新的或选择一个已有的项目之后，需要 做的就是将Hive表的定义导入到Kylin中。 单击Web界面的Model→Data source下的“Load Hive Table”图标，然 后输入表的名称（可以一次导入多张表，以逗号分隔表名，如图2-1所 示），单击按钮“Sync”，Kylin就会使用Hive的API从Hive中获取表的属性 信息。 cal_d
转载
2024-04-26 12:19:23
73阅读
列式存储: 区别于传统的行式存储，在存储层，把同一列的数据放在一起，利于聚合查询，不利于明细查询、INSERT/UPDATE等。 Hbase: 列式存储的一种实现组成部件说明：Row Key： Table主键 行标识Timestamp： 每次对数据操作对应的时间戳，即数据的version number（Hbase无法update，每次操作都是追加）Colu
转载
2023-08-13 20:10:19
107阅读
一、软件要求 二、Kylin 安装 三、文件配置 四、运行kylin 一、软件要求 1，hadoop 安装配置 2，Hbase 安装配置 3，Hive 安装配置 4，JDK1.8 5，Spark 安装配置(可选) 二、Kylin 安装 使用通Hadoop同一个用户 2.1,下载地址：kylin-3. ...
转载
2021-08-18 12:31:00
843阅读
2评论
一、软件要求 二、Kylin 安装 三、文件配置 四、运行kylin 一、软件要求 1，hadoop 安装配置 2，Hbase 安装配置 3，Hive 安装配置 4，JDK1.8 5，Spark 安装配置(可选) 二、Kylin 安装 使用通Hadoop同一个用户 2.1,下载地址：kylin-2. ...
转载
2021-08-12 14:46:00
467阅读
2评论
关于hive数据库的导入以及kylin的安装，这里就不做过多介绍了。1.Project工程创建1）点击图上所示“+”号，创建项目2）填入项目名及描述点击Submit，一个项目中可以有多个model和cube2. 数据源选择1）选择加载数据源方式 主要包含：Load Hive table：从hive表中同步Load Hive Table From Tree：从hive表中同步，以树结构显示表结构Ad
转载
2023-10-13 15:30:47
53阅读
Apache Kylin的由来
在现在的大数据时代，Hadoop已经成为大数据事实上的标准规范，一大批工具陆陆续续围绕Hadoop平台来构建，用来解决不同场景下的需求。
比如Hive是基于Hadoop的一个用来做企业数据仓库的工具，可以将存储在HDFS分布式文件系统上的数据文件映射为一张数据库表，并提供SQL查询功能，Hive执行引擎可以将SQL转换为MapReduce任务来进行运行，非常适
转载
2023-11-08 17:29:01
62阅读
作者杨正导语作为 Kylin 的忠实用户，58 集团从最初的 Kylin 1.5.3 到今年上半年实现的 1.5 版本 Cube 到 2.6 版本的迁移工作，已经使用 Kylin 近五年了。但随着业务的快速增长，58 集团面临着 HBase 集群的运维压力和机房无法扩容的负载压力等新的挑战。通过下文中的方案，58 集团现已有效解决了上述问题。让我们跟随 58 集团大数据部的杨正一起来共同学习探讨
转载
2024-01-05 20:31:17
33阅读
最近刷LeetCode遇到不少需要二分查找的题，发现需要注意的坑还挺多的。写篇博客记录一下二分查找的几个常用模板.
看到一个大佬的博客详解二分查找算法，有一段内容让我深有感触：我周围的人几乎都认为二分查找很简单，但事实真的如此吗？二分查找真的很简单吗？并不简单。看看 Knuth 大佬（发明 KMP 算法的那位）怎么说的：Although the basi
# 如何将 Kylin 和 Spark 集成
## 整体流程
在将 Apache Kylin 与 Apache Spark 集成的过程中，主要有以下几个步骤。下面的表格简单总结了整个流程：
| 步骤 | 描述 |
|------|------|
| 1 | 安装和配置 Kylin 和 Spark |
| 2 | 在 Kylin 中创建数据模型 |
| 3 | 启用 Spar
在大数据领域，Apache Kylin 和 Apache Hive 是两个受欢迎的工具，它们各自有不同的优势。Kylin 是一个分析型数据仓库，允许用户在海量数据上进行实时 OLAP 查询，Hive 则是一个基于 Hadoop 的数据仓库，主要用于 SQL 查询数据。在实际项目中，许多人会遇到 Kylin 和 Hive 之间的整合问题，下面是我记录下来的处理过程。
### 环境配置
为了顺利进
前言由于笔记本配置差，Windows 10运行Android Studio太慢，被迫转移至Linux，使用Ubuntu Kylin系统系统安装下载地址：http://cn.ubuntu.com/download/制作启动U盘推荐用 dd for windows ，下载地址及使用参照百度经验 。安装问题完全不用担心本来的系统的引导问题，只要你安装过程中没有选择擦除整个磁盘。Ubuntu会自动处理好多
