一、hadoop之平台搭建篇
1.实验配置：ubuntu-11.04，hadoop-0.20.2，jdk-1.7.0_04，eclipse及插件hadoop-0.20.2-eclipse-plugin，如下图：准备工作完毕！硬件环境安装分布式可以准备多台电脑，组成计算机集群，这里是用单机模仿分布式集群，所以所需的硬件环境只要一台个人电脑就可以了（多台的配
转载
2024-02-22 23:28:46
26阅读
1. Kylin是什么 Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。Apache Kylin™ 令使用者仅需三步，即可实现超大数据集上的亚秒级查询。1、定义数据集上的一个星形或雪花形模型 2、在定义的数据
转载
2024-08-12 10:34:38
46阅读
前言 1.操作系统：Centos7 2.安装时使用的是root用户。也可以用其他非root用户，非root的话要注意操作时的权限问题。 3.安装的Hadoop版本是2.6.5，Spark版本是2.2.0，Scala的版本是2.11.8。 如果安装的Spark要同Hadoop搭配工作，则需注意他们之间的版本依赖关系。可以从Spark官网上查询到Spark运行需要的环
转载
2024-09-05 18:49:06
27阅读
一：实验环境三台CentOS 6.7主机，IP地址172.16
原创
2022-07-14 13:21:44
228阅读
目录1. 安装依赖2. 安装Kylin(kylin1上操作)2.1 下载解压2.2 修改conf/kylin.properties2.3 下载Mysql驱动包和创建Mysql数据库2.4 hive-site.xml复制到spark的conf目录2.5 配置环境变量(两台kylin服务器)2.6 kylin运行环境检查2.7 ConfigurationException问题(没有则忽略)2.8 将
转载
2023-10-17 23:00:46
304阅读
1.Kylin是什么?Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。Apache Kylin™ 令使用者仅需三步，即可实现超大数据集上的亚秒级查询。定义数据集上的一个星形或雪花形模型 在定义的数据表上构建cube 使
转载
2023-12-07 03:38:28
155阅读
# Kylin 4与Hadoop版本的关系简介
Apache Kylin 是一个开源的分布式分析引擎，专为大规模数据分析而设计。通过将大量数据转化为多维数据立方体，Kylin 实现了快速的查询性能。Kylin 4版本引入了一些新的特性，特别是在对Hadoop版本的支持上，这对企业在进行数据处理时具有重要意义。本文将讨论Kylin 4的Hadoop版本支持情况，并通过代码示例和流程图来帮助说明。
原创
2024-08-27 06:26:17
151阅读
hadoop安装 vi /etc/sysconfig/network-scripts/ifcfg-ens33 `` IPADDR=192.168.182.8 `` vi /etc/hosts `` 192.168.182.8 hd1 192.168.182.9 hd2 192.168.182.10
转载
2020-10-28 16:00:00
237阅读
2评论
## Kylin Hadoop Conf Dir - 为什么它很重要？
在大数据时代，Hadoop已经成为了处理海量数据的主要框架。然而，要正确配置和管理Hadoop集群并不是一件容易的事情。Kylin作为一个开源的OLAP引擎，可以提供快速的多维分析能力，它的性能和扩展性都依赖于正确的Hadoop配置。在本文中，我们将讨论Kylin中的`kylin_hadoop_conf_dir`参数，探讨它
原创
2023-07-14 08:31:59
99阅读
# 解决“Kylin 找不到 Hadoop config”的问题
在使用 Apache Kylin 进行数据分析时，常常会遇到配置Hadoop环境的问题。如果 Kylin 找不到 Hadoop 配置，将会导致无法正常运行。本文将带你分析这一问题的解决流程，并逐步展示所需的代码和步骤。
## 整体解决流程
下面是解决 Kylin 找不到 Hadoop 配置问题的基本流程：
| 步骤 | 操作
原创
2024-10-24 04:25:24
97阅读
Hadoop的下载官网为http://hadoop.apache.org/releases.html1.使用wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz命令下载hadoop 2.6.5例如我这里下载到了/chenjie下2.使用 tar -zxvf hadoop-2.
转载
2023-07-20 17:27:43
60阅读
文章目录1.简介2.架构分析3.环境准备4.使用客户端工具操作hive4.1.数据库操作4.2.DDL操作4.2.1.创建表4.2.2.导入数据到hive表中。4.2.3.指定列和行分隔符创建表4.2.4.数据类型4.3.表的类型4.3.1.内部表4.3.2.外部表4.3.3.分区表4.3.4.桶表4.4.视图4.5.高级函数4.6.排序语句 1.简介 Hive是由Facebook开源的一款数
转载
2023-10-25 15:19:52
61阅读
文章目录1、本机配置2、关闭防火墙和SeLinux3、下载达梦数据库4、创建用户和组5、创建安装目录6、配置 dmdba 用户 的环境变量7、解除 dmdba 用户 的资源限制8、上传压缩包解压并挂载镜像9、命令行安装9.1 安装9.2 用root用户执行 /dm8/script/root/root_installer.sh9.3 配置实例9.4 root 注册数据库服务9.5 启动数据库服务9
转载
2023-08-31 20:46:54
334阅读
# Hadoop Format用法详解
Hadoop，作为一个开源的分布式计算框架，广泛应用于大数据处理。`hadoop format`是一个关键命令，主要用于格式化Hadoop中的文件系统，特别是Hadoop分布式文件系统（HDFS）。本文将详细介绍`hadoop format`的用法，并提供一些代码示例，帮助用户更好地理解这一功能。
## 一、Hadoop格式化的目的
在Hadoop中，
Ubuntu kylin优麒麟下配置Hadoop环境 查看JDK目录 cd /usr/lib/jvm/java-8-openjdk-amd64 查看Hadoop目录 cd /usr/local/hadoop 查看IP地址 ifconfig ssh服务开启（如果没有开启） Linux系统的ssh要打开
转载
2020-10-23 17:41:00
537阅读
2评论
本文档主要是kylin的搭建以及在搭建过程中遇见大问题。1.环境本文档主要搭建在开发环境。环境是基于CDH6.2 CDH中有hadoop ，spark ,hbase2.下载了解自己的环境就可以有针对的下载需要的版本。现在KYLIN的最新版本支持CDH6.0/6.1 咨询kylin用户，CDH6.2也是支持。所以，我下载的kylin 3.0.1 kylin官网 : http://kylin.apac
转载
2023-12-11 19:57:31
176阅读
文章目录前言一、核心概念数据仓库OLAP维度和度量Cube和Cuboid事实表和维度表星形模型二、Apache Kylin的技术架构三、Apache Kylin的安装软件要求下载tar包解压配置环境变量启动验证验证启动四、官方测试用例导入数据查看导入模型构建Cube查询构建完成的cube信息多表关联查询五、总结 前言随着移动互联网、物联网等技术的发展，近些年人类所积累的数据正在呈爆炸式的增长，大
转载
2024-08-20 11:13:51
67阅读
1、Hadoop常用命令hadoop verion //版本
hadoop fs //文件系统客户端.
hadoop jar
hadoop classpath //查看hadoop类路径
hadoop checknative //检查压缩库本地安装情况
ha
转载
2023-09-01 08:07:35
97阅读
一、自动触发合并segment #
原创
2022-04-21 11:49:28
126阅读
一、使用JDBC连接操作Kylin ### 使用
原创
2022-04-21 11:51:01
91阅读
