一共分两步走： 第一步：CDH制作Flink1.12.7 第二步：CDH集成Flink1.12.7前提说明早期CDH6.3.2集成的Flink1.12存在log4j漏洞，所以需要重新编译这是之前Flink1.12的log4j版本为1.12，（受影响的版本：Apache Log4j
转载
2024-04-27 08:10:29
46阅读
003_CDH集成Kylin下载地址：下载CDH5版本Kylin
官方文档一、安装启动1. 上传并解压下载的tar包tar -zxvf apache-kylin-2.6.4-bin-cdh57.tar.gz -C /opt/cdh-5.15.2
mv apache-kylin-2.6.4-bin-cdh57 kylin-2.6.42. 配置环境变量注意：Spark作为Kylin启动的一项环境检查，
转载
2024-03-24 13:06:05
58阅读
CDH集成Flink详细教程
对于刚入行的小白来说，CDH集成Flink可能是一个比较陌生的概念，但是只要按照一定的步骤和方法操作，就可以轻松实现。本文将通过详细的流程介绍CDH集成Flink的方法，帮助小白快速掌握这一技术。
整个流程可以总结为以下几个步骤：
| 步骤 | 描述 |
| -------- | -------- |
| 步骤一 | 部署CDH集群 |
| 步骤二 |
原创
2024-05-16 10:00:08
58阅读
SpringCloud（五）：服务配置中心-Nacos【Finchley版】为什么需要配置中心？使用 Nacos 作为配置中心创建配置创建应用1、pom.xml2、创建`ConfigController`３、创建`bootstrap.properties`加载不同环境的配置信息方法一方法二加载多配置文件方法一方法二参考文档 这篇文章我们一起来学习一下服务配置中心，使用阿里巴巴开源的 Nacos
一、资源准备与配置1.1 项目文件下载与配置#下载 flink-parcel 项目文件
[root@hadoop105 ~]# git clone https://github.com/pkeropen/flink-parcel.git
[root@hadoop105 ~]# cd flink-parcel/
#编辑下载地址，看自己需求哪个版本
[root@hadoop105 flink-parc
转载
2024-04-07 19:50:27
705阅读
目录一、编译Flink1 下载flink源码2 增加maven镜像3 执行编译命令二、编译parcel1 下载flink-parcel2 修改参数3 复制安装包4 编译parcel5 编译csd6 上传文件三、CDH集成1 登录CDH2 进入Parcel操作界面3 分配Parcel4 激活Parcel5 回主界面6 添加服务问题1报错解决问题2报错解决参考资料 版本： Centos7.6 JDK
一、基础软件版本信息：1、CDH对CentOS的版本要求：本项目采用的是：CentOS6.5 标准版 64位Operating SystemVersionRed Hat Enterprise Linux (RHEL)-compatibleRHEL (+ SELinux mode in available versions)7.3, 7.2, 7.1, 6.8, 6.7, 6.6, 6.5, 6.4
由于项目需要，需要用到flink cdc进行Flink SQL 开发，一起增加开发效率，减少很多java代码开发.在版本方面，Flink CDC 在flink1.11 以上的版本才有支持，在这里选择Flink1.12.0。CDH版本：CDH6.3.2 Cloudera Manager 集成Flink1.12.0详细步骤如下：1 安装包下载： 1）flink镜像包：https://archive.
转载
2023-07-27 19:47:51
192阅读
1.下载准备文件https://archive.cloudera.com/csa/1.0.0.0/csd/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jarhttps://archive.cloudera.com/csa/1.0.0.0/parcels/2.felink csa jar包准备将FLINK-1.9.0-csa1.0.0.0-cdh...
原创
2023-05-06 15:03:57
197阅读
之前记录的：Flink 1.9 CDH 6.3 集成 有些下载链接可能被官方关闭了，这里介绍1.12版本集成
原创
2023-05-06 15:22:30
417阅读
背景: 最近数据湖技术风风火火，其中三大湖之一的Iceberg，已其不绑定引擎层的特性，引起了作者的注意，作者也想学习一下，奈何自己的CDH里Flink还是1.9版本，因此有了这篇集成的文章。好了，说了这么多的废话，我得去带薪喝杯水了。目录集成步骤如下1. 编译环境准备2.Flink源代码编译3.制作Parcel包4.Flink服务添加到CDH5.验证服务可用性集成步骤如下1. 
转载
2023-10-31 13:19:49
197阅读
整体分几步做首先下载需要的包，包括系统镜像文件+虚拟机工具,cloudera manager版本文件，CDH版本文件，flink parcls文件（最后集成flink才需要）1.安装镜像文件2.配置虚拟机环境包括网络的打通配置host,关闭防火墙，rzsz（方便上传下载）,rsa机器之间免密操作(用于机器之间无密码ssh远程登录),yum插件的安装（解决后面安装CM的依赖问题）,mysql的安装,
转载
2024-04-03 20:34:34
27阅读
Flink在大数据处理上，是流批一体的框架，针对于各种场景下的数据处理，也有一套Flink SQL的操作思路。今天的大数据开发学习分享，我们就来讲讲基本的Flink SQL快速入门。 Flink SQL，就是直接可以在代码中写SQL，来实现一些查询（Query）操作。Flink的SQL支持，基于实现了SQL标准的Apache Calcite（Apache开源SQL解析工具）。 1、导入
转载
2023-07-04 09:40:23
158阅读
以下包含了CDH6.2整合Flink1.10编译安装的过程以及趟过的坑，供大家参考、避坑。一、环境 CDH 6.2.1(Hadoop 3.0.0)、 Flink 1.10.1、Centos7.7、Maven 3.6.3、Scala-2.12和JDK1.8二、安装包 1、flink1.1
转载
2024-05-22 11:32:52
86阅读
CDH6配置Flink1.10.1编译与CDH集成标签（空格分隔）：大数据运维专栏一：编译环境包的准备二：编译生成包配置三：使用编译好的flink做CDH的parcels与csd文件四：CDH6.3.2集成flink1.10.1一：编译环境包的准备一、环境CDH6.3.2(Hadoop3.0.0)、Flink1.10.1、Centos7.7、Maven3.6.3、Scala-2.12和JDK1.8
原创
精选
2020-12-11 12:31:51
6395阅读
点赞
1评论
环境说明:
cdh版本:cdh6.3.2组件版本信息如下:组件版本Cloudera Manager6.3.1Flume1.9.0+cdh6.3.2Hadoop3.0.0+cdh6.3.2HBase2.1.0+cdh6.3.2Hive2.1.1+cdh6.3.2Hue4.2.0+cdh6.3.2Impala3.2.0+cdh6.3.2Kafka2.2.1+cdh6.3.2Solr7.4.0+cdh6
转载
2023-08-21 18:57:03
307阅读
目前能下载到flink1.13的parcel包的资源确实少，有些也需要收费的，我这里采用自己编译的方法。 1、准备环境 jdk1.8 maven3.8.1 parcel制作工具 2、制作parcel 下载制作工具 git clone https://github.com/pkeropen/flink
原创
2022-06-17 22:27:31
1102阅读
CDH6.3.2集成flink的部署配置标签（空格分隔）：大数据平台构建一：flink的简介二：cdh6.3.2集成flink一：flink的简介ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运
原创
2020-06-21 07:13:36
10000+阅读
3评论
目录1 概述
2 架构概述
3 ClickHouse 引擎3.1 库引擎
3.2 表引擎
4 数据类型4.1 基础类型
4.2 复合类型
4.3 特殊类型
5 安装部署5.1 安装之前
5.2 单节点方式5.2.1 yum方式安装
5.2.2 rpm方式安装
5.2.3 升级
5.2.4 目录结构
5.2.5 服务的启停
5.2.6 进入 CLI
5.3 集群方式
6 客户端工具6.1 click
转载
2023-07-04 14:38:49
885阅读
## 实现"flink cdh hive"的流程
### 流程图
```mermaid
graph TD
A[准备工作] --> B[安装CDH]
B --> C[配置Hive]
C --> D[配置Flink]
D --> E[集成Flink和Hive]
```
### 步骤详解
#### 1. 准备工作
在开始之前，确保你已经满足以下要求：
- 安装好Java JDK，并且配置好环
原创
2023-08-28 05:33:27
81阅读
