编者注：这是Apache Flink PMC成员 Fabian Hueske和Kostas Tzoumas的帖子 。 Fabian和Kostas也是数据工匠的联合创始人。 当今数据处理的很大一部分是对连续产生的数据进行的，例如，用户活动日志，Web日志，机器，传感器和数据库事务的数据。 迄今为止， 数据流技术在性能，正确性和可操作性等几个方面都缺乏，迫使用户滚动自己的应用程序来摄取和分
转载
2024-01-09 15:33:03
13阅读
一、前置准备1、基础环境说明操作系统：CentOS 6.8 minimalCDM版本: 5.12.1CDH版本：5.12.1MySQL版本: 5.1.73JDK: 1.8.0_131浏览器版本: ChromeStandalone_56以上、IE10内存:32G以上CPU :8core网络:千兆以上集群未启用Kerberos2、CDH安装参考《CDH5.12.0集群安装》二、KDC服务安装及配置1、
转载
2024-08-09 19:35:06
107阅读
以下包含了CDH6.2整合Flink1.10编译安装的过程以及趟过的坑，供大家参考、避坑。一、环境 CDH 6.2.1(Hadoop 3.0.0)、 Flink 1.10.1、Centos7.7、Maven 3.6.3、Scala-2.12和JDK1.8二、安装包 1、flink1.1
转载
2024-05-22 11:32:52
86阅读
一共分两步走： 第一步：CDH制作Flink1.12.7 第二步：CDH集成Flink1.12.7前提说明早期CDH6.3.2集成的Flink1.12存在log4j漏洞，所以需要重新编译这是之前Flink1.12的log4j版本为1.12，（受影响的版本：Apache Log4j
转载
2024-04-27 08:10:29
46阅读
一、资源准备与配置1.1 项目文件下载与配置#下载 flink-parcel 项目文件
[root@hadoop105 ~]# git clone https://github.com/pkeropen/flink-parcel.git
[root@hadoop105 ~]# cd flink-parcel/
#编辑下载地址，看自己需求哪个版本
[root@hadoop105 flink-parc
转载
2024-04-07 19:50:27
701阅读
①csd包：http://archive.cloudera.com/spark2/csd/ 下载SPARK2_ON_YARN-2.2.0.cloudera1.jar②parcel包：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/ 下载SPARK2-2.2.0.cloudera1-1.cdh5
转载
2023-10-26 14:26:37
108阅读
简介：在我的CDH5.13集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。这里做一下安装spark2.3版本的步骤记录。
一. 安装准备csd包：http://archive.cloudera.
转载
2024-03-08 16:41:16
74阅读
【CDH CM版本5.13以下】解决「通过Parcel对spark2版本升级无法发现服务」问题前言现象报错报错原因新升级方案操作留档准备版本升级升级验证版本回退回退验证后记 前言公司对于CDH5.10(注意这个版本)有三个物理集群（非云服务，自有机房），其中两个作为生产，一个作为测试，。生产集群目前都处于满负荷运载的状态，随着业务数据增生，计算方面的瓶颈已较为明显。 对于生产集群的性能提升团队已
转载
2024-04-21 19:36:18
58阅读
环境说明:
cdh版本:cdh6.3.2组件版本信息如下:组件版本Cloudera Manager6.3.1Flume1.9.0+cdh6.3.2Hadoop3.0.0+cdh6.3.2HBase2.1.0+cdh6.3.2Hive2.1.1+cdh6.3.2Hue4.2.0+cdh6.3.2Impala3.2.0+cdh6.3.2Kafka2.2.1+cdh6.3.2Solr7.4.0+cdh6
转载
2023-08-21 18:57:03
307阅读
本文主要记录从CDH4升级到CDH5的过程和遇到的问题，当然本文同样适用于CDH5低版本向最新版本的升级。1. 不兼容的变化升级前，需要注意 cdh5 有哪些不兼容的变化，具体请参考：Apache Hadoop Incompatible Changes。2. 升级过程2.1. 备份数据和停止所有服务2.1.1 让 namenode 进入安全模式在NameNode或者配置了 HA 中的 active
目录Centos7下Spark安装第一步：软件下载或编译第二步：安装软件（1）上传文件（2）解压文件第三步：Spark的本地模式运行测试第四步：Spark服务WEB监控页面第五步：Spark核心概念简介 Centos7下Spark安装电脑系统：macOS 10.15.4虚拟机软件：Parallels Desktop14操作系统：CentOS 7JDK版本：jdk1.8.0_162Hadoop版本
转载
2023-07-04 14:29:02
110阅读
严格来说不是将spark1.6升级到spark2.3，而是安装一个新的spark2.3一、JDK1.7升级到JDK1.8由于之前CDH中安装了spark1.6，为了适配，我安装jdk1.7，但是在spark2.3中jdk1.7的支持已经被移除了，所以我们第一件事需要将jdk版本升级到jdk1.81、停掉所有节点的cloudera manager/opt/cm-5.15.0/etc/init.d/c
转载
2024-04-26 19:45:00
74阅读
升级主要分为两部分1.CM的升级、2.CDH的升级CM的升级###两种升级方法1.使用package
2.使用Tarballs升级方法，参照官方升级指引，Tarball中包含了Cloudera Manager Server和Cloudera Manager Agent
通常情况下升级CM和升级CDH是两个独立的过程，可以在不关闭CDH服务的情况下升级CM，然后再升级CDH，升级CM主要分为以下几
转载
2023-09-16 00:57:59
89阅读
Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差与Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成Spark，从而大幅度提升计算速度。接下来就如何搭建Hive On Spark展开描述
转载
2023-08-31 20:32:03
323阅读
目录?虚拟机Spark安装1、下载2、解压3、配置设置worker4.同步xsync5.启动spark6.浏览器查看?Vmware启动Spark?IDEA操作Scala集群操作打包数据分区股票价格波动? Spark SQL?Spark JDBC初步使用?Spark Streaming? 知识汇总第一章 Spark概述Spark的特点Spark生态圈Spark应用场景`第二章 Scala基础``匿
转载
2023-10-25 22:20:20
3阅读
CDH安装包下载地址：://archive.cloudera/cdh5/repo-as-tarball/5.3.2/ CDH5.3.2官方安装说明文档地址：://cloudera/content/cloudera/en/documentation/core/latest/topics/cdh_ig_cdh5_cluster_deploy.html :
转载
2023-12-05 23:44:41
86阅读
Step 1: 做下saveNamespace操作，停掉集群，并备份下 HDFS 的 Metadata 1.1 让namenode进入safe mode状态 $ bin/hadoop dfsadmin -safemode enter 1.2 执行saveNamespace操作 $ bin/hadoop dfsa
转载
2023-09-17 11:00:53
95阅读
第一章：CDH添加kafka服务1.1 在集群中add service第二章：Spark2部署第一章：CDH添加Kafka服务添加kafka服务的时候会跳出来一句话：Before adding this service， ensure that either the kafka parcel is activated or the kafka package is installed.那我们去哪儿
转载
2024-03-12 22:08:13
207阅读
## 实现"flink cdh hive"的流程
### 流程图
```mermaid
graph TD
A[准备工作] --> B[安装CDH]
B --> C[配置Hive]
C --> D[配置Flink]
D --> E[集成Flink和Hive]
```
### 步骤详解
#### 1. 准备工作
在开始之前，确保你已经满足以下要求：
- 安装好Java JDK，并且配置好环
原创
2023-08-28 05:33:27
81阅读
SpringCloud（五）：服务配置中心-Nacos【Finchley版】为什么需要配置中心？使用 Nacos 作为配置中心创建配置创建应用1、pom.xml2、创建`ConfigController`３、创建`bootstrap.properties`加载不同环境的配置信息方法一方法二加载多配置文件方法一方法二参考文档 这篇文章我们一起来学习一下服务配置中心，使用阿里巴巴开源的 Nacos
