引言使用Hue可以方便的通过界面制定Oozie的工作流，支持Hive、Pig、Spark、Java、Sqoop、MapReduce、Shell等等。Spark？当让可以，但是自带是spark1的，那能不能支持Spark2的呢？接下来本文章就主要讲述如何使用Hue创建Spark1和Spark2的Oozie工作流。安装spark2-lib到oozie环境说明 spark2 ： CDH内 jar包在
简介：CDH的parcel包中是没有kafka的，kafka被剥离了出来，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。PS:kafka有很多版本，CDH也有很多版本，那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有介绍，文档地址：https://www.cloudera.com/documentation/ent
转载
2024-04-02 13:33:35
55阅读
一、安装包下载链接：https://pan.baidu.com/s/1G6V9u5PDyxlixZ2PwGWdJA
提取码：q8mb注：以上安装包是一个zip包，内包含安装CDH6.1所有的包，下载后解压即可二、上传安装包到master节点注意：这里的安装目录最好以本文为主，这样后面的指令直接可以粘贴复制即可，不用修改1、在root目录下新建cloudera目录，并将下载的安装包放于里面指令：#
转载
2024-04-20 20:23:20
322阅读
大数据面试重点之kafka(四) Kafka producer的ack设置 问过的一些公司：网易参考答案： Kafka producer有三种ack机制，初始化producer时在config中进行配置 ack=0 意味着producer不等待broker同步完成的确认，继续发送下一条(批)信息。提供了最低的延迟。但是最弱 的持久性，当服务器发生故障时，就很可能发生数据丢失。例如leader已经死
转载
2024-03-05 03:57:21
53阅读
CDH5.16.2搭建1.Cloudera Manager1.1 CM简介1.1.1 CM简介1.1.2 CM架构1.2 CM部署准备配置1.2.1 修改hosts文件1.2.2 SSH免密登录1.2.4 集群整体操作脚本1.2.5 关闭防火墙1.2.6 关闭SELINUX1.2.7 配置NTP时钟同步1.确认是否需要安装2.安装服务4.修改时区1.3 CM安装准备软件1.3.1 安装JDK（三
1.Spark的体系结构官方的一张图： 这里的描述很笼统，只说除了互相的调用关系。这是自己找的一张图： 注意：sc对象是spark自己创建的，每次启动spark的时候都会初始化。不需要继续创建，是程序的入口。2.Spark的安装和部署2.1 安装 Spark的官网：http://spark.apache.org/downloads.html注意：下载的时候，一定要看清版本！！！！！下载到本地，上传
转载
2024-02-19 19:46:15
65阅读
0 说明本文以CDH搭建数据仓库，基于三台阿里云服务器从零开始搭建CDH集群，节点配置信息如下：节点内存安装服务角色chen10216Gcloudera-scm-serverchen1038Gcloudera-scm-agentchen1048Gcloudera-scm-agent上传需要用到的安装包： ① CDH安装包，百度云分享如下：链接：https://pan.baidu.com/s/1N9
转载
2023-08-18 13:28:15
195阅读
文章目录1. 配置主机名2. 时间同步3. ssh免密登录4. 关闭防火墙5. 禁用SELinux6. 安装Java环境7. 元数据库安装卸载mariadb安装MySQL8. 安装 Cloudera Manager9. 启动CM相关服务10. Web端操作 在云计算时代，可能很多公司为了成本的考虑，会采用第三方厂商提供的大数据集群，比如阿里的Maxcompute、华为的FusionInsigh
转载
2023-07-04 14:16:16
305阅读
1.基础环境准备1.1创建一个新的虚拟机1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚拟机 1.10修改配置文件，修改以下三处内容（MAC地址为之前记录的）。 1.11修改MAC地址与配置文件中一致 1.12
转载
2024-04-24 11:29:42
208阅读
文章目录版本查看命令创建主题查看有哪些主题查看某个主题的描述生产和消费压测1、创建单分区单副本主题2、写测试3、读测试配置最大Java堆大小日志数据存储路径默认副本数日志保留策略接受消息的大小其它 版本查看在页面查看：点击具有Kafka服务的主机，然后点击组件在服务器查看 如图2.11是Scala版本，2.2.1是Kafka版本 如果不知道CDH装哪，就把/opt/cloudera换成/find
转载
2024-05-22 10:16:09
164阅读
目录0. 相关文章链接1. CDH的下载1.1. cm的tar包下载1.2. parcels包下载2. 安装CDH的准备工作（所有节点都要执行）2.1. 安装好JDK2.2. 更改主机名和hosts2.3. 关闭防火墙，并重启服务器使hostname和selinux的配置生效2.4. 安装NTP服务2.5. 配置SSH
转载
2024-08-30 16:02:34
468阅读
这里主要总结一些我在CDH中安装的kafka测试的一些比较基础的指令。一、相关基础内容Kafka群集中的每个主机都运行一个称为代理的服务器，该服务器存储发送到主题的消息并服务于消费者请求。首先先看服务器安装kafka的实例信息：注意：然后正常kafka的指令是 ： ./bin/kafka-topics.sh --zookeeper cluster2-4:2181 ......
转载
2024-07-26 07:55:56
671阅读
前期准备链接Cloudera Manager下载CDH下载目录部署环境准备安装JDK时间同步免密登陆mysql安装安装搭建1 . 关闭防火墙service iptables stop(所有节点) SELINUX关闭(所有节点)vi /etc/selinux/config(SELINUX=disabled)2 . 启动mysql2.1 service mysqld start
2.2 mysql -
转载
2023-08-18 22:27:04
54阅读
CDH离线安装配置
原创
2018-05-17 18:13:59
5899阅读
点赞
1评论
版本及准备我部署的是hadoop-2.0.0-cdh4.2.0.tar.gz，下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.2.0.tar.gz。在http://archive.cloudera.com/cdh4/cdh/4/下还可以下载到CDH hadoop生态圈内相关的包。再准备一个jdk1.6+的java环境，设置
1. Kafka Partition Replication 功能：增加Topic分区的可用性 每个Partition分为leader和follower两部分(前提是replication factor大于1的)eg: Topic: hadoop2 Partition: 0 Leader: 3 Replicas:
转载
2024-04-12 09:19:21
146阅读
目 录主机列表基础环境集群主机基础配置配置 NTP 服务配置 MySQL 服务器安装 Cloudera Manager Server 和 AgentServer配置 Server 端配置 Agent 端安装 CDH配置并分配 CDH5 parcel 包安装 Hadoop 集群及相关组件浏览 CDH Web 端相关布局安装 Kafka 组件配置并分配 Kafka parcel 包集群内安装 Kafk
原创
2017-09-03 04:34:00
9781阅读
目 录一 Kafka 11 版本选择 12 集群搭建规划 13 修改Kafka相关配置文件 14 配置全局变量 15 启动Kafka集群 26 测试数据 3二 Flume 51 版本选择 52修改Flume相关配置文件 53 配置全局变量 64 启动Flume 65 测试数据 7三 Flume + Kafka测试启动命令 101 Flume启动测试命令 102 Kafaka启动测试命令
转载
2024-04-24 06:52:13
138阅读
1下载并安装JDK 参考jdk的安装，需要jdk1.6+。2 Kafka的安装 2.1 下载kafka 下载地址：http://mirrors.hust.edu.cn/apache
原创
2017-10-26 15:11:07
2610阅读
本篇文章Fayson主要介绍如何在CDH集群中部署Kafka-Manager并简单的介绍使用。
原创
2022-09-11 07:06:23
685阅读
