简介：CDH的parcel包中是没有kafka的，kafka被剥离了出来，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。PS:kafka有很多版本，CDH也有很多版本，那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有介绍，文档地址：https://www.cloudera.com/documentation/ent
转载
2024-04-02 13:33:35
55阅读
一、安装包下载链接：https://pan.baidu.com/s/1G6V9u5PDyxlixZ2PwGWdJA
提取码：q8mb注：以上安装包是一个zip包，内包含安装CDH6.1所有的包，下载后解压即可二、上传安装包到master节点注意：这里的安装目录最好以本文为主，这样后面的指令直接可以粘贴复制即可，不用修改1、在root目录下新建cloudera目录，并将下载的安装包放于里面指令：#
转载
2024-04-20 20:23:20
322阅读
大数据面试重点之kafka(四) Kafka producer的ack设置 问过的一些公司：网易参考答案： Kafka producer有三种ack机制，初始化producer时在config中进行配置 ack=0 意味着producer不等待broker同步完成的确认，继续发送下一条(批)信息。提供了最低的延迟。但是最弱 的持久性，当服务器发生故障时，就很可能发生数据丢失。例如leader已经死
转载
2024-03-05 03:57:21
53阅读
引言使用Hue可以方便的通过界面制定Oozie的工作流，支持Hive、Pig、Spark、Java、Sqoop、MapReduce、Shell等等。Spark？当让可以，但是自带是spark1的，那能不能支持Spark2的呢？接下来本文章就主要讲述如何使用Hue创建Spark1和Spark2的Oozie工作流。安装spark2-lib到oozie环境说明 spark2 ： CDH内 jar包在
CDH5.16.2搭建1.Cloudera Manager1.1 CM简介1.1.1 CM简介1.1.2 CM架构1.2 CM部署准备配置1.2.1 修改hosts文件1.2.2 SSH免密登录1.2.4 集群整体操作脚本1.2.5 关闭防火墙1.2.6 关闭SELINUX1.2.7 配置NTP时钟同步1.确认是否需要安装2.安装服务4.修改时区1.3 CM安装准备软件1.3.1 安装JDK（三
1.Spark的体系结构官方的一张图： 这里的描述很笼统，只说除了互相的调用关系。这是自己找的一张图： 注意：sc对象是spark自己创建的，每次启动spark的时候都会初始化。不需要继续创建，是程序的入口。2.Spark的安装和部署2.1 安装 Spark的官网：http://spark.apache.org/downloads.html注意：下载的时候，一定要看清版本！！！！！下载到本地，上传
转载
2024-02-19 19:46:15
65阅读
文章目录版本查看命令创建主题查看有哪些主题查看某个主题的描述生产和消费压测1、创建单分区单副本主题2、写测试3、读测试配置最大Java堆大小日志数据存储路径默认副本数日志保留策略接受消息的大小其它 版本查看在页面查看：点击具有Kafka服务的主机，然后点击组件在服务器查看 如图2.11是Scala版本，2.2.1是Kafka版本 如果不知道CDH装哪，就把/opt/cloudera换成/find
转载
2024-05-22 10:16:09
161阅读
这里主要总结一些我在CDH中安装的kafka测试的一些比较基础的指令。一、相关基础内容Kafka群集中的每个主机都运行一个称为代理的服务器，该服务器存储发送到主题的消息并服务于消费者请求。首先先看服务器安装kafka的实例信息：注意：然后正常kafka的指令是 ： ./bin/kafka-topics.sh --zookeeper cluster2-4:2181 ......
转载
2024-07-26 07:55:56
664阅读
目 录主机列表基础环境集群主机基础配置配置 NTP 服务配置 MySQL 服务器安装 Cloudera Manager Server 和 AgentServer配置 Server 端配置 Agent 端安装 CDH配置并分配 CDH5 parcel 包安装 Hadoop 集群及相关组件浏览 CDH Web 端相关布局安装 Kafka 组件配置并分配 Kafka parcel 包集群内安装 Kafk
原创
2017-09-03 04:34:00
9781阅读
目 录一 Kafka 11 版本选择 12 集群搭建规划 13 修改Kafka相关配置文件 14 配置全局变量 15 启动Kafka集群 26 测试数据 3二 Flume 51 版本选择 52修改Flume相关配置文件 53 配置全局变量 64 启动Flume 65 测试数据 7三 Flume + Kafka测试启动命令 101 Flume启动测试命令 102 Kafaka启动测试命令
转载
2024-04-24 06:52:13
131阅读
记录：303场景：在CentOS 7.9操作系统上，离线安装CM6.3.1和CDH6.3.2大数据平台。主要内容：配置集群基础环境、安装MySQL数据库、配置本地yum源、配置NTP校时、安装CM和CDH基础依赖包、安装CM和CDH。名词：Hadoop：是一个由Apache基金会开发的分布式系统基础架构。CM：Cloudera Manager简称，Cloudera公司开发的一款大数据集群安装部署工
前期准备1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系（etc/hosts） 4.关闭防火墙(chkconfig iptables off) chkconfig --list iptables //查看 chkconfig iptables off //关闭防火墙 service iptales status //查看 5.ssh免登陆 6.安装JDK，配置环境变量等(p
转载
2024-10-21 13:29:16
115阅读
文章目录一、概述1.1、定义1.2、如何运作？1.3、传统消息队列的应用场景1.4、消息队列的两种模式1.5、Kafka的基础架构二、安装（需要安装zookeeper）三、常用命令行操作3.1、主题命令行操作3.2、生产者命令行操作3.3、消费者命令行操作 一、概述1.1、定义Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Quere）。 发布/订阅：消息的发布者不会将消息
转载
2024-07-18 08:38:51
32阅读
添加kafka1.下载kafka包http://archive.cloudera.com/kafka/parcels/latest/把包放到parcel-repo目录2.下载csd包http://archive.cloudera.com/csds/kafka/放到csd目录3.分配kafka包并激活注意：如果进度卡在“已解压”，直接返回重新进来就会看到“激活”4添加kafka角色.默认选项即可安装
原创
2018-06-27 11:37:10
2071阅读
1.在已经安装好系统的linux服务器上关闭selinux和iptables2.在所有linux服务器上配置ntp服务并设置ntp时间同步3.在所有linux服务器上安装好cm和cdh版本所需要对应的java版本(1).下载java包到/usr/local目录解压(2).添加java环境到/root/.bash_profile目录下 export JAVA_HOME=/usr/local/jdk
下载Apache kafka各版本下载地址：https://mirror.bit.edu.cn/apache/kafka/CDH 官方提供的kafka http://archive.cloudera.com/kafka/kafka/4/kafka_2.11-2.2.1-kafka-4.1.0.jar 中版本号意思，第一个是scala1.12 、kafka 2.2.1、cdh4.1.0安装部署添加h
转载
2024-09-11 21:04:43
50阅读
hbase分布式，数据最终会落到 hdfs 文件系统中，所以先要部署 hdfs ，详见文档 hadoop-2.6.0-cdh5.9.3分布式高可用部署。hdfs 部署完毕后，就可以部署 hbase 集群了。 hbase开启 snappy 压缩功能的话，请查看文档首先从cdh官网下载 hbase-1.2.0-cdh5.9.3.tar.gz 包。http://archive.cloudera.com/
kafka如何保证不丢失数据呢kafka主要数据传输点主要有三个 1、保证producer写入过程中不丢数据 2、保证broker中不丢数据 3、保证消费者消费时不丢数据场景一 producer写入过程中丢失数据： –首先得了解kafka的写入流程才能找寻到producer丢数据的场景 1、producer首先从zk的"…/state"节点中get到本分区中leader的信息 2、producer
转载
2024-02-26 21:04:16
25阅读
搭建环境多台linux主机搭建集群+CDH 6.3.2 (Parcel)版本+dolphinscheduler 1.3.2版本本流程在CDH已搭建完成并可正常使用后，开启kerberos功能dolphinscheduler用于大数据任务管理与执行，是很不错的任务调度平台，是否提前部署均可开启kerberos目的：用于用户权限管理与安全认证，在开启kerberos之前的安全防护主要采取开启防火墙的方
转载
2024-08-20 10:17:59
135阅读
Kafka的安装和简单实例测试 一、安装kafka 前提：事先将kafka_2.10-0.10.1.0.tgz安装包放入到~/下载目录下。 注：kafka的使用依赖zookeeper,安装kafka前必须先安装zookeeper, 下载稳定版本0.10.1.0的kafka.此安装包内已经附带zookeeper,不需要额外安装zookeeper. 1. 进入~/下载 目录，查看安装包是否
转载
2024-03-27 10:28:12
4阅读
