简介：CDH的parcel包中是没有kafka的，kafka被剥离了出来，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。PS:kafka有很多版本，CDH也有很多版本，那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有介绍，文档地址：https://www.cloudera.com/documentation/ent
转载
2024-04-02 13:33:35
55阅读
目 录一 Kafka 11 版本选择 12 集群搭建规划 13 修改Kafka相关配置文件 14 配置全局变量 15 启动Kafka集群 26 测试数据 3二 Flume 51 版本选择 52修改Flume相关配置文件 53 配置全局变量 64 启动Flume 65 测试数据 7三 Flume + Kafka测试启动命令 101 Flume启动测试命令 102 Kafaka启动测试命令
转载
2024-04-24 06:52:13
131阅读
添加kafka1.下载kafka包http://archive.cloudera.com/kafka/parcels/latest/把包放到parcel-repo目录2.下载csd包http://archive.cloudera.com/csds/kafka/放到csd目录3.分配kafka包并激活注意：如果进度卡在“已解压”，直接返回重新进来就会看到“激活”4添加kafka角色.默认选项即可安装
原创
2018-06-27 11:37:10
2071阅读
hbase分布式，数据最终会落到 hdfs 文件系统中，所以先要部署 hdfs ，详见文档 hadoop-2.6.0-cdh5.9.3分布式高可用部署。hdfs 部署完毕后，就可以部署 hbase 集群了。 hbase开启 snappy 压缩功能的话，请查看文档首先从cdh官网下载 hbase-1.2.0-cdh5.9.3.tar.gz 包。http://archive.cloudera.com/
1.在已经安装好系统的linux服务器上关闭selinux和iptables2.在所有linux服务器上配置ntp服务并设置ntp时间同步3.在所有linux服务器上安装好cm和cdh版本所需要对应的java版本(1).下载java包到/usr/local目录解压(2).添加java环境到/root/.bash_profile目录下 export JAVA_HOME=/usr/local/jdk
下载Apache kafka各版本下载地址：https://mirror.bit.edu.cn/apache/kafka/CDH 官方提供的kafka http://archive.cloudera.com/kafka/kafka/4/kafka_2.11-2.2.1-kafka-4.1.0.jar 中版本号意思，第一个是scala1.12 、kafka 2.2.1、cdh4.1.0安装部署添加h
转载
2024-09-11 21:04:43
50阅读
前期准备1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系（etc/hosts） 4.关闭防火墙(chkconfig iptables off) chkconfig --list iptables //查看 chkconfig iptables off //关闭防火墙 service iptales status //查看 5.ssh免登陆 6.安装JDK，配置环境变量等(p
转载
2024-10-21 13:29:16
115阅读
文章目录一、概述1.1、定义1.2、如何运作？1.3、传统消息队列的应用场景1.4、消息队列的两种模式1.5、Kafka的基础架构二、安装（需要安装zookeeper）三、常用命令行操作3.1、主题命令行操作3.2、生产者命令行操作3.3、消费者命令行操作 一、概述1.1、定义Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Quere）。 发布/订阅：消息的发布者不会将消息
转载
2024-07-18 08:38:51
32阅读
kafka如何保证不丢失数据呢kafka主要数据传输点主要有三个 1、保证producer写入过程中不丢数据 2、保证broker中不丢数据 3、保证消费者消费时不丢数据场景一 producer写入过程中丢失数据： –首先得了解kafka的写入流程才能找寻到producer丢数据的场景 1、producer首先从zk的"…/state"节点中get到本分区中leader的信息 2、producer
转载
2024-02-26 21:04:16
25阅读
大数据面试重点之kafka(四) Kafka producer的ack设置 问过的一些公司：网易参考答案： Kafka producer有三种ack机制，初始化producer时在config中进行配置 ack=0 意味着producer不等待broker同步完成的确认，继续发送下一条(批)信息。提供了最低的延迟。但是最弱 的持久性，当服务器发生故障时，就很可能发生数据丢失。例如leader已经死
转载
2024-03-05 03:57:21
53阅读
搭建环境多台linux主机搭建集群+CDH 6.3.2 (Parcel)版本+dolphinscheduler 1.3.2版本本流程在CDH已搭建完成并可正常使用后，开启kerberos功能dolphinscheduler用于大数据任务管理与执行，是很不错的任务调度平台，是否提前部署均可开启kerberos目的：用于用户权限管理与安全认证，在开启kerberos之前的安全防护主要采取开启防火墙的方
转载
2024-08-20 10:17:59
135阅读
文章目录版本查看命令创建主题查看有哪些主题查看某个主题的描述生产和消费压测1、创建单分区单副本主题2、写测试3、读测试配置最大Java堆大小日志数据存储路径默认副本数日志保留策略接受消息的大小其它 版本查看在页面查看：点击具有Kafka服务的主机，然后点击组件在服务器查看 如图2.11是Scala版本，2.2.1是Kafka版本 如果不知道CDH装哪，就把/opt/cloudera换成/find
转载
2024-05-22 10:16:09
161阅读
这里主要总结一些我在CDH中安装的kafka测试的一些比较基础的指令。一、相关基础内容Kafka群集中的每个主机都运行一个称为代理的服务器，该服务器存储发送到主题的消息并服务于消费者请求。首先先看服务器安装kafka的实例信息：注意：然后正常kafka的指令是 ： ./bin/kafka-topics.sh --zookeeper cluster2-4:2181 ......
转载
2024-07-26 07:55:56
664阅读
一、安装包下载链接：https://pan.baidu.com/s/1G6V9u5PDyxlixZ2PwGWdJA
提取码：q8mb注：以上安装包是一个zip包，内包含安装CDH6.1所有的包，下载后解压即可二、上传安装包到master节点注意：这里的安装目录最好以本文为主，这样后面的指令直接可以粘贴复制即可，不用修改1、在root目录下新建cloudera目录，并将下载的安装包放于里面指令：#
转载
2024-04-20 20:23:20
322阅读
环境篇：CDH优化篇为什么出这篇文章？近期有很多公司开始引入大数据，由于各方资源有限，并不能合理分配服务器资源，和服务器选型，小叶这里将工作中的总结出来，给新入行的小伙伴带个方向，以下会将企业级测试环境和线上环境的基础方案给出，不敢说一定对，但是本人亲自测试，发现集群使用率稳定提高了3分之1，最高可达到2分之1，有不对的地方欢迎留言指出。注：可能有些服务没有设计，使用到的小伙伴可以参照这种方式去规
转载
2024-05-11 21:01:16
264阅读
1.简介Kafka是一种高吞吐量的分布式发布订阅消息系统。详细介绍可查阅官网：kafka官网2.环境搭建2.1 安装JDK下载地址：jre下载2.2 安装Zookeeper下载地址：(https://zookeeper.apache.org/releases.html)下载后，解压放在目录D:\bigdata（本文所用的目录）下，关于zookeeper以及kafka的目录，路径中最好不要出现空格，
转载
2024-04-18 08:57:50
36阅读
sql server 2008 开启 cdc开启数据库 cdc （只能对有主键或者有唯一索引的表开启cdc）查看sql server的代理状态关闭开启EXECUTE sys.sp_cdc_enable_db开启后如图会自动创建一个 数据库实例为 cdc 并包括以下表#### CDC 表说明
cdc.change_tables：表开启cdc后会插入一条数据到这张表中，记录表一些基本信息
cd
转载
2024-03-25 13:53:21
53阅读
环境：CentOS Linux release 8.1.1911 (Core) + zookeeper-3.6.2+kafka_2.13-2.7.0(2.13是scala版本，2.7.0是kafka版本，kafa使用scala开发的)+ jdk8zk下载地址： kafka下载地址： 一、环境准备将下载的3个软件(jdk，zk，kafka)放在/root/sf目录(这里目录根
转载
2024-04-16 09:15:32
35阅读
一、Quota 功能简介官方文档二、Quota功能简介Kafka从0.9版本开始增加流量控制功能–Quotas，并在broker中增加了以下的配置。可以在broker的配置文件中增加相应的对producer和consumer的流量控制配置，即每秒生产/消费的byte数目大小。默认值是Long类型的最大值，即不限制流量，尽最大可能地生产/消费消息。但可以看到在新版的配置中，这两项配置已经被声明为De
转载
2024-03-12 13:40:59
50阅读
文章目录导入离线包开始安装flume消费kafka数据到hdfs上导入离线包主节点创建/opt/cloudera/csd目录mkdir -p /opt/cloudera/csd上传KAFKA-1.2.0.jar到/opt/cloudera/csd目录，并修改所有者和所有者的组[root@hadoop001 csd]# chown cloudera-scm:cloudera-scm ...
原创
2022-02-17 18:42:34
1023阅读
1评论
