kafka环境搭建

目录

kafka环境搭建... 1

一、机器准备... 1

二、下载安装包... 1

三、安装zookeeper. 1

四、kafka配置... 2

五、启动 zookeeper 和 Kafka 服务... 3

 

 

 

 

一、机器准备

三机互联，ssh免密登陆

         192.168.6.181

         192.168.6.182

         192.168.6.183

二、下载安装包

         kafka_2.12-1.1.0.tgz

三、安装zookeeper

机器：192.168.6.178、192.168.6.179、192.168.6.180

         1、zoo.cfg【三台机器配置基本相同 clientPort不相同】

         mkdir data

         mkdir logs

 

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/hadoop/zookeeper-3.4.12/data
dataLogDir=/hadoop/zookeeper-3.4.12/logs
clientPort=2181
server.0=192.168.6.178: 2888:3888
server.1=192.168.6.179: 2888:3888
server.2=192.168.6.180: 2888:3888

 

        

        

 

 

 

 

 

 

 

 

 

这些配置项的解释如下:

  • tickTime：zookeeper 服务器之间的心跳时间间隔，以毫秒为单位。
  • dataDir：zookeeper 的数据保存目录，我们也把 zookeeper 服务器的 ID 文件保存到这个目录下。
  • clientPort：zookeeper 服务器会监听这个端口，然后等待客户端连接。
  • initLimit：zookeeper 集群中 follower 服务器和 leader 服务器之间建立初始连接时所能容忍的心跳次数的极限值。
  • syncLimit：zookeeper 集群中 follower 服务器和 leader 服务器之间请求和应答过程中所能容忍的心跳次数的极限值。
  • server.N：N 代表的是 zookeeper 集群服务器的编号。对于配置值，以 192.168.1.1:2888:3888 为例，192.168.1.1 表示该服务器的 IP 地址，2888 端口表示该服务器与 leader 服务器的数据交换端口，3888 表示选举新的 leader 服务器时候用到的通信端口。

四、kafka配置

机器：192.168.6.181、192.168.6.182、192.168.6.183

         1、编辑 config/server.properties 文件【broker.id每台机都有改变】

 

broker.id=0
port=9092
host.name=192.168.1.1
zookeeper.contact=192.168.6.181:2181, 192.168.6.182:2181,192.168.6.183:2181
log.dirs=/hadoop/zookeeper-3.4.12/logs

        

 

 

 

 

 

这些配置项解释如下：

  • broker.id：Kafka broker 的唯一标识，集群中不能重复。
  • port: Broker 的监听端口，用于监听 Producer 或者 Consumer 的连接。
  • host.name:当前 Broker 服务器的 IP 地址或者机器名。
  • zookeeper.contact:Broker 作为 zookeeper 的 client，可以连接的 zookeeper 的地址信息。
  • log.dirs：日志保存目录。

2、编辑 config/producer.properties 文件

 

 

 


broker.list=192.168.6.181:9092, 192.168.6.182:9092,192.168.6.183:9092
producer.type=async

 

 

 

 

这些配置项解释如下：

  • broker.list：集群中 Broker 地址列表。
  • producer.type: Producer 类型,async 异步生产者，sync 同步生产者。

3、 编辑 config/consumer.properties 文件

 

 

 

zookeeper.contact=192.168.6.181:2181, 192.168.6.182:2181, 192.168.6.183:2181

 

 

配置项解释如下：

  • zookeeper.contact: Consumer 可以连接的 zookeeper 服务器地址列表。

4、将安装包拷贝到其余两台机器之上

scp  -r root@192.168.6.181:/目录 /目录

我们需要到 192.168.6.179 和 192.168.6.180 两台机器上解压刚才上传的 tar 包，命令如清单一。之后需要分别在两台机器上修改 config/server.properties 文件中的 broker.id 和 host.name. broker.id，可以分别复制 1 和 2，host.name 需要改成当前机器的 IP。

五、启动

         1、启动zookeeper

zookeeper-server-start.sh config/zookeeper.properties &

         2、启动kafka

kafka-server-start.sh config/server.properties &
六、验证集群

         1、查看 Kafka 和 zookeeper 服务进程

ps –ef | grep kafka

                   ps –ef | grep zookeeper

         2、创建消息主题，并通过 console producer 和 console consumer 验证消息可以被正常的生产和消费

 

 

 

 

kafka-topics.sh --create \
--replication-factor 3 \
--partition 3 \
--topic user-behavior-topic \
--zookeeper 192.168.6.178:2181, 192.168.6.179:2181, 192.168.6.180:2181

 

        

 

 

 

 

3、启动 Console Producer

 

 

 

kafka-console-producer.sh --broker-list 192.168.6.183:9092 --topic user-behavior-topic

 

 

 

在另一台机器打开 console consumer

4、启动 Console Consumer

 

 

 

kafka-console-consumer.sh --zookeeper 192.168.6.178:2181 --topic user-behavior-topic --from-beginning