目录
1.服务器环境
2.安装kafka
1)安装前准备
2)修改配置文件
3)启动zookeeper
4)启动kafka
5)测试
1.服务器环境
系统版本:Red Hat Enterprise Linux Server release 6.8
2.安装kafka
1)安装前准备
上传安装包,解压至指定目录
创建日志目录和数据目录
sudo mkdir -v {logs1,logs2,logs3}
sudo mkdir -pv zookeeper/{data1,data2,data3,log1,log2,log3}
进入创建的zookeeper的data目录,编辑myid,用于zookeeper集群识别。
此处只写data1,其他两个一样
cd /home/XX/kafkas/zookeeper/data1
sudo vim myid
在文件中添加数字:1
其他两个data中的myid输入的是对应值
2)修改配置文件
本机是安装了三个kafka做的集群,因为都在一台服务器上,所以是伪集群。Kafka是将状态保存在zookeeper中的,所以首先要搭建zookeeper集群。本机使用的zookeeper是kafka自带的。
切至解压目录的config目录下
cd kafka_2.12-1.1.0/config
复制zookeeper的配置文件
sudo cp zookeeper.properties zookeeper1.properties
sudo cp zookeeper.properties zookeeper2.properties
sudo cp zookeeper.properties zookeeper3.properties
复制kafka的配置文件
sudo cp server.properties server1.properties
sudo cp server.properties server2.properties
sudo cp server.properties server3.properties
修改复制的3个zookeeper配置文件,如下图:
dataDir:按照上面创建的目录填写
dataLogDir:增添,值为上面创建的目录
端口号顺延:2182-2184
server值顺延:127.0.0.1-127.0.0.3,如:127.0.0.2:2888:3888
参数说明:
maxClientCnxns:zookeeper为每个IP提供连接的个数
tickTime:这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
dataDir:顾名思义就是Zookeeper保存数据的目录,默认情况下,Zookeeper将写数据的日志文件也保存在这个目录里。
clientPort:这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口,接受客户端的访问请求。
initLimit:这个配置项是用来配置Zookeeper接受客户端(这里所说的客户端不是用户连接Zookeeper服务器的客户端,而是Zookeeper服务器集群中连接到Leader的Follower服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过5个心跳的时间(也就是 tickTime)长度后Zookeeper服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是5*2000=10秒
syncLimit:这个配置项标识Leader与Follower之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是2*2000=4秒
server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的Leader服务器交换信息的端口;D 表示的是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的Zookeeper实例通信端口号不能一样,所以要给它们分配不同的端口号。
修改复制的3个server.properties文件,如下:
border.id值顺延:1-3
port值顺延:9092-9094
host.name值都为ip
listeners=PLAINTEXT://ip:9092(注意修改)
advertised.listeners=PLAINTEXT://ip:9092(注意修改)
log.dirs=/home/elkuser/kafkas/logs1(logs序号对应)
zookeeper.connect=127.0.0.1:2182,127.0.0.2:2183,127.0.0.3:2184
参数说明:
broker.id:这个id如果部署的是kafka集群,id是不能一样的,可以以节点ip最后一位命名。
port:kafka端口,如果一台机器上面部署了多个kafka实例,需要两个实例端口不一样。
log.dirs:kafka日志文件存放路径,默认是/tmp下的,重启会消失,所以我们更换目录。
zookeeper.connect:这是与zk单机或者集群的连接.
3)启动zookeeper
切至安装目录的bin目录,分别启动3个zookeeper
执行命令:
sudo nohup ./zookeeper-server-start.sh ../config/zookeeper1.properties &
sudo nohup ./zookeeper-server-start.sh ../config/zookeeper2.properties &
sudo nohup ./zookeeper-server-start.sh ../config/zookeeper3.properties &
日志输出在bin目录下的nohup.out文件中
查看日志,没有报错即为启动成功,命令:
#cat nohup.out
4)启动kafka
切至安装目录的bin目录,分别启动3个kafka
执行命令:
sudo nohup ./kafka-server-start.sh ../config/server1.properties &
sudo nohup ./kafka-server-start.sh ../config/server2.properties &
sudo nohup ./kafka-server-start.sh ../config/server3.properties &
日志输出在bin目录下的nohup.out文件中
查看日志,没有报错即为启动成功。
跟踪日志命令:
sudo tail -f nohup.out
5)测试
切至任意一台kafka安装目录
创建topic(3分区,2备份)
sudo bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2182,127.0.0.2:2183,127.0.0.3:2184 --replication-factor 2 --partitions 3 --topic test
查看存在的topic
sudo bin/kafka-topics.sh --zookeeper 127.0.0.1:2182,127.0.0.2:2183,127.0.0.3:2184 --list
创建生产者,往topic中写入消息
sudo bin/kafka-console-producer.sh --broker-list ip:9092,ip:9093,ip:9094 --topic test(注意修改)
创建消费者,查看topic中信息
sudo bin/kafka-console-consumer.sh --bootstrap-server ip:9092,ip:9093,ip:9094 --topic important-logs --from-beginning
上面的命令通过后,可以kill掉一个kafka,然后再重新执行上面命令,若无错误,证明kafka伪集群配置成功。
其他命令:
删除topic
sudo ./kafka-topics.sh --delete --zookeeper 127.0.0.1:2182,127.0.0.2:2183,127.0.0.3:2184 --topic test