准备工作
上传 zookeeper-3.4.6.tar.gz、scala-2.11.4.tgz、kafka_2.9.2-0.8.1.1.tgz、slf4j-1.7.6.zip 至/usr/local目录
zookeeper集群搭建
解压zookeeper安装包
# tar -zxvf zookeeper-3.4.6.tar.gz
删除原压缩包
# rm -rf zookeeper-3.4.6.tar.gz
重命名
# mv zookeeper-3.4.6 zk
配置zookeeper相关的环境变量
# vi /etc/profile
export ZOOKEEPER_HOME=/usr/local/zk
export PATH=$PATH:$ZOOKEEPER_HOME/bin
# source /etc/profile
ls 等命令无效
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
修改zookeeper配置文件
# cd /usr/local/zk/conf
# cp zoo_sample.cfg zoo.cfg
# vi zoo.cfg
修改：
dataDir=/usr/local/zk/data
新增：
server.0=eshop-cache01:2888:3888
server.1=eshop-cache02:2888:3888
server.2=eshop-cache03:2888:3888
新建zookeeper的data数据文件
# cd /usr/local/zk
# mkdir data
# cd data
# vi myid 添加标识号：0
其他集群节点重复上述配置即可，唯一不同的是标识号不同，可为1、2...
启动zookeeper
# zkServer.sh start
查看zookeeper的状态
# zkServer.sh status
kafka集群搭建
scala安装
解压scala安装包
# tar -zxvf scala-2.11.4.tgz
重命名
# mv scala-2.11.4 scala
配置scala的环境变量
# vi /etc/profile
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
# source /etc/profile
查看scala的version版本
# scala -version
kafka安装
解压kafka安装包
# tar -zxvf kafka_2.9.2-0.8.1.1.tgz
重命名
# mv kafka_2.9.2-0.8.1.1 kafka
配置kafka
# vi /usr/local/kafka/config/server.properties
broker.id=0 //集群节点0、1、2依次增长的整数
zookeeper.connect=192.168.27.11:2181,192.168.27.12:2181,192.168.27.13:2181
kafka安装问题
解决kafka的Unrecognized VM option 'UseCompressedOops'问题
# vi /usr/local/kafka/bin/kafka-run-class.sh
if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi
去掉-XX:+UseCompressedOops即可
解决kafka因系统物理内存不足启动失败的问题
# vi /usr/local/kafka/bin/kafka-server-start.sh
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
安装slf4j
解压slf4j压缩包
# unzip slf4j-1.7.6.zip
复制 slf4j-nop-1.7.6.jar 至kafka的libs目录
# cp /usr/local/slf4j-1.7.6/slf4j-nop-1.7.6.jar /usr/local/kafka/libs
按照上述步骤在集群其他节点完成kafka的安装，唯一区别就是server.properties的broker.id,需设置不同的整数1、2...
启动kafka
# nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
查看启动日志
# cat nohup.out
检查kafka是否启动成功
# jps
完成各个节点的安装后，检查kafka集群是否搭建成功
// 创建测试topic
# /usr/local/kafka/bin/kafka-topics.sh --zookeeper 192.168.27.11:2181,192.168.27.12:2181,192.168.27.13:2181 --topic test --replication-factor 1 --partitions 1 --create
// 创建生产者
# /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.27.11:9092,192.168.27.12:9092,192.168.27.13:9092 --topic test
// 创建消费者
# /usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.27.11:2181,192.168.27.12:2181,192.168.27.13:2181 --topic test --from-beginning
