kafka安装配置（集群）以及收发消息讲解
一、安装配置
1、下载解压
wget http://mirror.bit.edu.cn/apache/kafka/0.10.2.0/kafka_2.10-0.10.2.0.tgz
tar -zxvf kafka_2.10-0.10.2.0.tgz
kafka下载tgz包直接解压无需其他安装过程，下面是启动的过程
2、启动、收发消息操作
进入上步解压好的目录下：cd kafka_2.10-0.10.2.0
目录结构如下：
total 56
drwxr-xr-x 3 rootroot 4096 Feb 15 01:28 bin
drwxr-xr-x 2 rootroot 4096 Mar 7 20:36 config
drwxr-xr-x 2 rootroot 4096 Mar 7 18:55 libs
-rw-r--r-- 1 rootroot 28824 Feb 15 01:26 LICENSE
drwxr-xr-x 2 rootroot 4096 Mar 7 21:04 logs
-rw-r--r-- 1 rootroot 336 Feb 15 01:26 NOTICE
drwxr-xr-x 2 rootroot 4096 Feb 15 01:28 site-docs
第一步：首先启动zookeeper服务：（kafka是由zookeeper来管理其一些属性的）
bin/zookeeper-server-start.sh config/zookeeper.properties
第二步：启动kafka服务，也就是broker服务
bin/kafka-server-start.sh config/server.properties
第三步：创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
注意：上面是一行命令不是两行命令
这时候可以看到输出提示：Created topic "test".
如果你topic已经存在也会提示，信息如下：
Error while executing topic command : Topic'test' already exists.
[2017-03-07 21:36:35,062] ERRORorg.apache.kafka.common.errors.TopicExistsException: Topic 'test' alreadyexists.
(kafka.admin.TopicCommand$)
另外你也可以执行下面的命令查看你创建的topic有哪些：
bin/kafka-topics.sh --list --zookeeper localhost:2181
test
第四步：发送消息（producer）
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
aaaaaaaaaaaa
bbbbbbbbbbb
第五步收消息：（consumer）
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
aaaaaaaaaaaa
bbbbbbbbbbb
二、配置参数讲解
在kafka解压的目录下面可以看到config文件，其中zookeeper、server、producer、consumer以及其他的属性配置都在这个文件下
配置broker的属性文件是：server.properties
这里先重点解释一下里面的参数意义：
1、其中broker.id=0是broker的id，一个集群所有id不能有相同的id。
2、listeners=PLAINTEXT://192.168.1.108:9092
这个是SocketServer Settings的配置：监听的ip：port，就是producer发消息的socket地址
listeners=PLAINTEXT://192.168.1.108:9092
这里PLAINTEXT是协议，有时候你的ip写成hostname或者是localhost会早造成发消息不成功或者收不到消息，改成具体ip地址应该是最安全的方式。
3、log.dirs=/tmp/kafka-logs 是日志文件路径
4、zookeeper.connect=localhost:2181 是你的broker连接zookeeper的地址ip：port
这个四个配置项目相当重要，有时候你连接不上或者收发消息不成功的时候往往是ip地址造成的。
三、现在配置多个broker：
cp server.properties server1.properties
cp server.properties server2.properties
修改server1.properties
broker.id=1
listeners=PLAINTEXT://192.168.1.108:9093
log.dir=/tmp/kafka-logs-1
server2.properties
broker.id=2
listeners=PLAINTEXT://192.168.1.108:9094
log.dir=/tmp/kafka-logs-2
下面来演示一下：
先创建一个topic 现在我们创建一个具有三份副本、两个划分partitions的主题
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 2 --topic chenxun
同时启动三个broker
bin/kafka-server-start.sh config/server.properties&
bin/kafka-server-start.sh config/server1.properties&
bin/kafka-server-start.sh config/server2.properties&
这里用下面的命令查看一下topic的信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic chenxun
看到没有：patitions是2 replication因子是3（topic里面的消息有3份） leader是1这里1就是broker.id
现在我们发消息到topic：
bin/kafka-console-producer.sh --broker-list 192.168.1.108:9092 --topic chenxun
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic chenxun
接下来；我们kill掉leader 1
ps -elf|grep server1.properties查看进程id
kill -9 32474
执行下面的命令再次查看topic的信息的变化：其中leader是不是变了
bin/kafka-topics.sh --describe --zookeeperlocalhost:2181 --topic chenxun
