datax kafka驱动包下载 kafka windows下安装

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。

---

下载地址：

Zookeeper下载地址：

https://archive.apache.org/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz

Kafka下载地址：

https://archive.apache.org/dist/kafka/2.0.0/kafka_2.12-2.0.0.tgz

---

安装步骤

步骤一：安装jdk环境：

jdk安装很简单，可自行百度进行学习安装。

步骤二：下载并解压Zookeeper

Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper。

解压下载的文件zookeeper-3.4.13.tar.gz，并重命名解压后的文件为zookeeper3.4,复制到指定位置（此处以C:\zookeeper3.4为例）

步骤三：配置Zookeeper

将c:\zookeeper3.4\conf下的zoo_sample.cfg文件更改为zoo.cfg;
打开“zoo.cfg”找到并编辑dataDir=c:\zookeeper3.4\tmp
注意此处配置的路径一定是“\\”而不是“\”,不然会启动后会报错并自动关闭服务。

步骤四：配置Zookeeper环境变量

我的电脑→右键选择属性→高级系统设置→环境变量：

选择新建系统环境变量

配置ZOOKEEPER_HOME：

在系统环境变量Path中，增加“%ZOOKEEPER_HOME%\bin；”，不能删除或者覆盖原Path的变量值。

步骤五：启动Zookeeper

打开dos窗口，输入命令：

">$ zkServer

启动成功：

注意，在使用kafka 的时候，一定保持窗口不能关闭。

步骤六：下载并解压Kafka

解压下载的文件kafka_2.12-2.0.0.tgz，并重命名为kafka2.12，并复制到指定位置（此处以c:\kafka2.12为例）

步骤七：配置Kafka

打开c:\kafka2.12\config\server.properties
编辑log.dirs=c:\kafka2.12\kafka-logs
编辑zookeeper.connect=localhost:2181

步骤八：启动Kafka

打开dos，输入命令：

">$ cd c:\kafka2.12
$ .\bin\windows\kafka-server-start.bat .\config\server.properties

启动成功：

如果启动报错错误: 
      "找不到或无法加载主类 Files\Java\jdk1.8.0_192\lib\dt.jar;C:\Program"

则需要把c:\kafka2.12\bin\window\kafka-run-class.bat里的内容(约179行)，
Set COMMAND= %JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %
也就是把 %CLASSPATH% 更改为”%CLASSPATH%”,增加了英文双引号

---

测试和使用

① 创建主题

打开dos窗口，输入如下命令(命令中zjdetopic 是自己命名的topic名称)：

">$ cd c:\kafka2.12
$ .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zjdetopic

注意不要关掉窗口
查看主题，输入命令：

">.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

测试结果：

②测试生产者与消费者

打开dos窗口，输入命令：

">$ cd c:\kafka2.12
$ .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic zjdevtest
$ zhangsan

窗口不要关闭,新打开一个dos窗口，输入命令：

">$ cd c:\kafka2.12
$ .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic zjdevtest --from-beginning

测试结果：