~ kafka

  • 设计初衷为统一信息收集平台
  • 分布式收集，统一处理
  • 可以实时处理反馈信息
  • 支持大数据
  • 高容错
  • 分布式、分区的、多副本的、多订阅者的日志系统（分布式MQ系统）
  • 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。
  • ii. 多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请求和转发。
  • iii. producer产生和推送(push)数据到broker，consumer从broker拉取(pull)数据并进行处理。   
  • iv. broker端不维护数据的消费状态，提升了性能。  
  • v. 直接使用磁盘进行存储，线性读写，速度快：避免了数据在JVM内存和系统内存之间的复制，减少耗性能的创建对象和垃圾回收。
  • vi. Kafka使用scala编写，可以运行在JVM上。
  • java编程需要引入相关jar包
  • 详细
  • 操作
  • 启动
  • 启动zookeeper server
  • bin/zookeeper-server-start.sh config/zookeeper.properties &
  • 启动kafka server
  • bin/kafka-server-start.sh config/server.properties &
  • 组件
  • zookeeper
  • Topic/logs
  • 分类，一类消息
  • Product
  • 发送者，生产者
  • Consumer
  • 接收者
  • partition
  • 区
  • append log文件
  • Offset
  • 消息在partition中的位置
  • 消息队列
  • broker
  • kafka集群中的kafka实例
  • 场景
  • Message Queue
  • 设计原理
  • 持久化
  • 文件存储+缓存批量IO
  • 性能
  • 可压缩
  • Product发送者，生产者
  • 负载均衡
  • 异步发送
  • Consumer
  • 接收者
  • API
  • high-lever
  • simple
  • 消息传送机制
  • 最多一次
  • 最少一次
  • 只有一次
  • 复制备份
  • leader
  • 负责所有读写以及监控follow
  • follow
  • 以及与leader同步
  • 所有的follow都保存成功消息才能被消费
  • 即使只有一个replicas实例存活仍然可以实现消息的正常发送接收
  • 日志
  • zookeeper
  • 主要配置
  • Broker
  • Product
  • Consumer
  • Broker部署
  • 单机
  • 集群
  • 安装
  • liunx环境
  • 安装jdk
  • vi /etc/profile在末尾追加
  • JAVA_HOME
  • JRE_HOME
  • PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
  • CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
  • source /etc/profile使环境变量立刻生效
  • ~ jdk安装
  • 安装kafka
  • 解压
  • tar -xzvf kafka_2.8.0-0.8.1.tgz ;rm kafka_2.8.0-0.8.1.tgz; cd kafka_2.8.0-0.8.1
  • 修改配置
  • Kafka默认开启JVM压缩指针，但只是在64位的HotSpot VM受支持，如果安装了32位的HotSpot VM，需要修改/bin/kafka-run-class.sh文件
  • KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
  • 去除-XX:+UseCompressedOops参数
  • 启动
  • bin/zookeeper-server-start.sh config/zookeeper.properties &
  • bin/kafka-server-start.sh config/server.properties &
  • 停止
  • bin/kafka-server-stop.sh config/server.properties &
  • bin/zookeeper-server-stop.sh config/zookeeper.properties &
  • 主机topic
  • create a topic
  • 创建单partitions单replication的topic
  • bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic test2
  • 查看topic
  • bin/kafka-topics.sh --list --zookeeper localhost:2181
  • 查看topic的分区
  • bin/kafka-topics.sh --describe --zookeeper localhost:2181
  • bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
  • 启动生产者
  • bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  • 启动消费者
  • bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
  • produce启动的时候参数使用的是kafka的端口而consumer启动的时候使用的是zookeeper的端口；
  • 单机连通性能测试
  • 运行producer
  • bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  • 运行consumer
  • bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
  • 在producer端输入字符串并回车，查看consumer端是否显示。
  • 分布式连通性测试
  • 配置修改
  • bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic my-topic     --config max.message.bytes=128000
    bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic my-topic     --deleteConfig max.message.bytes
  • 查看消费者的位置
  • bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zkconnect localhost:2181 --group test
  • 删除topic与数据
  • 1) kafka-topics.sh --delete --zookeeper host:port --topic topicname
    2) 删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录删除zookeeper "/brokers/topics/"目录下相关topic节点
  • 高可用
  • 重发
  • 如何确保消息的安全