文章目录
- 一、Kafka初识
- 二、Kafka安装
- 三、Kafka监控平台&操作平台
- 四、Kafka原理
- 五、Kafka提问
一、Kafka初识
Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。
- Kafka架构
1)Producer :消息生产者,就是向kafka broker发消息的客户端;
2)Consumer :消息消费者,向kafka broker取消息的客户端;
3)Consumer Group (CG):消费者组,由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
4)Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
5)Topic:可以理解为一个队列,生产者和消费者面向的都是一个topic;
6)Partition:为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partition是一个有序的队列;
7)Replica:副本,为保证集群中的某个节点发生故障时,该节点上的partition数据不丢失,且kafka仍然能够继续工作,kafka提供了副本机制,一个topic的每个分区都有若干个副本,一个leader和若干个follower。
8)leader:每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是leader。
9)follower:每个分区多个副本中的“从”,实时从leader中同步数据,保持和leader数据的同步。leader发生故障时,某个follower会成为新的follower。
二、Kafka安装
kafka官网下载:http://kafka.apache.org/downloads.html
Kafka安装前提:已安装好zookeeper集群。zookeeper安装快速入门:
- step1:解压下载的安装包。
tar -zxvf kafka_2.11-0.11.0.0.tgz
mv kafka_2.11-0.11.0.0 /opt/module/kafka
- step2:修改配置文件。
cd /opt/module/kafka/config/
mkdir -p /opt/module/kafka/logs
vim server.properties
## 修改配置文件内容如下(一定要安装好zookeeper)
#broker的全局唯一编号,不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=k8s101:2181,k8s102:2181,k8s103:2181,
kafka中zookeeper的作用
Kafka集群中有一个broker会被选举为Controller,负责管理集群broker的上下线,所有topic的分区副本分配和leader选举等工作。Controller的管理工作都是依赖于Zookeeper的。
- step3:配置环境变量。
sudo vim /etc/profile
#内容如下
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
#使环境变量生效
source /etc/profile
- step4: 完成集群安装。
## 拷贝zookeeper服务到其它机器(当前机器k8s101)
cd /opt/module
scp -r kafka k8s102:/opt/module/
scp -r kafka k8s103:/opt/module/
#接下来修改各个机器中的server.properties文件(因为broker.id不得重复)
vim /opt/module/kafka/config/server.properties
#机器k8s102内容如下:
broker.id=1
vim /opt/module/kafka/config/server.properties
#机器k8s103内容如下:
broker.id=2
- step5:操作kafka命令
bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-topics.sh --zookeeper k8s101:2181 --list
bin/kafka-topics.sh --zookeeper k8s101:2181 --create --replication-factor 3 --partitions 1 --topic my_first_topic
bin/kafka-console-producer.sh --broker-list k8s101:9092 --topic my_first_topic
bin/kafka-console-consumer.sh --bootstrap-server k8s101:9092 --from-beginning --topic my_first_topic
bin/kafka-topics.sh --zookeeper k8s101:2181 --describe --topic my_first_topic
三、Kafka监控平台&操作平台
- kafka monitor平台安装
1.上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群服务器k8s101
2.在/opt/module/下创建kafka-console文件夹
3.将上传的jar包放入刚创建的目录下
4.在/opt/module/kafka-console目录下创建启动脚本start.sh,内容如下:
#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage kafka \
--kafkaBrokers k8s101:9092,k8s102:9092,k8s103:9092 \
--kafkaSecurityProtocol PLAINTEXT \
--zk k8s101:2181,k8s102:2181,k8s103:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 2.days \
--dbName offsetapp_kafka &
5.创建日志文件夹。
mkdir /opt/module/kafka-console/mobile-logs
6.启动,浏览器访问 k8s101:8086页面。
./start.sh
- kafka manager平台安装
1.上传压缩包kafka-manager-1.3.3.15.zip到集群服务器k8s101
2.解压到/opt/module
unzip kafka-manager-1.3.3.15.zip
mv kafka-manager-1.3.3.15 /opt/module/kafka-manager
3.修改配置文件conf/application.conf
kafka-manager.zkhosts="kafka-manager-zookeeper:2181"
修改为:
kafka-manager.zkhosts="k8s101:2181,k8s102:2181,k8s103:2181"
4.启动kafka-manager,浏览器访问 k8s101:9000页面。
cd /opt/module/kafka-manager
bin/kafka-manager
四、Kafka原理
- kafka工作流程
Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。
topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个offset,以便出错恢复时,从上次的位置继续消费。
由于生产者生产的消息会不断追加到log文件末尾,为防止log文件过大导致数据定位效率低下,Kafka采取了分片和索引机制,将每个partition分为多个segment。每个segment对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下,该文件夹的命名规则为:topic名称+分区序号。例如,first这个topic有三个分区,则其对应的文件夹为first-0,first-1,first-2。“.index”文件存储大量的索引信息,“.log”文件存储大量的数据。 - 分区策略
分区原因:1.方便在集群中扩展;2.可以提高并发。
分区原则:
(1)指明 partition 的情况下,直接将指明的值直接作为 partiton 值;
(2)没有指明 partition 值但有 key 的情况下,将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值;
(3)既没有 partition 值又没有 key 值的情况下,第一次调用时随机生成一个整数(后面每次调用在这个整数上自增),将这个值与 topic 可用的 partition 总数取余得到 partition 值,也就是常说的 round-robin 算法。 - 可靠性保证
为保证producer发送的数据,能可靠的发送到指定的topic,topic的每个partition收到producer发送的数据后,都需要向producer发送ack(acknowledgement确认收到),如果producer收到ack,就会进行下一轮的发送,否则重新发送数据。
方案1:半数以上完成同步就发送ack。虽然延迟低,但是选举新的leader时,容忍n台节点的故障,需要2n+1个副本。
方案2:全部完成同步才发送ack。虽然延迟高,但是选举新的leader时,容忍n台节点的故障,仅需n+1个副本。
Kafka选择了方案2,原因如下:
1.同样为了容忍n台节点的故障,第一种方案需要2n+1个副本,而第二种方案只需要n+1个副本,而Kafka的每个分区都有大量的数据,第一种方案会造成大量数据的冗余。
2.虽然第二种方案的网络延迟会比较高,但网络延迟对Kafka的影响较小。 - ISR
Leader维护了一个动态的in-sync replica set (ISR),意为和leader保持同步的follower集合。当ISR中的follower完成数据的同步之后,leader就会给follower发送ack。如果follower长时间未向leader同步数据,则该follower将被踢出ISR,该时间阈值由replica.lag.time.max.ms参数设定。Leader发生故障之后,就会从ISR中选举新的leader。 - ack应答机制
0:producer不等待broker的ack,这一操作提供了一个最低的延迟,broker一接收到还没有写入磁盘就已经返回,当broker故障时有可能丢失数据;
1:producer等待broker的ack,partition的leader落盘成功后返回ack,如果在follower同步成功之前leader故障,那么将会丢失数据;
-1(all):producer等待broker的ack,partition的leader和follower全部落盘成功后才返回ack。但是如果在follower同步完成后,broker发送ack之前,leader发生故障,那么会造成数据重复。 - 故障处理
LEO:每个副本的最后一个offset。
HW:所有副本的最小的LEO。
(1)follower故障
follower发生故障后会被临时踢出ISR,待该follower恢复后,follower会读取本地磁盘记录的上次的HW,并将log文件高于HW的部分截取掉,从HW开始向leader进行同步。等该follower的LEO大于等于该Partition的HW,即follower追上leader之后,就可以重新加入ISR了。
(2)leader故障
leader发生故障之后,会从ISR中选出一个新的leader,之后,为保证多个副本之间的数据一致性,其余的follower会先将各自的log文件高于HW的部分截掉,然后从新的leader同步数据。
注意:这只能保证副本之间的数据一致性,并不能保证数据不丢失或者不重复。 - Exactly Once语义
即保证每条消息被发送且仅被发送一次。Kafka在0.11版本后引入了幂等性机制(idempotent),配合acks = -1时的at least once语义,实现了producer到broker的exactly once语义。只需将enable.idempotence属性设置为true,kafka自动将acks属性设为-1。 - offset的维护
由于consumer在消费过程中可能会出现断电宕机等故障,consumer恢复后,需要从故障前的位置的继续消费,所以consumer需要实时记录自己消费到了哪个offset,以便故障恢复后继续消费。
Kafka 0.9版本之前,consumer默认将offset保存在Zookeeper中,从0.9版本开始,consumer默认将offset保存在Kafka一个内置的topic中,该topic为__consumer_offsets。 - Kafka高效读写
顺序写磁盘和零复制技术
Kafka的producer生产数据,要写入到log文件中,写的过程是一直追加到文件末端,为顺序写。官网有数据表明,同样的磁盘,顺序写能到到600M/s,而随机写只有100k/s。这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁头寻址的时间。
零复制技术即零拷贝。 零拷贝就是一种避免 CPU 将数据从一块存储拷贝到另外一块存储的技术。零拷贝技术可以减少数据拷贝和共享总线操作的次数,消除传输数据在存储器之间不必要的中间拷贝次数,从而有效地提高数据传输效率。
五、Kafka提问
- 1.Kafka中的ISR、AR又代表什么?
ISR:与leader保持同步的follower集合
AR:分区的所有副本 - 2.Kafka中的HW、LEO等分别代表什么?
LEO:没个副本的最后条消息的offset
HW:一个分区中所有副本最小的offset - 3.Kafka中是怎么体现消息顺序性的?
每个分区内,每条消息都有一个offset,故只能保证分区内有序。 - 4.Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?
拦截器 -> 序列化器 -> 分区器 - 5.Kafka生产者客户端的整体结构是什么样子的?使用了几个线程来处理?分别是什么?
- 6.“消费组中的消费者个数如果超过topic的分区,那么就会有消费者消费不到数据”这句话是否正确?
正确。 - 7.消费者提交消费位移时提交的是当前消费到的最新消息的offset还是offset+1?
offset+1。 - 8.有哪些情形会造成重复消费?
commitSync和commitAsync都有可能造成重复消费问题。 - 9.那些情景会造成消息漏消费?
先提交offset,后消费,有可能造成数据的重复。 - 10.当你使用kafka-topics.sh创建(删除)了一个topic之后,Kafka背后会执行什么逻辑?
1)会在zookeeper中的/brokers/topics节点下创建一个新的topic节点,如:/brokers/topics/first。
2)触发Controller的监听程序。
3)kafka Controller 负责topic的创建工作,并更新metadata cache。 - 11.topic的分区数可不可以增加?如果可以怎么增加?如果不可以,那又是为什么?
可以增加。
bin/kafka-topics.sh --zookeeper localhost:2181/kafka --alter --topic topic-config --partitions 3
- 12.topic的分区数可不可以减少?如果可以怎么减少?如果不可以,那又是为什么?
不可以减少,被删除的分区数据难以处理。 - 13.Kafka有内部的topic吗?如果有是什么?有什么所用?
__consumer_offsets,保存消费者offset - 14.Kafka分区分配的概念?
一个topic多个分区,一个消费者组多个消费者,故需要将分区分配个消费者(roundrobin、range) - 15.简述Kafka的日志目录结构?
每个分区对应一个文件夹,文件夹的命名为topic-0,topic-1,内部为.log和.index文件 - 16.如果我指定了一个offset,Kafka Controller怎么查找到对应的消息?
- 17.聊一聊Kafka Controller的作用?
负责管理集群broker的上下线,所有topic的分区副本分配和leader选举等工作。 - 18.Kafka中有那些地方需要选举?这些地方的选举策略又有哪些?
partition leader(ISR),controller(先到先得) - 19.失效副本是指什么?有那些应对措施?
不能及时与leader同步,暂时踢出ISR,等其追上leader之后再重新加入 - 20.Kafka的那些设计让它有如此高的性能?
分区,顺序写磁盘,零拷贝。