之前flume分为：source+channel+sink这里kafka也有组件生产者，消费者，kafka集群生产者：后台消费者：类似spark我们这里说消息，flume那里说事件，其实就是封装了，里面是一条数据。生产者能生产消息前提是：kafka集群必须启动。kafka是一个分布式的。每一个broker是一个啥？是一个服务器，只不过，相当于起的一个kafka的进程。这三台服务器组成了kafka集群。存数据存在broker里面。如果只有一个broker服务器来存储数据，消息容易乱套，如
刚才已经学习了主题的增删查学习了。缺的就是生产者和消费者。生产者和消费者有专门的命令。控制台的生产者，控制台的消费者。既然是生产者，就需要告诉我，你要往哪个主题生产。往这个first主题生产的时候，你需要告诉我连接哪个kafka的集群。因为kafka集群和cosumer这块，是需要往zk里面存数据的。–broker-list hadoop102:9092这里的9092的端口号主要是因为要连接kafka本地集群。在102上开启生产者：这里出现一个小箭头。在这里就可以输入一些消息了。也就是
我们现在已经安装好了kafka并且写好了群起kafka的脚本熟悉几个命令：关于kafka的主题增删改查都用它–list:属于把topic类出来。–describe:查看当前主题的详情，查看分区数，副本数等–create:创建–delete:删除topic当前的kafka集群是新创建的，并没有topic，所以执行完–list之后，什么也不显示。我们现在需要去手动创建主题。同样，你拿数据往zk里面拿，写数据就要往zk里面写，所以连的还是zk创建topic的时候，需要指定zk，需要设置分区
启动kafka之前需要启动zk因为kafka是依赖于zk的。使用的版本是0.11的前面的2.11是scala的版本，因为kafka使用scala写的。将压缩包放到/opt/software里面。解压：改名进到kafka目录下面：进到conf目录里面：需要修改的是server.properties文件可以看到配置文件里面也有消费者和生产者的配置信息。都是给命令行使用的，做测试。改动server.properties文件。1、修改文件里面的broker.idbro
消息队列的两种模式：点对点模式：一对一，消息只能给一个人，比较单一。明显感觉
kafka是一个分布式的，发布/订阅模式的消息队列。说一说MQ的模式有哪些：发布/订阅就是一个MQ消息队列。...
消息队列：我和技术老师的通信通过班主任进行对接。队列的数据结构：先进先出需
（1）follower故障 follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉，从HW开始向leader进行同步。等该follower的LEO大于等于该Partition的HW，即follower追上leader之后，就可以重新加入ISR了。 （2）leader故障 leader发生故障之后
3）ack应答
关闭kafka 但是会有延时，关闭的比较慢。 之后再看一下就没了，需要等待一下。 我们删除每台机器的logs文件夹： 我们希望把数据和logs分开来放。 这时候，就相当于kafka新装的一样。 这时候需要注意：还有很多信息再zi里面。 进入zk根目录： 除了zk，其他的都是kafka的数据。 在kafka里面，并没有指定哪个broker是老大。那它怎么直到102 103 104是一个kafka集群
刚才主要讲的是存储的内容，主要的index和.log两个文件。 kafka的生产者：有个分区策略： 分区的原因： 1、可以以partition为单位进行读写 2、提高集群的负载能力。生产者分区的原则： 可以在生产数据的时候， 1、指定分区号，指定将来这条消息进入到哪个分区。 2、当然，也可以不指定分区号，但是又KV键值对。是按照key的hash值再%当前主题分区的个数。和MR hash分区规则一样
kafka的工作流程和文件存储机制
实际上能看到的就是topicName+partiti
生产需
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
