马吉辉的博客_kafka

kafka深度研究之路(5)-kafka新版常用命令汇总

小结：1/列出topic的命令为：kafka-topics.sh--zookeeper10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup--list2/删除topic的命令为：kafka-topics.sh--delete--zookeeper10.211.55.11:2181,10.211.55.12:2181,10.

kafka常用命令

kafka命令大全

原创 2019-10-24 13:59:41 1807 阅读 1点赞

kafka深度研究之路(4)-kafka和zk 配置文件详细说明（来龙去脉）之kafka配置

2/kafka配置文件参数详解默认必须配置的参数默认kafkaserver.properties配置如下：#############################ServerBasics##############################服务器基础知识#Theidofthebroker.Thismustbesettoauniqueintegerforeachbroker.#必须为每个代理

kafka配置文件深度解读

原创 2019-09-12 10:29:48 5386 阅读 1点赞

kafka深度研究之路(4)-kafka和zookeeper 配置文件详细说明（来龙去脉）之zk配置

目录1/Zookeeper配置文件详解2/kafka配置文件参数详解3/生产环境zk与kafka配置文件备注4/kafka命令详解1/安装完zookeeper对其配置文件详解zookeeper-3.4.14.tar.gz在安装zookeeper的时候我们要去修改zookeeper预装是conf目录下面的zoo_sample.cfg这个文件，首先我们要做的事就是重命名这个文件[hadoop@kafk

zookeeper配置深度解释

原创 2019-09-11 21:38:01 3531 阅读 1点赞 1收藏

kafka深度研究之路(3)-kafka 与zk 集群启停脚本

编写kafka集群启动和停止脚本[hadoop@kafka01-55-11scripts]$catkafka_cluster_stop.sh#!/bin/bash-x#date20190801#autnormajihuiclush-gall"source/etc/profile;jps|grepKafka|awk'{print$1}'|xargskill-9"[hadoop@kafka01-55-

kafka启停脚本编写

原创 2019-09-11 21:24:58 1015 阅读 1点赞 1收藏

kafka深入研究之路(2) kafka简介与专业术语解释说明

目录：1、kafka简介什么是kafka？设计目标是什么？2、kafka的优缺点3、kafka中专业术语解释说明官方网站：http://kafka.apache.org/introkafka中文教程http://orchome.com/kafka/index1/kafka简介Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志

kafka设计目标是什么

为什么要使用kafka？

kafka优点

kafka中专业术语解释说明(相关概念

原创 2019-09-11 21:14:56 1044 阅读 1点赞 5评论

kafka深入研究之路(1)-剖析各原理02

kafka深入研究之路(1)-剖析各原理02接着上一文的内容继续升入研究topic如何创建于删除的topic的创建具体流程文字为：1、controller在ZooKeeper的/brokers/topics节点上注册watcher，当topic被创建，则controller会通过watch得到该topic的partition/replica分配。2、controller从/brokers/ids读

kafka原理之topic创建删除

consumer是如何消费数据的

kafka11个牛逼之处

kafka保证可靠性如下4点

消费组与分区重平衡rebalance

原创 2019-08-25 00:37:58 2982 阅读 1点赞

kafka深入研究之路(1)-剖析各原理01

kafka深入研究之路(1)-剖析各原理引言：来到了新公司，需要对kafka组件有很深的研究，本人之前对老版的kafka有过一定的研究，但是谈不上深入，新公司力推kafka，比较kafka作为消息系统在目前的市场上的占有率还是很高的，可以看本人之前kafka的博客中有关kafka的优点和为什么要用kafka。在众多优点中，我本人认为最重要的2个优点如下：1、削峰数据库的处理能力是有限的，在峰值期，

为什么要用kafak

kafak架构原理

produce如何写数据的

produce的leader是如何被选

topic示意图

原创 2019-08-24 20:58:33 1196 阅读 1点赞

kafka基础概念(组件名称作用）

写介绍kafka的几个重要概念（可以参考之前的博文Kafka的简单介绍）：Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群；Topic：一类消息，例如pageview日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发；Partition：topic物理上的分组，一个topic可以分为

kafka概念组件字段的含义

原创 2019-06-19 18:09:27 3675 阅读 1点赞

kafka manager 搭建

安装kafkamanager[root@emm-kafka01-10--174~]#cd/opt/ins/[root@emm-kafka01-10--174ins]#lltotal292188-rwxr-xr-x1rootroot166044032Mar1315:58jdk-8u102-linux-x64.rpm-rw-r--r--1rootroot50326212Mar1316:14kafka_

kafka

manager

安装

原创 2019-03-14 11:27:28 1329 阅读 1点赞

kafka生产实例安装

2019/3/14星期四kafka生产环境搭建[root@emm-kafka01-10--174~]#cd/opt/ins/[root@emm-kafka01-10--174ins]#lltotal233044-rwxr-xr-x1rootroot166044032Mar1315:58jdk-8u102-linux-x64.rpm-rw-r--r--1rootroot50326212Mar1316

kafka生产实例安装

kafka安装优化

原创精选 2019-03-14 10:41:19 2486 阅读 1点赞

kafka中丢数据可能性探讨和kafka为什么高吞吐量

2019/2/22星期五在kafka中为什么高吞吐量是他的优点1、创建一个topic时，同时可以指定分区数目，分区数越多，其吞吐量也越大，但是需要的资源也越多，同时也会导致更高的不可用性，kafka在接收到生产者发送的消息之后，会根据均衡策略将消息存储到不同的分区中。因为每条消息都被append到该Partition中，属于顺序写磁盘，因此效率非常高（经验证，顺序写磁盘效率比随机写内存还要高，这是

kafka为什么高吞吐量

kafka丢失数据的可能性在哪里？

kafka ha高可用机制replic

zk中记录kafka那些信息

原创 2019-02-22 14:42:14 6136 阅读 1点赞

kafka基本原理重要概念优缺点

2019/2/21星期四kafka基本原理重要概念优缺点官方网址：https://kafka.apache.org/×××：http://archive.apache.org/dist/kafka/kafka简介Kafka是一个分布式的消息缓存系统，用于日志处理的分布式消息队列。日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU

kafka

简介

基本概念

原创 2019-02-22 13:12:44 10000+阅读 1点赞 2评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大数据技术小哥

kafka深度研究之路(5)-kafka新版常用命令汇总

kafka深度研究之路(4)-kafka和zk 配置文件详细说明（来龙去脉）之kafka配置

kafka深度研究之路(4)-kafka和zookeeper 配置文件详细说明（来龙去脉）之zk配置

kafka深度研究之路(3)-kafka 与zk 集群启停脚本

kafka深入研究之路(2) kafka简介与专业术语解释说明

kafka深入研究之路(1)-剖析各原理02

kafka深入研究之路(1)-剖析各原理01

kafka基础概念(组件名称作用）

kafka manager 搭建

kafka生产实例安装

kafka中丢数据可能性探讨和kafka为什么高吞吐量

kafka基本原理重要概念优缺点