Kafka 由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。但当前关于Kafka原理及应用的相关资料较少，在我打算编写本文时，还没有见到中文版本的Kafka相关书籍，对于初学者甚至是一些中高级应用者来说学习成本还是比较高的，因此我打算在对Kafka进行深入而系统的研究基础上，结合自己在工作中的实践经验，编写一本介绍Kafka原理及其基本应用的书籍，以帮助Kafka初、中、高级应用
转载
2024-04-12 19:18:28
23阅读
认识 kafkakafka简介Kafka 是一个分布式流媒体平台，kafka官网：http://kafka.apache.org/（1）流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。记录发生时处理流。（2）Kafka通常用于两大类应用：构建可在系统或应用程序之间可靠获取数据的实时流数据管道构建转换或响应数据流的实时流应用程序（3）首先是几
转载
2024-10-23 20:10:51
73阅读
Kafka学习笔记（二）Kafka操作实践Kafka操作实践分区机制和策略建议为啥要分区？分区策略轮询策略随机策略（不推荐）Key-ordering 策略无消息丢失配置Producer端Broker端Consumer端消费者组机制基础定义重平衡（Rebalance）基础定义触发条件问题风险组成员数发生变更导致重平衡优化方法场景1：未能及时发送心跳，导致 Consumer 被“踢出”Group场景
转载
2024-02-20 10:49:22
39阅读
kafka入门(3)-基础操作和基准测试基础操作创建topic创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。# 创建名为test的主题
bin/kafka-topics.sh --create --bootstrap-server node1.itcast.cn:9092 --topic test
# 查看目前Kafka中的
转载
2024-03-21 11:00:59
47阅读
文章目录Kafka 学习与实践一、话题、代理与分区1. 话题 -- Topic2. 代理 --broker3. 分区 -- partition二、Kafka 生产者1. 序列化器2. 分区器3. 消息发送方式4. 生产者配置三、Kafka 消费者1. 消费者和消费者群组2. 消费唯一性3. 多播和单播4. 消息有序性5. 消息轮询6. 消费者配置7. 分区再均衡(rebalance)机制8. 消
转载
2024-03-21 10:43:00
104阅读
前言在我们开发过程中，有一些业务功能比较耗时，但是又不是很重要的核心功能，最典型的场景就是注册用户以后发送激活邮件分为两步1：向数据库插入一条数据2：向注册用户发送邮件第2步其实并不是核心功能，但是发邮件比插入一条数据会更耗时，这种情况下我们可以把这个业务功能用异步处理，而异步处理的手段其中就包含了消费中间件，Kafka就是其中一个，消息中间件除了异步以外常用的功能就是：系统解耦、流量削峰等等Ka
转载
2024-07-18 09:55:55
150阅读
1．主题 Kafka将一组消息抽象归纳为一个主题（Topic），也就是说，一个主题就是对消息的一个分类。 生产者将消息发送到特定主题，消费者订阅主题或主题的某些分区进行消费。 2．消息 消息是Kafka通信的基本单位，由一个固定长度的消息头和一个可变长度的消息体构成。 在老版本中，每一条消息称为Me ...
转载
2021-08-05 11:58:00
183阅读
2评论
Kafka 介绍与实践 1.1 实验内容 本节课将介绍 Kafka 及实现原理，然后完整搭建，案例演示，学习完本课程，你将对 kafka 有深入的了解，很快上手。 1.2 课程来源 参考资料： http://kafka.apache.org/documentation.html 1.3. 实验知识点生产者/消费者模型单机/集群的区别设计原理 1.4 实验环境Hadoop 2.6.1ka
转载
2024-05-11 21:15:05
79阅读
# TypeScript入门与实践
随着JavaScript的流行，越来越多的开发者开始关注TypeScript这门语言。TypeScript是由微软开发的一种开源编程语言，它扩展了JavaScript的语法，加入了类型系统和一些现代化的功能，使得开发过程更加高效。这篇文章将带你了解TypeScript的基础知识，并通过代码示例来帮助你快速上手。
## 什么是TypeScript？
Type
消息引擎系统定义消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递。消息格式纯二进制的字节序列传输协议点对点模型（电话）、发布订阅模型（报纸）好处削峰填谷、发送方和接收方松耦合减少不必要的交互KAFKA术语消息(record) — kafka处理的对象主题(topic) — 发布订阅的对象，承载消息的逻辑容器生产者(producer) — 向主题发
转载
2024-10-29 10:24:53
79阅读
题图：pixabay
原创
2021-08-10 15:56:29
232阅读
题图：pixabay·
原创
2021-08-10 15:56:41
255阅读
上周在公司做了一次内部分享，关于kafka科普相关的。总结输出一下：kafka 是什么？流处理是什么？
原创
2021-08-11 11:31:24
547阅读
## 机器学习测试入门与实践
机器学习是当今互联网和人工智能领域的热门话题之一。它是一种通过训练模型从数据中学习和进行预测的技术。在机器学习中，测试是非常重要的一环，它可以帮助我们评估模型的性能和准确性。本文将介绍机器学习测试的基本概念，并提供一些示例代码进行实践。
### 1. 机器学习测试的基本概念
在机器学习中，测试主要分为两个部分：训练集和测试集。训练集用于训练模型，测试集用于评估模
原创
2024-02-07 08:48:55
431阅读
二、下载Kafka我这里使用版本：kafka_2.11-1.0.1.tgz 三、Kafka目录解压到/usr/local路径下： tar -zxvf kafka_2.11-1.0.1.tgz/bin 操作kafka的可执行脚本/config 配置文件所在的目录/libs 依赖库目录/logs 日志数据目录。kafka把server端的日志分为： server， request， stat
转载
2019-04-22 16:00:00
230阅读
认识 kafkakafka简介Kafka 是一个分布式流媒体平台，kafka官网：http://kafka.apache.org/
（1）流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。记录发生时处理流。（2）Kafka通常用于两大类应用：构建可在系统或应用程序之间可靠获取数据的实时流数据管道构建转换或响应数据流的实时流应用程序（3）首先是
转载
2021-05-31 00:13:45
194阅读
认识 kafkakafka简介Kafka 是一个分布式流媒体平台，kafka官网：http://kafka.apache.org/1）流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。记录发生时处理流。2）Kafka通常用于两大类应用：构建可在系统或应用程序之间可靠获取数据的实时流数据管道构建转换或响应数据流的实时流应用程序3）首先是几个概念
转载
2021-06-05 19:49:10
159阅读
识 kafkakafka简介Kafka 是一个分布式流媒体平台，kafka官网：://kafk...
转载
2022-04-07 14:52:14
329阅读
点击上方 "编程技术圈"关注,星标或置顶一起成长后台回复“大礼包”有惊喜礼包！每日英文Go for the happy endings, because life doe...
转载
2021-07-11 09:24:45
172阅读
认识 kafkakafka简介Kafka 是一个分布式流媒体平台，kafka官网：http://kafka.apache.org/（1）流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。记录发生时处理流。（2）Kafka通常用于两大类应用：构建可在系统或应用程序之间可靠获取数据的实时流数据管道构建转换或响应数据流的实时流应用程序（3）首先是几
转载
2021-02-07 11:16:43
358阅读
2评论
