15.如何消费内部topic: __consumer_offsets主要是要让它来格式化：GroupMetadataManager.OffsetsMessageFormatter最后用看了它的源码，把这部分挑选出来，自己解析了得到的byte[]。核心代码如下：// com.sina.mis.app.ConsumerInnerTopic
&n
原创
2017-04-04 16:32:52
1309阅读
ConsumerConfig.scala 储存Consumer的配置按照我的理解，0.10的Kafka没有专门的SimpleConsumer，仍然是沿用0.8版本的。1.从poll开始消费的规则如下：一个partition只能被同一个ConsumersGroup的一个线程所消费.线程数小于partition数，某些线程会消费多个partition.线程数等于partition数，一个线程
原创
2017-04-13 20:44:40
935阅读
ConsumerConfig.scala 储存Consumer的配置按照我的理解，0.10的Kafka没有专门的SimpleConsumer，仍然是沿用0.8版本的。1.从poll开始消费的规则如下：一个partition只能被同一个ConsumersGroup的一个线程所消费.线程数小于partition数，某些线程会消费多个partition.线程数等于partition数，一个线程
原创
2017-04-04 16:03:43
725阅读
前言其实干程序员这么些年来，一直有一个愿望想写本书，但是一直没实现，一开始是想着是因为自己没时间，后来想想也不是说没时间，可能还是感觉水平有限。为了给写书做准备，最近打算写一个专栏，专栏的要求就稍微低一些，能坚持写完的概率也就会大一些。所以最近挑了从Kafka
原创
2023-05-17 20:52:25
98阅读
1.Producer 网络请求1.1 Producer Client角度KafkaProducer主要靠Sender来发送数据给Broker。Sender: 该线程handles the sending of produce requests to the Kafka cluster. 该线程发送metadata requests来更新它感知的整个集群的视图;另外，主要负责发送produce请求到
转载
2017-04-04 16:32:20
883阅读
Maven组件如下： 官网代码如下： 运行以上代码出现如下错误等： Exception in thread "main" org
原创
2021-07-31 16:12:50
803阅读
概述： 下面是开发和项目运维实战过程中总结的一些kafka常用的命令，已在kafka0.10.x环境进行了测试验证。常用命令：1.查看帮助/usr/hdp/2.6.3.0-235/kafka/bin/kafka-topics.sh --help2.查看当前集群所有topic./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181
原创
2021-03-10 10:34:17
562阅读
Scala-SparkStreaming 2.2.0 消费 kafka0.10（生产1.0）
原创
2023-05-06 15:05:34
76阅读
本文来自于网易云社区 一、消息总线MQ和Kafka （挡在请求的第一线） 1. 几个应用场景 case a：上游系统往下游系统推送消息，而不关心处理结果； case b：一份新数据生成，需要实时保存到数据库，索引系统，统计系统等； case c：调用一个耗时很长的接口，需要在任务完成的时候告知调用方
转载
2018-09-17 13:50:00
82阅读
2评论
前面有说道spark-streaming的简单demo，也有说到kafka成功跑通的例子，这里就结合二者，也是常用的使用之一。 1.相关组件版本 首先确认版本，因为跟之前的版本有些不一样，所以才有必要记录下，另外仍然没有使用scala,使用java8,spark 2.0.0,kafka 0.10。 ...
转载
2021-07-26 10:12:00
52阅读
前面有说道spark-streaming的简单demo，也有说到kafka成功跑通的例子，这里就结合二者，也是常用的使用之一。 1.相关组件版本 首先确认版本，因为跟之前的版本有些不一样，所以才有必要记录下，另外仍然没有使用scala,使用java8,spark 2.0.0,kafka 0.10。 ...
转载
2021-07-27 13:25:00
326阅读
2评论
本文来自于网易云社区 一、消息总线MQ和Kafka （挡在请求的第一线） 1. 几个应用场景 case a：上游系统往下游系统推送消息，而不关心处理结果； case b：一份新数据生成，需要实时保存到数据库，索引系统，统计系统等； case c：调用一个耗时很长的接口，需要在任务完成的时候告知调用方
转载
2018-09-17 13:50:00
103阅读
2评论
ApacheKafka消息格式的演变(0.7.x~0.10.x)过往记忆过往记忆大数据如下面图片不清晰，请访问https://www.iteblog.com/archives/2232.html，或点击下面阅读原文进行阅读。用Kafka这么久，从来都没去了解Kafka消息的格式。今天特意去网上搜索了以下，发现这方面的资料真少，很多资料都是官方文档的翻译；而且Kafka消息支持压缩，对于压缩消息的格
原创
2021-04-02 13:53:21
521阅读
近日需要在项目用到kafka，然后本地使用cdh集成的kafka 进行安装调试，以及些样例代码，sparkstreaming 相关调用kafka 的代码使用的原始的api 而没有走zookeeper，虽然消费者能启动，但无法消费内容。 开始我使用shell下的zk方式是可以消费误认为kafka也是没有问题
原创
2018-08-08 10:33:58
4234阅读
用 Kafka 这么久，从来都没去了解 Kafka 消息的格式。今天特意去网上搜索了以下，发现这方面的资料真少，很多资料都是官方文档的翻译；而且 Kafka 消息支持压缩，对于压缩消息的格式的介绍更少。基于此，本文将以图文模式介绍 Kafka 0.7.x、0.8.x 以及 0.10.x 等版本 Message 格式，因为 Kafka 0.9.x 版本的消息格式和 0.8.x 一样，我就不单独介绍了
原创
2021-04-06 10:51:46
111阅读
官网地址：http://www.inf.puc-rio.br/~roberto/lpeg/ LPeg是一个为Lua所使用的新的模式匹配库，基于解析表达式语法（PEGs）。1.新建“Win32 Console Application”工程，工程名为：lpeg2.在“Application Settings”中，选择“DLL”和“Empty project”3.添加下
原创
2021-08-20 14:59:13
429阅读
在ML.NET 0.10中，IDataView被拆分成单个程序集和NuGet类库包。这对于与其它API及框架交互是极重要的一步。在被拆分后，其它的类库将能直接引用它，而不需要引用整个ML.NET。
转载
2021-08-04 16:40:03
279阅读
图解ApacheKafka消息偏移量的演变(0.7.x~0.10.x)过往记忆过往记忆大数据我在《ApacheKafka消息格式的演变(0.7.x~0.10.x)》文章中介绍了Kafka几个版本的消息格式。仔细的同学肯定看到了在MessageSet中的Message都有一个Offset与之一一对应，本文将探讨Kafka各个版本对消息中偏移量的处理。同样是从Kafka0.7.x开始介绍，并依次介绍到
原创
2021-04-02 13:56:26
235阅读
我在《Apache Kafka消息格式的演变(0.7.x~0.10.x)》文章中介绍了 Kafka 几个版本的消息格式。仔细的同学肯定看到了在 MessageSet 中的 Message 都有一个 Offset 与之一一对应，本文将探讨 Kafka 各个版本对消息中偏移量的处理。同样是从 Kafka 0.7.x 开始介绍，并依次介绍到 Kafka 0.10.x，由于 Kafka 0.11.x 正在
原创
2021-04-06 10:51:02
120阅读
Vault 是一个很不错的访问控制，secret api key 管理工具 新的0.10 有好多新的功能的添加，最棒的是有一个web ui 了 包含的新特性如下： K/V Secrets Engine v2 with Secret Versioning: Vault's Key-Value Secr
原创
2021-07-19 16:27:14
140阅读
