最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据，为了提高开发效率，直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码，记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.SimpleConsume
转载
2024-10-08 19:20:01
126阅读
Qt Assistant也就是我们常说的Qt助手，是一款用于呈现在线文档的工具。简介一分钟学会使用
原创
2022-07-29 10:46:27
1065阅读
一：介绍1.官网 kafka.apache.org 2.产生 Kafka由 linked-in 开源 kafka-即是解决上述这类问题的一个框架，它实现了生产者和消费者之间的无缝连接。 kafka-高产出的分布式消息系统(A high-throughput distributed messaging system) 3.状况
【论文解读】Facebook 何凯明 Mask R-CNN 狙击目标实例分割导读：自从将卷积神经网络引入了目标检测领域后，从rcnn到fast-rcnn，然后到end-to-end的faster-rcnn,除了yolo一枝独秀外，基本垄断了整个目标检测领域；而何凯明的resnet基本成了整个图像分类算法的巅峰。这一次，他们强强联手准备狙击实例分割（instance segmentation）了。什
转载
2024-05-17 09:55:30
110阅读
最近开搞spark streaming，记录下一个apache log analysis demo的部署过程。开发环境是Mac os + scala 2.11 + spark 2.0 + kafka 0.10 + Intellij Idea。安装 scala（如果已经安装完毕就跳过） Mac os系统下使用 brew安装 ，为确保版
转载
2024-08-05 16:22:31
120阅读
生产者事务Exactly Once 语义At Least Once 语义至少发送一次，当生产者ack设置为-1的时候（在发送message后，leader和follower数据全部落盘成功以后，返回ack。但是在follower全部同步完成未完成或已完成，broker发送ack之前，leader发生故障，此时生产者会开始重试message发送，此时会造成数据重复At Most Once 语义将服务
转载
2024-04-09 09:41:32
78阅读
windowsjdk安装 下载：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html安装及环境变量配置，自行百度。zookeeper安装下载地址：Apache ZooKeeperhttps://zookeeper.apache.org/re
使用Kafka Assistant监控Kafka关键指标使用Kafka时，我们比较关心下面这些常见指标。
Kafka Assistant下载地址：http://www.redisant.cn/kabroker度量指标活跃控制器数量该指标表示 broker 是否就是当前的集群控制器，其值可以是 0 或 1。如果是 1，表示
broker 就是当前的控制器。任何时候，都应该只有一个 broke
推荐
原创
2022-12-02 09:55:52
1152阅读
点赞
一、生产者客户端配置参数acks说明1、acks=12、acks=03、acks=-1二、请求在写入Leader的数据管道之前，则会验证Leader的ISR副本数量和配置中的最小ISR数量1、Leader的ISR小于配置文件中minInSyncReplicas，并且acks=-1，则抛异常2、如果acks不等于-1，则就算Leader的ISR小于配置，也会正常执行写入数据管道操作三、请求把数据写
转载
2024-06-19 09:00:02
103阅读
场景：某台机器下线；需将数据迁移到新机器上Kafka系统提供了一个分区重新分配工具（kafka-reassign-partitions.sh），该工具可用于在Broker之间迁移分区。理想情况下，将确保所有Broker的数据和分区均匀分配。分区重新分配工具无法自动分析Kafka群集中的数据分布并迁移分区以实现均匀的负载均衡。因此，管理员在操作的时候，必须弄清楚应该迁移哪些Topic或分区。分区重新
转载
2024-03-27 16:30:16
246阅读
日志存储结构首先我们来看一张 Kafka 的存储结构图。如上图所示，Kafka 中消息是以主题 topic 为基本单位进行归类的，这里的 topic 是逻辑上的概念，实际上在磁盘存储是根据分区存储的，每个主题可以分为多个分区、分区的数量可以在主题创建的时候进行指定。例如下面 kafka 命令创建了一个 topic 为 test 的主题、该主题下有 4 个分区、每个分区有两个副本保证高可用。./bi
转载
2024-03-19 02:44:02
48阅读
背景：
当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临例如以下几个挑战： 怎样收集这些巨大的信息怎样分析它 怎样及时做到如上两点 以上几个挑战形成了一个业务需求模型，即
转载
2024-08-06 20:01:27
43阅读
简要介绍快速查看所有 Kafka 集群，包括Brokers、Topics和Consumers支持各种认证模式：PLAINTEXT、SASL_PLAINTEXT、SSL、SASL_SSL对Kafka集群进行健康检查查看分区中的消息内容并添加新消息查看消费者订阅了哪些主题，以及分区被分配给了哪些消费者；当出现消息积压时，Kafka Assistant 帮您快速定位问题配合数据模板和定时器，您可以一次发
原创
2023-05-23 20:45:00
220阅读
点赞
一、什么是Kafka Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。无论是kafka集群，还是consumer都依赖于
转载
2020-09-29 08:56:00
244阅读
2评论
原创
2022-01-20 17:11:40
61阅读
Kafka是什么
Kafka是一个由Scala和java编写的高吞吐量的分布式发布订阅消息
官网地址：http://kafka.apache.org/intro
快速阅读
kafka是一个消息队列.生产者通过网络把消息发到kafka集群，集群向消费者提供消息 。每个消息 以topic为单位。消费者以组为单位。与zookeeper保持心跳连接 。只有在leader不工作时才与follower进行交
转载
2019-06-21 23:54:00
119阅读
2评论
Kafka名字的由来kafka的架构师jay kreps对于kafka的名称由来是这样讲的，由于jay kreps非常喜欢franz kafka,并且觉得kafka这个名字很酷，因此取了个和消息传递系统完全不相干的名称kafka，该名字并没有特别的含义。Kafka的诞生kafka的诞生，是为了解决linkedin的数据管道问题，起初linkedin采用了ActiveMQ来进行数据交换，大约是在20
原创
2023-10-21 14:12:32
144阅读
例如，一个消费者可以重置到一个更早的偏移，来重新处理过去的数据，或跳到最近的记录，从“现在”开始消费。Kafka中消费的实现
本文介绍LinkedIn开源的Kafka，久仰大名了，依照其官方文档做些翻译和二次创作。相应能够查看整份官方文档。 基本术语 topics。维护的消息源种类（更像是业务上的数据种类/分类） producer。给kafka的某个topic公布消息的进程 consumer，订阅和处理topic的消息的进
转载
2017-07-16 17:57:00
133阅读
2评论
kafka 是什么？使用场景？Kafka 是一个高吞吐的分布式消息队列系 在 kafka cluster 这一层这里，其实里面是有很.
原创
2022-07-02 00:01:12
116阅读
