最近开搞spark streaming，记录下一个apache log analysis demo的部署过程。开发环境是Mac os + scala 2.11 + spark 2.0 + kafka 0.10 + Intellij Idea。安装 scala（如果已经安装完毕就跳过） Mac os系统下使用 brew安装 ，为确保版
转载
2024-08-05 16:22:31
120阅读
最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据，为了提高开发效率，直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码，记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.SimpleConsume
转载
2024-10-08 19:20:01
126阅读
一：介绍1.官网 kafka.apache.org 2.产生 Kafka由 linked-in 开源 kafka-即是解决上述这类问题的一个框架，它实现了生产者和消费者之间的无缝连接。 kafka-高产出的分布式消息系统(A high-throughput distributed messaging system) 3.状况
【论文解读】Facebook 何凯明 Mask R-CNN 狙击目标实例分割导读：自从将卷积神经网络引入了目标检测领域后，从rcnn到fast-rcnn，然后到end-to-end的faster-rcnn,除了yolo一枝独秀外，基本垄断了整个目标检测领域；而何凯明的resnet基本成了整个图像分类算法的巅峰。这一次，他们强强联手准备狙击实例分割（instance segmentation）了。什
转载
2024-05-17 09:55:30
110阅读
本文主要介绍360商业化在跨IDC kafka热备方面的实践， 接下来会按以下顺序介绍各个议题：MM2简介跨IDC kafka热备多活方案产品化需要注意的风险MM2简介在介绍MM2之前先谈一下MM1, 这个是kafka很早之前就有的组件，本质来说就是实现了consumer + producer， 从集群A将数据同步到集群B， 使用的是kafka client的high level ap
转载
2024-03-19 21:41:55
511阅读
生产者事务Exactly Once 语义At Least Once 语义至少发送一次，当生产者ack设置为-1的时候（在发送message后，leader和follower数据全部落盘成功以后，返回ack。但是在follower全部同步完成未完成或已完成，broker发送ack之前，leader发生故障，此时生产者会开始重试message发送，此时会造成数据重复At Most Once 语义将服务
转载
2024-04-09 09:41:32
78阅读
windowsjdk安装 下载：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html安装及环境变量配置，自行百度。zookeeper安装下载地址：Apache ZooKeeperhttps://zookeeper.apache.org/re
使用Kafka Assistant监控Kafka关键指标使用Kafka时，我们比较关心下面这些常见指标。
Kafka Assistant下载地址：http://www.redisant.cn/kabroker度量指标活跃控制器数量该指标表示 broker 是否就是当前的集群控制器，其值可以是 0 或 1。如果是 1，表示
broker 就是当前的控制器。任何时候，都应该只有一个 broke
推荐
原创
2022-12-02 09:55:52
1152阅读
点赞
一、生产者客户端配置参数acks说明1、acks=12、acks=03、acks=-1二、请求在写入Leader的数据管道之前，则会验证Leader的ISR副本数量和配置中的最小ISR数量1、Leader的ISR小于配置文件中minInSyncReplicas，并且acks=-1，则抛异常2、如果acks不等于-1，则就算Leader的ISR小于配置，也会正常执行写入数据管道操作三、请求把数据写
转载
2024-06-19 09:00:02
103阅读
作者 | 计缘在第七章节搭建单机Kafka中，我们已经发现了，Kafka是自带Zookeeper的，而且在启动Kafka之前，要先启动Zookeeper，相当于启动了单机Zookeeper，所以我们先说Zookeeper CLI，后面说Zookeeper集群时再具体说配置参数。展示zNode首先打开终端，连接至我们的服务器，进入/root/kafka_2.12-2.0.0/bin目录，执
转载
2024-07-15 00:36:02
0阅读
文章目录1 简介及应用场景2 下载安装安装配置kafka配置zookeeper配置测试3 客户端工具 kafka Tool4 项目实战4.1 maven依赖4.2 配置文件4.3 生产者推送数据4.4 消费者订阅数据5 小结 1 简介及应用场景Kafka 是一个由 LinkedIn 开发的分布式消息系统，它于2011年年初开源，现在由著名的 Apache 基金会维护与开发。 Kafka 使用 S
转载
2024-02-27 10:51:30
33阅读
场景：某台机器下线；需将数据迁移到新机器上Kafka系统提供了一个分区重新分配工具（kafka-reassign-partitions.sh），该工具可用于在Broker之间迁移分区。理想情况下，将确保所有Broker的数据和分区均匀分配。分区重新分配工具无法自动分析Kafka群集中的数据分布并迁移分区以实现均匀的负载均衡。因此，管理员在操作的时候，必须弄清楚应该迁移哪些Topic或分区。分区重新
转载
2024-03-27 16:30:16
246阅读
1. 引言 现阶段，在同城带宽时延问题没有经过大规模的生产实践、验证的情况下，我们只导入“白名单或1%“的小比例请求流量，进入双活环境，确保环境有效的（活的），同时能支持“容灾切换“。 那么，请求流量如何导入双活
Kafka线上集群部署方案考虑 操作系统、磁盘、磁盘容量和带宽操作系统Kafka 由 Scala 语言和 Java 语言编写而成，编译之后的源代码就是普通的“.class”文件部署在linux上的三个优势I/O 模型的使用 I/O 模型与 Kafka 的关系 Kafka 客户端底层使用了 Java 的 selector，selector 在 Linux 上的实现机制是 epoll，而在 Windo
转载
2024-10-26 11:31:20
45阅读
多级缓存的架构主要是用来解决什么样的数据的缓存的更新的啊？时效性不高的数据，比如一些商品的基本信息，如果发生了变更，假设在5分钟之后再更新到页面中，供用户观察到，也是ok的时效性要求不高的数据，那么我们采取的是异步更新缓存的策略时效性要求很高的数据，库存，采取的是数据库+缓存双写的技术方案，也解决了双写的一致性的问题，因此对时效性要求很高的数据我们采用了redis集群去解决，然后通过分析业务去解决
转载
2024-04-20 16:48:36
164阅读
文章目录CHAPTER 8 Cross-Cluster Data Mirror 跨集群数据镜像Use Cases of Cross-Cluster Mirroring 跨集群镜像用例Multicluster Architectures 多集群架构Some Realities of Cross-Datacenter Communication 一些跨数据中心的实现Hub-and-Spokes Ar
转载
2024-04-26 16:04:36
163阅读
文章目录Kafka概述1. 消息队列1.1 MQ传统应用场景1.2 使用消息队列的好处2. 消息队列的两种模式2.1 点对点模式2.2 发布/ 订阅模式3. Kafka基础架构☆☆ Kafka概述Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。1. 消息队列1.1 MQ传统应用场景1.2 使用消息队列的好处解耦
允许你独立
转载
2024-04-07 08:35:12
25阅读
日志存储结构首先我们来看一张 Kafka 的存储结构图。如上图所示，Kafka 中消息是以主题 topic 为基本单位进行归类的，这里的 topic 是逻辑上的概念，实际上在磁盘存储是根据分区存储的，每个主题可以分为多个分区、分区的数量可以在主题创建的时候进行指定。例如下面 kafka 命令创建了一个 topic 为 test 的主题、该主题下有 4 个分区、每个分区有两个副本保证高可用。./bi
转载
2024-03-19 02:44:02
48阅读
目录一、实时灵活分析需求1.需求分析的结果2.实时场景的关键二、实现过程1.使用canal实时采集数据2.Join的过程3.双流Join4.redis的相关建模三、代码开发 一、实时灵活分析需求1.需求分析的结果涉及全文检索，需要使用ES存储数据！搜索的是商品明细，需要将商品的明细导入到ES！商品明细：商品明细，男女比例，年龄比例 从Mysql的业务数据中取数据！数据源： Mysql的业务数据！
转载
2024-09-26 19:15:57
30阅读
# Kafka异地双活架构实现指南
## 1. 引言
在现代分布式系统中，Kafka作为一种高吞吐量的分布式消息中间件，被广泛应用于数据流处理。为了提高系统的可用性和可靠性，我们常常需要实现“异地双活架构”。异地双活架构允许在两个地理位置不同的数据中心同时处理数据，提高了系统的容错能力。本文将详细讲解如何构建这样的架构，分为几个步骤，并提供每个步骤的代码实现和解释。
## 2. 流程概览
