上篇博文主要总结了一下elk、基于kafka的zookeeper集群搭建，以及系统日志通过zookeeper集群达到我们集群的整个过程。下面我们接着下面这个未完成的几个主题4.Kibana部署;5.Nginx负载均衡Kibana请求;6.案例：nginx日志收集以及MySQL慢日志收集;7.Kibana报表基本使用; Kibana的部署; Kibana的作用，想必大家都知道了就是一个
转载
2024-10-28 10:44:23
8阅读
消息投递语义（Message delivery semantics）有如下几种可能的消息传递保障：1、At most once：消息可能丢失，但是不会重复。2、At least once：消息不会丢失，但是可能重复。系统保证每条消息至少会发送一次，但在有故障的情况下可能会导致重复发送。3、Exactly once：仅仅一次—这种是人们实际想要的，每条消息只会而且仅会发送一次。这里需要拆开为两个问题
一、异步处理1、异步概念异步处理不用阻塞当前线程来等待处理完成，而是允许后续操作，直至其它线程将处理完成，并回调通知此线程。必须强调一个基础逻辑，异步是一种设计理念，异步操作不等于多线程，MQ中间件，或者消息广播，这些是可以实现异步处理的方式。同步处理和异步处理相对，需要实时处理并响应，一旦超过时间会结束会话，在该过程中调用方一直在等待响应方处理完成并返回。同步类似电话沟通，需要实时对话，异步
转载
2024-10-10 10:54:41
54阅读
# 如何实现"Hive投递Kafka Java"
## 引言
作为一名经验丰富的开发者，我会在本篇文章中教会你如何使用Java实现Hive数据投递到Kafka的过程。在开始之前，让我们先了解一下整个过程的流程图。
```mermaid
journey
title "Hive投递Kafka Java流程"
section "步骤一" as step1
"连接到Hi
原创
2023-12-18 12:46:03
39阅读
问题用过 group.id 一样的 Consumer，这些 Consumer 属于同一个Consumer Group，组内的所有消费者协调在一起来消费订阅主题(subscribed topics)的所有分区(partition)。当然，每个分区只能由同一个消费组内的一个consumer来消费。那么问题来了，同一个 Consumer Group 里面的 Consumer 是如何知道该消费哪些分区里面
项目介绍及软件功能： Filebeat： 部署在各个应用服务器上收取日志信息，简单过滤信息，推送给kafka（Go语言写的） Kafka：部署集群，可以跟logstach,kibana这些部署在一台上也可以单独部署！它主要负责给ES一个缓冲期，减轻压力！存储filebeat发过来的数据，对磁盘有要求！kafka跟另一个Kafka通信是通过zookeeper的，所以安装Kafka前要先安装zooke
转载
2024-04-18 10:56:53
48阅读
介绍采用 Elastic Stack，应用程序日志发送到 Elasticsearch 有三种不同架构，每种架构各有优缺点：应用程序 -> Filebeat -> Logstash -> Elasticsearch应用程序 -> Filebeat -> Elasticsearch应用程序 (Java) + Logstash-logback-encoder -> L
这篇文章来聊一下 Kafka 的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。那么 Kafka 到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来详细说一下。页缓存技术 + 磁盘顺序写首先 Kafka 每次接收到数据都会往
转载
2023-12-02 23:05:35
74阅读
1 分布式的3个需求 CAP C: Consistency一致性，所有数据节点上的数据一致性和正确性。 A: Availability可用性，每一个操作总是能够在一定时间内返回结果。 P: Partition Tolerance分区容忍性，，是否可以对数据进行分区。2 两阶段提交协议 2.1 基础 含义: 协调所有分布式原子事务参与者，并决定提交或取消（回滚）的分布式算法。 在两阶段提交协议中，系
Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器（SystemTimer）。JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度为O(nlog(n))，并不能满足Kafka的高性能要求，而基于时间轮可以将插入和删除操作的时间复
转载
2024-03-21 10:33:39
43阅读
Kafka简介消息队列消息队列——用于存放消息的组件程序员可以将消息放入到队列中，也可以从消息队列中获取消息很多时候消息队列不是一个永久性的存储，是作为临时存储存在的（设定一个期限：设置消息在MQ中保存10天）消息队列中间件：消息队列的组件，例如：Kafka、Active MQ、RabbitMQ、RocketMQ、ZeroMQKafka的应用场景异步处理可以将一些比较耗时的操作放在其他系统中，通过
kafka生产者消息投递分区策略
原创
2020-07-27 22:12:20
1863阅读
Kafka——可靠的数据传递kafka的复制机制和分区的多副本架构时kafka可靠性保证的核心。可靠性保证ACID规范：原子性、一致性、隔离性和持久性kafka可以保证分区内消息的顺序只有当消息被写入分区的所有同步副本时（但不一定写入磁盘），才被称为“已提交”的消息只要还有一个副本时活跃的，那么已提交的消息就不会丢失消费者只能读取已提交的消息复制复制功能是kafka架构的核心。在个别节点失效时仍能
转载
2024-04-25 13:13:36
67阅读
消息重复的场景及解决方案
消息重复和丢失是
kafka
中很常见的问题，主要发生在以下三个阶段： 1.
生产者阶段 2. broke
阶段 3.
消费者阶段 1 生产者阶段重复场景 生产发送的消息没有收到正确的broke响应，导致生产者重试。 生产者发出一条消息，broke落盘以后因为网络等种种原因发送端得到一个发送失败的响应或者网络中断，然后
转载
2024-03-06 08:45:45
179阅读
目录一.Kafka工作流程1.整体架构2.需要注意⚠️：二.分片索引机制示例：如何找到对应offset的Message消息呢三.总结 一.Kafka工作流程1.整体架构消息交互两方分别是生产者Producer和消费者Consumer，Kafka集群Cluster中，有三个broker，类似于三个实例。其中针对同一个Topic A有三个不同分区Partition，每个都有自己的follower（备
转载
2024-03-15 05:17:20
74阅读
Producer总体结构发送过程直接与具体broker连接进行消息发送分区器，默认使用DefaultPartitioner：有key默认使用hash，除修改分区数量是，可以保证相同key在一个分区；没有key，通过计数%分区数进行循环发送。业务线程通过KafkaProducer.send()方法不断向RecordAccumulator追加消息，当达到一定的条件，会唤醒Sender线程发送Recor
转载
2024-05-31 16:39:12
293阅读
本篇文章将讨论SIEM解决方案一个非常重要的因素:集成合规性管理。现如今，数据泄露的情况越来越严重，企业每天还要面对各种各样的网络攻击，并且合规要求也越来越严格。Log360通过提供一系列功能，帮助企业合规管理日志:预定义的合规性报表:Log360提供了多个预定义合规性报表，包括PCI DSS、SOX、HIPAA、FISMA、GLBA、ISO 27001、GDPR以及信息安全等级保护（ISLP）合
转载
2024-09-28 22:03:31
28阅读
本文将讲述kafka支持的3种消息投递语义，以及实现exactly once语义的原理机制。
目录1. Kafka消息投递语义-消息不丢失，不重复，不丢不重1.1. 介绍1.2. Producer 消息生产者端1.3. Broker 消息接收端1.4. Consumer 消息消费者端1.5. Exactly Once实现原理1.5.1. Producer
转载
2024-04-25 07:14:00
61阅读
https://www.aboutyun.com/thread-27654-1-1.html https://www.cnblogs.com/bigdatalearnshare/p/13832709.html ...
转载
2021-08-19 15:26:00
96阅读
2评论
目录：1.日志格式划分 1.1 v0 版本 1.2 v1 版本 1.3 v2 版本2. 各个版本消息格式变更 2.1 v0 版本 2.2 v1 版本 2.3 v2 版本3. v0 与 v1 的日志压缩4. 日志在磁盘上的组织形式 4.1 日志存放目录 4.2 索引文件
转载
2024-02-04 01:20:36
79阅读
