通过kafka传输Kafka 是一个高吞吐量的分布式发布订阅日志服务，具有高可用、高性能、分布式、高扩展、持久性等特性。目前已经在各大公司中广泛使用。和之前采用 Redis 做轻量级消息队列不同，Kafka 利用磁盘作队列，所以也就无所谓消息缓冲时的磁盘问题。此外，如果公司内部已有 Kafka 服务在运行，logstash 也可以快速接入，免去重复建设的麻烦。如果打算新建 Kafka 系统的，请参
转载
2024-03-19 01:49:00
136阅读
配置input {
kafka {
zk_connect => "localhost:2181"
group_id => "logstash"
topic_id => "test"
reset_beginning => false # boolean (optional)， default: false
consumer_threads => 5
转载
2024-03-04 09:29:09
62阅读
# Java 认证 Kafka JAAS 的科普文章
在现代应用程序中，消息队列已经成为数据处理和通信的核心组件。Kafka作为一个流行的分布式消息系统，被广泛应用于各种系统中。而在某些场景下，我们往往需要实现安全认证，确保数据的安全性和有效性。在Kafka中，Java认证可以通过Java Authentication and Authorization Service（JAAS）实现。本文将深
原创
2024-08-04 08:44:03
94阅读
Clients may configure JAAS using the client configuration property sasl.jaas.config or using the static JAAS config file similar to brokers.JAAS confi
转载
2019-09-11 16:29:00
280阅读
2评论
导语 在上一篇博客中简单的介绍了关于消息系统消息中间件技术以及Kafka的一些基础。这篇文章主要是来介绍关于Kafka的架构以及如何安装Kafka。 首先先来安装Kafka，对于Kafka的安装来说可以使用自己的Zookeeper也可以使用Kafka自带的Zookeeper。下面就来演示如何使用kafka自带的ZK来进行启动测试。第一步、首先获取Kafka的压缩包 http://kafka.a
转载
2024-03-28 11:50:48
328阅读
文章目录1. 副本基本信息2. Leader选举流程3. Follower故障4. Leader故障 1. 副本基本信息1）Kafka 副本作用：提高数据可靠性。2）Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性；太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率。3）Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 L
转载
2024-03-18 22:10:35
81阅读
目录背景SASL/SCRAMSASL/PLAIN改造新建mysql 元信息库新增mysql 连接池工具类修改PlainSaslServer类打包测试兼容上线后续 背景 因为公司其他业务方使用的语言多种多样，以C和C++为主，还有python、php、go、等语言，java只占很少一部分，所以在公司想推行kerberos认证很困难，总是遇到各种各样的阻
转载
2024-04-23 16:20:05
74阅读
1.环境准备1）启动zk和Kafka集群，在Kafka集群中打开一个消费者 [bigdata@hadoop003 kafka]$ bin/kafka-console-consumer.sh –zookeeper hadoop003:2181 --topic second 2）导入pom依赖<dependencies>
<!-- https://mvnrepository
转载
2024-03-18 14:01:52
86阅读
一、概述 Kafka事务特性是指一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中，或者说是一个原子操作，生产消息和提交偏移量同时成功或者失败。注意：kafka事务和DB事务。在理解消息的事务时，一直处于一个错误理解是，把操作db的业务逻辑跟操作消息当成是一个事务，如下所示：void kakfa_in_tranction(){
// 1.kafa的操作：读取消息或生产消息
kaf
转载
2024-04-22 07:39:06
50阅读
一、kafka基础介绍0. kakfa概述Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）开源消息系统，由Scala写成，是由Apache软件基金会开发的一个开源消息系统项目，该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。kafka基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量
准备三台虚拟机，并列出对应的IP地址和主机名，如下图所示IP主机名称192.168.1.3worker1192.168.1.4worker2192.168.1.5worker3 zookeeper version：zookeeper-3.5.8 kaf
前段时间公司需要做一个日志分析的需求，于是开始了对于日志分析这方面的研究。现在系统中集成的是Fluem + elastaticSearch + 还有influxdb，如果基于这些做日志分析的话，就可能需要使用Flume + kafka + elastaticSearch但是我对比了一下Flume和logstash 他们共同的特点是支持的采集方式很全，支持分布式。区别在于Flume作为生产方传输数据
转载
2024-03-25 22:03:27
105阅读
logstash-2.3.1安装和kafka结合使用 说明: 1.logstash必须运行于jdk7.55以上版本(可参考的我另一篇博客安装) 2.logstash开发语言JRuby,运行于jvm 6.logstash5x不再支持kafka0.8支持kafka0.9 安装log 解压缩tar zxf logstash-2.3.1.tar.gz -C /bigdata/su bigdat
转载
2024-03-15 18:29:00
120阅读
什么是Metadata？ Topic/Partion与broker的映射关系：每一个Topic的每一个Partion的Leader、Follower的信息。它存在哪里？持久化在Zookeeper中；运行时存储在Broker的内存中。1 Metadata的2种更新机制周期性的更新: 每隔一段时间更新一次。，这个通过 Metadata的lastRefreshMs, lastSuccessfulRefr
转载
2024-04-27 12:19:46
88阅读
环境 ：centos 7192.168.1.1zookeeper+kafka+logstash+es+kiana192.168.1.2zookeeper+kafka+filebeat192.168.1.3zookeeper+kafka+filebeat组件介绍：1.Filebeat负责从web服务器上实时抓取数据，当log文件发生变化时，将文件内容吐给kafka。2.Kafka是消息队列，主要作用
转载
2024-07-03 23:03:36
271阅读
我们知道Logstash的架构如下：它的整个 pipleline 分为三个部分：input 插件：提取数据。 这可以来自日志文件，TCP 或 UDP 侦听器，若干协议特定插件（如 syslog 或I RC）之一，甚至是排队系统（如 Redis，AQMP 或 Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。filter 插件：插件转换并丰富数据output 插件: 将已处理的事件加载到其
转载
2024-03-05 08:39:45
116阅读
一，input模块
Logstash由三个组件构造成，
分别是input、filter以及output。我们可以吧Logstash三个组件的工作流理解为：input收集数据，filter处理数据，output输出数据。 1、文件类型：file{}
文件类型，顾名思义，文件数据源，我们可以使用input组件的file插件来获取数据
input{
fil
转载
2024-03-26 10:42:21
231阅读
Kafka Producer 开发kafka包含5个核心的API接口定义：Producer API - 允许应用程序往kafka集群中的topic中发送事件消息Consumer API - 允许应用程序从kafka topic 中读取数据Streams API - 允许对输入数据流进行数据计算、转换，并发送到其他主题进行消费Connect API - 实现connector API，从某个源系统、
转载
2024-03-19 12:19:41
54阅读
最近完成了Spark Streaming和Kafka的整合工作，耗时虽然不长，但是当中还是遇到了不少的坑，记录下来，大家方便绕行。先说一下环境：Spark 2.0.0 kafka_2.11-0.10.0.0之前的项目当中，已经在pom当中添加了需要的Spark Streaming的依赖，这次只需要添加Spark Streaming Kafka的以来就行了，问题
转载
2023-11-20 02:51:43
94阅读
对于运维人而言，如何安装维护一套监控系统，或如何进行技术选型，从来不是工作重点。如何借助工具对所需的应用、组件进行监控，发现并解决问题才是重中之重。随着 Prometheus 逐渐成为云原生时代可观测标准，为了帮助更多运维人用好 Prometheus，阿里云云原生团队将定期更新 Prometheus 最佳实践系列。第一期我们讲解了《最佳实践｜Spring Boo
