baiyuliu
等级：版主
文章：56
积分：588
注册：2006年12月19日2007-6-29 22:04:16
第一部分 Kerberos 协议介绍
1．Kerberos 协议简介
在希腊神话中， Kerberos是守护地狱之门的三头狗。在计算机世界里，麻省理工学院(MIT)把他们开发的这一网络认证系统命名为 Kerberos。 Kerberos认证协议
转载
2024-05-24 16:21:11
50阅读
auto.commit.interval.ms = 5000
auto.offset.reset = latest
bootstrap.servers = [testserver7:9092, testserver5:9092, testserver4:9092]
check.crcs = true
自动检查CRC32记录的消耗
转载
2024-03-28 22:06:44
123阅读
Kafka认证和授权
Kafka的认证机制概述GSSAPI：使用的Kerberos认证，可以集成目录服务，比如AD。Kafka最小版本 0.9PLAIN：使用简单用户名和密码形式，Kafka最小版本 0.10SCRAM：主要解决PLAIN动态更新问题以及安全机制，Kafka最小版本 0.10.2OAUTHBEARER：基于OAuth 2认证框架，Kafk
转载
2023-08-03 16:55:24
400阅读
一.背景kafka提供了多种安全认证机制，主要分为SSL和SASL2大类。其中SASL/PLAIN是基于账号密码的认证方式，比较常用。最近做了个kafka的鉴权，发现官网上讲的不是很清楚，网上各种博客倒是很多，但是良莠不齐，巨多坑。经过一天的研究，终于搞定了，特在此记录下。二.环境操作系统：linux kafka版本：kafka_2.12-0.11.0.1 zookeeper版本：zookeepe
转载
2023-11-06 13:09:24
127阅读
1.Kafka 的设计时什么样的呢？ Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为 producers. 将预订 topics 并消费消息的程序成为 consumer. Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker. producers 通过网络将消息发送到 Kafka 集群，集群向消费者提供消息2.数
转载
2024-02-03 04:58:58
47阅读
一、方案1. 不接入外部存储，基于kafka原生ACL认证环境： kafka-2.2.1、zookeeper-3.6.3 kafka给我们提供了SASL/SCRAM模式，将SASL、ACL规则信息存储到zookeeper中，并且通过KafkaClientAdmin Api，新增、编辑、删除规则，其特性如下应用发送、消费实现动态身份认证和授权基于kafka SASL/SCRAM模式，客户端会在建立连
转载
2024-01-17 07:03:39
164阅读
一.背景kafka提供了多种安全认证机制，主要分为SSL和SASL2大类。其中SASL/PLAIN是基于账号密码的认证方式，比较常用。最近做了个kafka的鉴权，发现官网上讲的不是很清楚，网上各种博客倒是很多，但是良莠不齐，巨多坑。经过一天的研究，终于搞定了，特在此记录下。二.环境操作系统：linux
kafka版本：kafka_2.12-0.11.0.1
zookeeper版本：zookeepe
转载
2023-08-02 12:15:01
534阅读
目录1.Windows安装zookeeper：1.1下载zookeeper1.2 解压之后如图二1.3创建日志文件1.4复制 “zoo_sample.cfg” 文件1.5更改 “zoo.cfg” 配置1.6新建zk_server_jaas.conf1.7修改zkEnv.cmd1.8导入相关jar1.9以上配置就配好啦，接下来启动。1.10连接测试2.Windows下安装运行kafka：2
转载
2024-09-02 18:49:20
168阅读
学习过kafka的人都知道，kafka的默认端口是9092，且消费kafka消息的命令也极其简单。现在随着kafka在消息传输应用中使用的越来越广泛，那么生产环境中消息的保密性也变的重要了，所以生产环境使用ssl来认证kafka是比较必要的。Apache kafka 允许clinet通过SSL连接，SSL默认是不可用的，需手动开启。1、部署HTTPS，第一步是为集群的每台机器生成密钥
转载
2023-12-17 19:19:50
32阅读
除了正常的消息发送和消费，在使用 Kafka 的过程中难免会遇到一些其他高级应用类的需求，比如消费回溯，这个可以通过原生 Kafka 提供的 KafkaConsumer.seek() 方法来实现，然而类似延时队列、消息轨迹等应用需求在原生 Kafka 中就没有提供了。我们在使用其他消息中间件时，比如 RabbitMQ，使用到了延时队列、消息轨
转载
2024-04-27 21:43:49
152阅读
在之前的文章：EurekaClient自动装配及启动流程解析中，我们提到了在构造DiscoveryClient时除了包含注册流程之外，还调度了一个心跳线程： scheduler.schedule(
new TimedSupervisorTask(
"heartbeat",
转载
2024-06-17 16:31:17
38阅读
1、环境准备1、java version “1.8.0_131” 2、zookeeper-3.4.12 3、kafka-2.12-2.3.1 4、基于本人的另外两篇博客已安装kerberos与Zookeeper kafka的安装建议通过百度一下相关教程很多，本文就不在论述。2、kafkaServer端开启kerberos2.1 添加认证主体[root@henghe-01 data] kadmin.
转载
2023-10-06 18:59:03
238阅读
一、概述1、Kafka的权限分类1）、身份认证（Authentication）：对client 与服务器的连接进行身份认证，brokers和zookeeper之间的连接进行Authentication（producer 和 consumer）、其他 brokers、tools与 brokers 之间连接的认证。2）、权限控制（Authorization）：实现对于消息级别的权限控制，clients
转载
2023-09-08 08:43:05
4120阅读
Producer端： 1. 不要使用producer.send(msg)，而要使用producer.send(msg, callback)。记住，一定要使用带有回调通知的send方法。 2. 设置acks = all。acks是Producer的一个参数，代表了你对“已提交”消息的定义。如果设置成all，则表明所有副本Broker都要接收到消息，该消息才算是“已提交”。这是最高等级的“已提交”定义
转载
2024-03-19 13:18:24
81阅读
Kafka 简要使用说明概念: Partition, consumer group, rebalance在使用中, 如果要保证消费 Kafka 的数据和生产数据的次序严格一致,一个 Topic 只能设置了一个 Partition. 一个 partition 对应着磁盘的一个目录, 所以如果设置成一个 partition 要求数据的容量不能超过单机磁盘空间, 同时因为是单机读写, 吞吐能力会变差.一
转载
2024-07-04 15:33:10
147阅读
身份认证介绍身份认证指的是客户端(生产者或消费者)通过某些凭据，例如用户名/密码或是SSL证书，让服务端确认客户端的真实身份。身份认证在Kafka中的具体体现是服务器是否允许与当前请求的客户端建立连接，在Kafka 0.10版本中，客户端与服务端支持使用SSL、SASL/PLAIN等方式进行连接，默认情况下，这些身份认证方式是不开启的。SSLSSL(Secure Sockets Layer)是一种
转载
2024-02-23 11:13:47
107阅读
在上一篇文章中，已经介绍了 Producer 的发送模型，Producer dosend() 方法中的第一步，就是获取相关的 topic 的 metadata，但在上篇中并没有深入展开，因为这部分的内容比较多，所以本文单独一篇文章进行介绍，本文主要来讲述以下三个问题：metadata 内容是什么。Producer 更新 metadata 的流程。Producer 在什么情况下会去更新 metada
转载
2024-03-26 09:00:24
153阅读
1.概述 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafka集群，就可以操作集群上的所有主题了。由于没有权限控制，集群核心的业务主题时存在风险的。2.内容2
转载
2024-03-07 20:54:14
301阅读
# Java Kerberos 过期自动认证实现流程
## 概述
Kerberos 是一种网络认证协议，可以实现安全的身份验证。在 Java 中，我们可以使用 Kerberos 进行用户身份验证和自动过期认证。本文将向你介绍如何在 Java 中实现 Kerberos 过期自动认证。
## 流程
以下是实施 Kerberos 过期自动认证的基本步骤：
| 步骤 | 描述 |
| --- | -
原创
2023-08-01 10:08:46
518阅读
以下介绍来自百度百科 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的
