kafka中listener和advertised.listeners的作用

原创

编程黑洞 2023-05-06 07:04:56 ©著作权

文章标签 kafka 中间件 IP sed 文章分类 JavaScript 前端开发

©著作权归作者所有：来自51CTO博客作者编程黑洞的原创作品，请联系作者获取转载授权，否则将追究法律责任

listener

listener配置是用来绑定BrokerIP+端口地址的，也就是只有通过绑定的地址才能够访问到该Broker。除了绑定地址之外，还可以配置该监听地址的认证协议，也就是使用该地址连接Broker时需要指定使用何种协议方式进行连接。

如下配置：

listeners: INTERNAL://172.17.0.10:9092,EXTERNAL://172.17.0.10:9094
kafka_listener_security_protocol_map: "INTERNAL:SASL_PLAINTEXT,EXTERNAL:SASL_PLAINTEXT"

连接该Broker的客户端只能通过172.17.0.10:9092和172.17.0.10:9094这两个地址访问kafka，并给前一个地址设置listener名称为INTERNAL，后一个为EXTERNAL

在kafka_listener_security_protocol_map配置中设置listener所使用的通信协议，INTERNAL设置的是SASL_PLAINTEXT，这也是常见的用户名和密码认证协议，EXTERNAL设置也是该协议。

最终，kafka 客户端连接该kafka broker，需要通过172.17.0.10:9092或172.17.0.10:9094地址进行连接，并且都需要使用用户名和密码进行认证。

advertised.listeners

该配置指定Kafka Broker对外公开的网络IP和端口，用于告知客户端如何连接到Kafka Broker。公开的方式是通过存储在zookeeper中进行共享数据的。

如下配置：

listeners: INTERNAL://172.17.0.10:9092,EXTERNAL://172.17.0.10:9094
advertised_listeners: INTERNAL://172.17.0.10:9092,EXTERNAL://公网IP:端口
kafka_listener_security_protocol_map: "INTERNAL:SASL_PLAINTEXT,EXTERNAL:SASL_PLAINTEXT"

listeners和kafka_listener_security_protocol_map的配置和上面讲的一样，而advertised_listeners的配置和listeners配置含义基本一致，但是它会保存在zookeeper中/brokers/ids/0的endpoints里。

...
"endpoints":["INTERNAL://172.17.0.10:9092","EXTERNAL://172.17.0.10:9094"]
...

kafka客户端连接kafka broker时，会先获取所有brokers的元数据信息，获取到endpoints的信息，然后再通过其中的endpint进行对broker进行连接操作。

问题来了，我都知道了kafka broker的IP地址+端口了，为什么还需要advertised.listeners?

在需要代理才能连接kafka broker时，在这种场景时，需要将advertised.listeners设置为代理的地址。

在公有云场景下部署kafka集群，公网IP不是在本节点网卡上的，所以无法通过listener进行绑定，所以只能通过0.0.0.0进行绑定。但是在集群外部时，kafka客户端进行连接，它是需要有能力访问kafka的每一个broker节点的，所以需要在advertised.listeners中配置公网IP，并存储在zookeeper中，这样kafka客户端就能拿到所有broker节点的公网IP并进行访问。

内外网分流

在公有云场景下，我们希望在集群内部客户端访问时不需要认证，而外部客户端访问时需要走认证加密访问。配置如下：

listeners: INTERNAL://0.0.0.0:9092,EXTERNAL://0.0.0.0:9094
advertised_listeners: INTERNAL://内网IP:9092,EXTERNAL://公网IP:9094
kafka_listener_security_protocol_map: "INTERNAL:PLAINTEXT,EXTERNAL:SASL_PLAINTEXT"

listeners都设置成对0.0.0.0进行监听也就是监听所有的网卡，但它们的端口不同，9092端口使用PLAINTEXT协议，而9094端口走的是SASL_PLAINTEXT协议

advertised_listeners，内网IP使用PLAINTEXT协议，公网IP使用SASL_PLAINTEXT协议。

当内网客户端访问时，会先获取到所有brokers的advertised_listeners信息，然后通过PLAINTEXT协议走内网IP访问kafka集群。

当公网客户端访问时，会先获取到所有brokers的advertised_listeners信息，然后通过SASL_PLAINTEXT走公网IP进行访问。