Kafka配置内外网访问

kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS

介绍kafka的两个参数KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS

主要在kafka需要部署在container里面时必须要注意用到。

1.kafka安装在原生主机上

配置KAFKA_LISTENERS=PLAINTEXT://:9092

因为这种场景下主机都是明确的,对谁都一样;任何人都可以通过<hostname>:9092访问kafka。

2.kafka安装在container里面

因为container里面的主机和端口,只有和container在同一个网络里的主机才能访问,而默认情况下container所在的宿主机是访问不了的。

例如:KAFKA_LISTENERS=PLAINTEXT://:9092, 那么:

  1. 在container内部,访问 localhost:9092
  2. 在和container同一个网络的其他container内部:访问<containerhost>:9092
  3. 在container宿主机上,不能访问:localhost:9092,也不能访问:<containerhost>:9092; 因为他们不通。

那么如何在宿主机上访问呢?
首先想到要把端口映射出来:9092:9092,把kafka container的端口9092映射到主机上的9092;

再试一下宿主机上:localhost:9092,这时是可以成功的。
换一个用法:<hostname>:9092,既然都映射出来的,我不用localhost而用真正的主机名行不行呢,答案是不行的,是不是很吃惊。这就引发另一个问题,和宿主机在同一个网络的其他物理主机也不能访问kafka了,因为不能通过hostname:9092的地址访问啊。

原因是什么呢?
这里我们就要提到KAFKA_ADVERTISED_LISTENERS的使用。
其实kafka客户端访问kafka是分两步走:

  1. 第一步,不管什么方式,客户端只要能连接到KAFKA_LISTENERS标识的地址,成功完成必要的认证后,就可以得到一个brokers返回地址。
  2. 第二步,通过返回的brokers重新建立和kafka的连接,生成producer/consumer。这个返回的brokers就是KAFKA_ADVERTISED_LISTENERS的值。

kafka对这两个参数的说明:

  • KAFKA_LISTENERS=PLAINTEXT://<addr>:<port>
    定义kafka的服务监听地址,addr可以为空,或者0.0.0.0,表示kafka服务会监听在指定地址。
  • KAFKA_ADVERTISED_LISTENERS
    kafka发布到zookeeper供客户端使用的服务地址,格式也是PLAINTEXT://<addr>:<port>,但是addr不能为空。
    如果KAFKA_ADVERTISED_LISTENERS没有定义,则是取的KAFKA_LISTENERS的值。
    如果KAFKA_LISTENERS的addr没有定义,则取的java.net.InetAddress.getCanonicalHostName()值。

结合我们的例子:

  1. 容器内定义了:KAFKA_LISTENERS=PLAINTEXT://:9092
    标识kafka服务运行在容器内的9092端口,因为没有指定host,所以是0.0.0.0标识所有的网络接口。
  2. 没有定义KAFKA_ADVERTISED_LISTENERS
    按缺省规则,等同于KAFKA_LISTENERS,即PLAINTEXT://:9092,但由于host不能为空,于是取java.net.InetAddress.getCanonicalHostName(),正好取到localhost。
  3. 于是在容器内和宿主机上都能通过地址localhost:9092访问kafka;但其实他们有本质的区别。
    在宿主机上通过localhost:9092第一次访问kafka,这个localhost是宿主机,9092是映射到宿主机的端口,容器内的kafka服务接到访问请求后,把KAFKA_ADVERTISED_LISTENERS返回给客户端,其本意是我容器主机localhost和容器端口9092,而客户端接到这个返回brokers后重新解析了localhost为宿主机,和宿主机的端口;但他们正好能够合作。

3.发布主机名服务

如何让外部其他主机也能访问。
方案已经很明确了,就是发布一个KAFKA_ADVERTISED_LISTENERS到所有人都认识的地址。

  1. 修改docker配置,让container能够访问宿主主机。
  2. 映射kafka容器端口9092到宿主主机。
  3. 定义KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://<宿主主机>:9092

这样不管是谁都通过统一的<宿主主机>:9092地址来访问kafka。

4.发布内外分开的地址

让容器网络上的主机访问一个kafka地址,让宿主机网络上的主机访问另一个kafka地址,实现内外地址分离。

  1. 定义kafka配置

export KAFKA_LISTENERS=INSIDE://:9092,OUTSIDE://:9094
export KAFKA_ADVERTISED_LISTENERS=INSIDE://<container>:9092,OUTSIDE://<host>:9094
export KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
export KAFKA_INTER_BROKER_LISTENER_NAME=INSIDE

主要INSIDE和OUTSIDE不是保留字,只是普通标识,可以任意取名,解释在KAFKA_LISTENER_SECURITY_PROTOCOL_MAP。

  1. 映射容器端口9094到主机9094
  2. 结果是
    在容器内kafka服务监听在两个端口9092和9094,端口9094被映射到外面同端口,9094:9094。
    容器网络使用<container>:9092访问kafka,主机网络使用<host>:9094访问kafka。