Month: 2023年6月

Kafka配置内外网访问

kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS

介绍kafka的两个参数KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS

主要在kafka需要部署在container里面时必须要注意用到。

1.kafka安装在原生主机上

配置KAFKA_LISTENERS=PLAINTEXT://:9092

因为这种场景下主机都是明确的，对谁都一样；任何人都可以通过<hostname>:9092访问kafka。

2.kafka安装在container里面

因为container里面的主机和端口，只有和container在同一个网络里的主机才能访问，而默认情况下container所在的宿主机是访问不了的。

例如：KAFKA_LISTENERS=PLAINTEXT://:9092， 那么：

  1. 在container内部，访问 localhost:9092
  2. 在和container同一个网络的其他container内部：访问<containerhost>:9092
  3. 在container宿主机上，不能访问：localhost:9092，也不能访问：<containerhost>:9092； 因为他们不通。

那么如何在宿主机上访问呢？
首先想到要把端口映射出来：9092:9092，把kafka container的端口9092映射到主机上的9092；

再试一下宿主机上：localhost:9092，这时是可以成功的。
换一个用法：<hostname>:9092，既然都映射出来的，我不用localhost而用真正的主机名行不行呢，答案是不行的，是不是很吃惊。这就引发另一个问题，和宿主机在同一个网络的其他物理主机也不能访问kafka了，因为不能通过hostname:9092的地址访问啊。

原因是什么呢？
这里我们就要提到KAFKA_ADVERTISED_LISTENERS的使用。
其实kafka客户端访问kafka是分两步走：

  1. 第一步，不管什么方式，客户端只要能连接到KAFKA_LISTENERS标识的地址，成功完成必要的认证后，就可以得到一个brokers返回地址。
  2. 第二步，通过返回的brokers重新建立和kafka的连接，生成producer/consumer。这个返回的brokers就是KAFKA_ADVERTISED_LISTENERS的值。

kafka对这两个参数的说明：

  • KAFKA_LISTENERS=PLAINTEXT://<addr>:<port>
    定义kafka的服务监听地址，addr可以为空，或者0.0.0.0，表示kafka服务会监听在指定地址。
  • KAFKA_ADVERTISED_LISTENERS
    kafka发布到zookeeper供客户端使用的服务地址，格式也是PLAINTEXT://<addr>:<port>，但是addr不能为空。
    如果KAFKA_ADVERTISED_LISTENERS没有定义，则是取的KAFKA_LISTENERS的值。
    如果KAFKA_LISTENERS的addr没有定义，则取的java.net.InetAddress.getCanonicalHostName()值。

结合我们的例子：

  1. 容器内定义了：KAFKA_LISTENERS=PLAINTEXT://:9092
    标识kafka服务运行在容器内的9092端口，因为没有指定host，所以是0.0.0.0标识所有的网络接口。
  2. 没有定义KAFKA_ADVERTISED_LISTENERS
    按缺省规则，等同于KAFKA_LISTENERS，即PLAINTEXT://:9092，但由于host不能为空，于是取java.net.InetAddress.getCanonicalHostName()，正好取到localhost。
  3. 于是在容器内和宿主机上都能通过地址localhost:9092访问kafka；但其实他们有本质的区别。
    在宿主机上通过localhost:9092第一次访问kafka，这个localhost是宿主机，9092是映射到宿主机的端口，容器内的kafka服务接到访问请求后，把KAFKA_ADVERTISED_LISTENERS返回给客户端，其本意是我容器主机localhost和容器端口9092，而客户端接到这个返回brokers后重新解析了localhost为宿主机，和宿主机的端口；但他们正好能够合作。

3.发布主机名服务

如何让外部其他主机也能访问。
方案已经很明确了，就是发布一个KAFKA_ADVERTISED_LISTENERS到所有人都认识的地址。

  1. 修改docker配置，让container能够访问宿主主机。
  2. 映射kafka容器端口9092到宿主主机。
  3. 定义KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://<宿主主机>:9092

这样不管是谁都通过统一的<宿主主机>:9092地址来访问kafka。

4.发布内外分开的地址

让容器网络上的主机访问一个kafka地址，让宿主机网络上的主机访问另一个kafka地址，实现内外地址分离。

  1. 定义kafka配置

export KAFKA_LISTENERS=INSIDE://:9092,OUTSIDE://:9094
export KAFKA_ADVERTISED_LISTENERS=INSIDE://<container>:9092,OUTSIDE://<host>:9094
export KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
export KAFKA_INTER_BROKER_LISTENER_NAME=INSIDE

主要INSIDE和OUTSIDE不是保留字，只是普通标识，可以任意取名，解释在KAFKA_LISTENER_SECURITY_PROTOCOL_MAP。

  1. 映射容器端口9094到主机9094
  2. 结果是
    在容器内kafka服务监听在两个端口9092和9094，端口9094被映射到外面同端口，9094:9094。
    容器网络使用<container>:9092访问kafka，主机网络使用<host>:9094访问kafka。