Kafka集群常见的跨网络访问详解
admin
2023-01-24 20:00:57
0

场景说明:
当客户端与服务端在不同区域(跨防火墙,地址均做了映射)时,客户端访问kafka时会出现获取不到broker的问题,但是网络之间是互通的。但在跨防火墙下,client请求zookeeper的时候,zookeeper返回给client的broker IP是kafka的实际地址,而不是映射地址,因此client会访问失败。
Kafka集群常见的跨网络访问详解

解决方式一、
1、配置文件:listeners=PLAINTEXT://主机名:9092
2、服务端hosts:内网地址 主机名
3、客户端hosts :外网地址 主机名

注意事项:不安全,且配置复杂不统一

解决方式2:(案例)
1、注释:
listeners=PLAINTEXT://192.168.111.134:9092

添加:

   inter.broker.protocol.version=1.0
   log.message.format.version=1.0
   advertised.listeners=INSIDE://192.168.111.134:9092,OUTSIDE://node7:9093
   listeners=INSIDE://192.168.111.134:9092,OUTSIDE://node7:9093
   listener.security.protocol.map=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
   inter.broker.listener.name=INSIDE

解释:相当于开通2个端口,如果服务器多网卡可以主机名部分填写外网地址。
如果采用统一管理,可采用主机名解析,用nginx代理。
上面的变更,需要3台重启集群重启生效,zk监听地址不一样了,如图(所以要考虑到业务,建议标准化配置)
Kafka集群常见的跨网络访问详解

2、服务端hosts
内网地址 主机名 (这里采用域名解析)

 注意:官网也提供了安全加密,非文本加密方式,如果kafka和zk都要求安全,建议参考官网统一配置

Kafka集群常见的跨网络访问详解

官网相关参数解释:

host.name:
Kafka集群常见的跨网络访问详解

advertised.host.name:
advertised.listeners:
listeners:

Kafka集群常见的跨网络访问详解
Kafka集群常见的跨网络访问详解

上一篇:浅谈AD域

下一篇:CentOS7搭建×××连接

相关内容

热门资讯

时隔一年,英国国防大臣斯特里廷... 一年前,当时还是英国卫生大臣的韦斯·斯特里廷(Wes Streeting)曾公开指责以色列犯下战争罪...
微软与Mistral宣布扩大战... 【CNMO科技消息】7月22日,据韩媒报道,微软与法国AI企业Mistral正式宣布大幅扩大双方战略...
东方空间引力一号(遥四)运载火... 本报讯 (记者袁传玺)北京时间7月22日10时54分,东方空间引力一号(遥四)·星联体号运载火箭在我...
“你的手上沾满鲜血”,美防长出... 当地时间21日,美国国防部长赫格塞思在出席国会参议院听证会时表示,根据最新估算,美国对伊朗战事的花费...
Kimi K3让美国羡慕又不甘... 北京时间7月17日凌晨,月之暗面公司发布开源大模型Kimi K3。据报道,该模型总参数规模达2.8万...
对话高正祺:AI五年内或接管芯... 2021 年,高正祺到 MIT 读博士时,ChatGPT 还没有发布。五年后,他已经可以把一份模拟电...
伊朗军方消息人士:若美袭击伊桥... △伊朗霍尔木兹甘省一座桥梁近日遭美军空袭总台记者当地时间22日获悉,一名伊朗军方消息人士针对美方最新...
外国男子在云南跳伞,半空迟迟不... 近日,有视频显示,一名外国男子背着降落伞从玻璃栈道上跳入峡谷,栈道上有游客拍照鼓掌。男子跳下后,以高...
美国人开始在直播间里“抢”东西... 作者 | 竹芒今年夏天,许多美国消费者的手机屏幕上,出现了这样一幅画面:倒计时十五秒,一件商品的价格...
伊朗连炸20座机库,造成数十名... 伊朗公布重大战果。伊朗WANA通讯社转引伊朗伊斯兰革命卫队第31号声明称,在“胜利2号行动”第21轮...