3台linux搭建Pulsar集群环境用于测试
admin
2023-01-23 18:42:37
0
  搭建 Pulsar 集群需要 3 个组件:ZooKeeper 集群、BookKeeper 集群和 broker 集群
        以下部署策略:
        192.168.1.46  (部署BookKeeper,部署broker)
        192.168.1.47  (部署BookKeeper,部署broker)
        192.168.1.48  (部署单个ZK,部署BookKeeper,部署broker)
        前期准备
        1)jdk1.8
        2)在各机器根下创建 data目录,下载apache-pulsar-2.4.2-bin.tar.gz拷到data目录下
           chmod 777 apache-pulsar-2.4.2-bin.tar.gz
           tar xvfz apache-pulsar-2.4.2-bin.tar.gz
        一 ZooKeeper 集群
        为了简单一台机器上部署单个ZK使用.
        1) 在data目录下创建 zookeeper和zookeeper/logs目录
        2) 修改 zookeeper.conf 文件
              dataDir=/data/zookeeper
              dataLogDir=/data/zookeeper/logs
              server.3=192.168.1.48:2888:3888
        3)  执行命令 echo 3 > /data/zookeeper/zookeeper/myid
        4)  启动zk
             /data/apache-pulsar-2.4.2$ PULSAR_EXTRA_OPTS="-Dstats_server_port=8001" bin/pulsar-daemon start zookeeper
                 (注意:因为ZK和broker部署在同一机器启动时要加上PULSAR_EXTRA_OPTS="-Dstats_server_port=8001" 改变端口,否则到后边在冲突)
        5) 初始化集群元数据
            bin/pulsar initialize-cluster-metadata \
      --cluster pulsar-cluster-zk \
      --zookeeper 192.168.1.48:2181 \
      --configuration-store 192.168.1.48:2181 \
      --web-service-url http://192.168.1.48:8080 \
      --web-service-url-tls https://192.168.1.48:8443 \
      --broker-service-url pulsar://192.168.1.48:6650 \
      --broker-service-url-tls pulsar+ssl://192.168.1.48:6651

     二  BookKeeper 集群
          1)创建 /data/bookkeeper/目录
          2)bookkeeper.conf 文件
             advertisedAddress=HOSTNAMEIP  (根据机器IP填写)
            zkServers=192.168.1.48:2181
            journalDirectory=/data/bookkeeper/journal
            ledgerDirectories=/data/bookkeeper/ledgers
            3 执行初始化元数据命令;若出现提示,输入 Y,继续(只需在一个bookie节点执行一次)
                /data/apache-pulsar-2.4.2$ bin/bookkeeper shell metaformat
            4)启动  data/apache-pulsar-2.4.2$ bin/pulsar-daemon start bookie
            5)另两台机器根据以上操作分别启动
        三部署 broker集群
            1 修改配置文件broker.conf 
                zookeeperServers=192.168.1.48:2181
                configurationStoreServers=192.168.1.48:2181
                advertisedAddress=HOSTNAME (根据机器IP填写)
                clusterName=pulsar-cluster-zk
            2 启动data/apache-pulsar-2.4.2$ bin/pulsar-daemon start broker
            3 另两台机器根据以上操作分别启动

上一篇:Pulsar Token身份验证

下一篇:hive 安装

相关内容

热门资讯

探秘沧海之“晶”:海水制盐的原... 自古以来,海就是巨大的宝藏,尤其它那孕育“白色精灵”——食盐的魔力,更是人类文明的基石之一。海水如何...
日媒播出专题片揭露731部队罪... 当地时间21日夜间,日本广播协会播出侵华日军731部队相关专题片,题为《被隐藏的部队:沉默的战后》。...
苏州正式设立人工智能发展办公室 新京报讯 据“苏州发布”微信公众号消息,近日,苏州市正式设立人工智能发展办公室,进一步统筹苏州市人工...
警方通报“16岁高中生被刺死”... 7月22日,内蒙古乌拉特前旗公安局针对“16岁高中生被刺死,事发地疑为涉黄场所”发布警情通报,通报关...
达观数据陈运文:智能体竞争,正... 随着AI智能体加速进入产业应用,市场规模持续增长,但企业关注的重点正在发生变化。 中商产业研究院发布...
磁力混合器突破3D生物打印细胞... 3D生物打印是生物工程领域的重要技术,通过将活细胞混入柔性水凝胶(即"生物墨水")来打印活体组织,广...
王兴兴:做好准备迎接即将突破的... 王兴兴在开幕式上发表演讲。 王兴兴在演讲中提到,宇树科技成立于2016年,经过近10年努力,已经成为...
不排除提告!屡遭苏巧慧阵营抹黑... 海峡导报综合报道 国民党新北市长参选人李四川的板桥房产问题屡遭绿营质疑,对手苏巧慧阵营再度指控李四川...
俄外长:将在马尼拉同鲁比奥会晤... 据凤凰卫视报道,正在菲律宾出席东盟外长会的俄罗斯外长拉夫罗夫7月22日表示,他将于23日上午在马尼拉...
小鸭洗衣机皮带修理方法 小鸭洗衣机皮带在长时间使用过程中,可能会出现磨损或者老化,导致洗衣机无法转动或者转速变慢。这时候,我...