Kafka-manager部署與使用簡單介紹

kafka Manager是 Yahoo 推出的 Kafka 開源管理工具，用於管理Apache Kafka集群的工具，用戶可以在Web界面執行一些簡單的Kafka集群管理操作

Kafka Manager支持以下內容：

• 管理多個集群
• 輕鬆檢查群集狀態（主題，使用者，偏移量，代理，副本分發，分區分發）
• 運行首選副本選擇
• 生成帶有選項的分區分配，以選擇要使用的代理
• 運行分區的重新分配（基於生成的分配）
• 創建帶有可選主題配置的主題（0.8.1.1與0.8.2+具有不同的配置）
• 刪除主題（僅在0.8.2+上受支持，並記住在代理配置中設置delete.topic.enable = true）
• 主題列表指示標記為刪除的主題（僅在0.8.2+上受支持）
• 批量生成多個主題的分區分配，並可以選擇要使用的代理
• 批量運行分區的多個主題的重新分配
• 將分區添加到現有主題
• 更新現有主題的配置

Kafka Manager下載地址 https://github.com/yahoo/kafka-manager/releases

下載下來的是源碼包，需要進行sbt編譯，為了方便我這裡直接下載編譯好的kafka-manager-1.3.3.8.zip

下面搭建kafka測試環境，簡單演示kafka manager部署與使用

1、kafka環境準備

可以使用如下腳本創建單節點的kafka測試伺服器

腳本如下(腳本寫得較簡單，可以忽略腳本健壯性)

39;/mirrors.cloud.aliyuncs.com/d&39;/mirrors.aliyuncs.com/d&34;-----------安裝JDK----------------&34;export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64&34;export PATH=\$PATH:\$JAVA_HOME/bin&34;export CLASSPATH=.:\$JAVA_HOME/jre/lib:\$JAVA_HOME/lib:\$JAVA_HOME/lib/tools.jar&34;-----------安裝zookeeper----------------&34;sdataDir=/opt/zookeeper/data34; zoo.cfgecho &34;echo 1 > /opt/zookeeper/data/myidecho &34; >> /etc/profileecho &34;cd /opttar -zxf kafka_2.13-2.5.0.tgzmv kafka_2.13-2.5.0 kafkacd kafkamkdir datacd configcp server.properties server.properties_defaultsed -i &log.dirs=/tmp/kafka-logsg&34;listeners=PLAINTEXT://192.168.31.80:9092&34;s/opt/zookeeper/bin:/opt/kafka/bin34; /etc/profilesource /etc/profileecho $PATHecho &34;echo &34;echo &34;echo &34;echo &34;echo &34;

上傳jdk_zookeeper_kafka.zip和 kafka_install.sh

 sh kafka_install.sh

2、修改kafka-server-start.sh，添加JMX啟動參數

cd /optcd kafka/binvi kafka-server-start.sh34;-Xmx1G -Xms1G&export JMX_PORT=&34;if [ &34; = &34; ]; then    export KAFKA_HEAP_OPTS=&34;    export JMX_PORT=&34;fi

如下圖所示

然後啟動zookeeper和kafka

zkServer.sh startkafka-server-start.sh -daemon /opt/kafka/config/server.properties

3、上傳kafka-manager安裝包並修改參數

unzip kafka-manager-1.3.3.23.zipmv kafka-manager-1.3.3.23 kafka-managercd kafka-manager/confcp application.conf application.conf_default_bak

修改如下參數 vi application.conf

1)、將kafka-manager.zkhosts=&34;修改為當前的zookeeper地址與埠

2)、開啟用戶名密碼驗證

basicAuthentication.enabled=false改為 basicAuthentication.enabled=true

4、啟動kafka-manager

cd /opt/kafka-manager/bin ./kafka-manager -Dconfig.file=/opt/kafka-manager/conf/application.conf -Dhttp.port=9000

5、添加集群，並查看集群的相關信息

kafka-topics.sh --create --zookeeper localhost:2181 --partitions 2 --replication-factor 1 --topic yuanfan_kafka_testkafka-console-producer.sh --bootstrap-server 192.168.31.80:9092 --topic yuanfan_kafka_testkafka-console-consumer.sh --bootstrap-server 192.168.31.80:9092 --topic yuanfan_kafka_test

1)可以創建主題，測試主題的自生產與自消費

2)用之前配置文件中帳戶密碼登錄kafka-manager

默認admin/password

3)登錄後的界面

4)添加集群，修改連接集群的配置

5)查看topic的信息

6)Topic的綜合信息及指標信息