Kafka集群監控系統Kafka Eagle部署與體驗

2020-08-26 walkingcloud

​Kafka Eagle是一款開源的Kafka集群監控系統

  • 能夠實現broker級常見的JMX監控；
  • 能對consumer消費進度進行監控；
  • 能在頁面上直接對多個集群進行管理；
  • 安裝方式簡單，二進位包解壓即用；
  • 可以配置告警（釘釘、微信、email均可）

1、下載kafka eagle

下載地址http://download.kafka-eagle.org/

https://codeload.github.com/smartloli/kafka-eagle-bin/tar.gz/v2.0.1

2、解壓kafka eagle

tar -zxvf kafka-eagle-bin-2.0.1.tar.gzcd kafka-eagle-bin-2.0.1/tar -zxvf kafka-eagle-web-2.0.1-bin.tar.gz -C /optcd /optmv kafka-eagle-web-2.0.1/ kafka-eaglecd kafka-eagle

3、修改/etc/profile

vi /etc/profile

1）export KE_HOME=/opt/kafka-eagle

2）PATH要添加$KE_HOME/bin

vi /etc/profile設置集群kafka.eagle.zk.cluster.alias=cluster1cluster1.zk.list=10.20.90.24:2181指定sqlite資料庫存放位置/opt/kafka-eagle/db/kafka.eagle.driver=org.sqlite.JDBCkafka.eagle.url=jdbc:sqlite:/opt/kafka-eagle/db/ke.dbkafka.eagle.username=rootkafka.eagle.password=kafkaeagle

5、開啟kafka JMX

vi /opt/kafka/bin/kafka-server-start.sh 在export KAFKA_HEAP_OPTS=&34;下方添加一行export JMX_PORT=&34;然後重啟kafka

6、啟動kafka-eagle

ke.sh start

7、登錄kafka-eagle web界面

默認初始密碼admin/123456

http://IP:8048

8、Dashboard及BScreen主要功能界面展示

相關焦點

  • kafka 監控工具 eagle 的安裝
    簡介如圖 kafka eagle 是可視化的 kafka 監視系統，用於監控 kafka 集群下載地址下載監控軟體，官方 GITHUB 下載，非常非常慢，但是可以下載任意版本，只需要修改最後的 v1.3.7 到想要的版本https://codeload.github.com/smartloli/kafka-eagle-bin/tar.gz/v1.3.7藍奏雲極速下載(v1.3.7)：
  • kafka-eagle-1.4.7部署
    解壓後[admin@ATKYLINQ02 kafka-eagle-web-1.4.7]$ lltotal 4drwxr-xr-x. 2 admin admin 47 May 28 10:07 bindrwxr-xr-x
  • kafka反饋 - CSDN
    2.內容2.1 背景在使用Kafka Eagle監控系統之前，筆者簡單的介紹一下這款工具的用途。Kafka Eagle監控系統是一款用來監控Kafka集群的工具，目前更新的版本是v1.2.3，支持管理多個Kafka集群、管理Kafka主題（包含查看、刪除、創建等）、消費者組合消費者實例監控、消息阻塞告警、Kafka集群健康狀態查看等。
  • 單機版kafka集群部署
    前言 分布式消息隊列是大型分布式系統不可缺少的中間件，主要解決應用耦合、異步消息、流量削鋒等問題。實現高性能、高可用、可伸縮和最終一致性架構。今天跟大家講解下如何部署單機kafka集群，希望大家喜歡。Kafka 是由 LinkedIn 開發的一個分布式的消息系統，使用 Scala 編寫，它以可水平擴展和高吞吐率而被廣泛使用。
  • Kafka的集群部署實踐及運維相關
    ···等核心分布式系統，一般建議直接採用物理機，拋棄使用一些低配置的虛擬機的想法。但是這裡有一個問題，我們通常是建議，公司預算充足，儘量是讓高峰QPS控制在集群能承載的總QPS的30%左右（也就是集群的處理能力是高峰期的3~4倍這個樣子），所以我們搭建的kafka集群能承載的總QPS為20萬~30萬才是安全的。所以大體上來說，需要5~7臺物理機來部署，基本上就很安全了，每臺物理機要求吞吐量在每秒4~5萬條數據就可以了，物理機的配置和性能也不需要特別高。
  • kafka集群
    一、準備信息1、版本說明：CentOS7.8jdk-8u231-linux-x64.tar.gzzookeeper-3.4.14.tar.gzkafka_2.12-2.6.0.tgz2、zookeeper伺服器（kafka集群需要依賴zk存儲Broker、Topic等信息）伺服器名 IP
  • RabbitMQ與Kafka選型對比
    *"重啟服務service rabbitmq-server restart瀏覽器訪問：http://IP:15672Kafka單節點部署Zookeeper部署下載Zookeeper並啟動docker run -d --restart always --name zookeeper -p 2181:2181
  • RabbitMQ與Kafka選型對比
    Kafka-eagle下載jdk依賴yum -y install java-1.8.0-openjdk*下載kafka-eagle-bin包wget -o kafka-eagle-bin.tar.gz https://
  • 如何構建安全的Kafka集群
    目前越來越多的開源分布式處理系統都支持與Kafka集成，其中Spark Streaming作為後端流引擎配合Kafka作為前端消息系統正成為當前流處理系統的主流架構之一。　　然而，當下越來越多的安全漏洞、數據洩露等問題的爆發，安全正成為系統選型不得不考慮的問題，Kafka由於其安全機制的匱乏，也導致其在數據敏感行業的部署存在嚴重的安全隱患。
  • 在容器中部署ELFK+kafka日誌系統（一）
    正常情況下，上面這種方案就足夠我們使用，但是如果集群日誌太多，ES不堪重負，我們就需要接入中間件來緩衝數據，對於這些中間件來說kafka和redis無疑是我們的首選方案。我們這裡採用了kafka，我們追求一切容器化，所以將這些組件全部都部署在Kubernetes中。
  • Kafka-manager部署與使用簡單介紹
    是 Yahoo 推出的 Kafka 開源管理工具，用於管理Apache Kafka集群的工具，用戶可以在Web界面執行一些簡單的Kafka集群管理操作Kafka Manager支持以下內容：管理多個集群 輕鬆檢查群集狀態（主題，使用者，偏移量，代理，副本分發，分區分發）運行首選副本選擇 生成帶有選項的分區分配
  • 「乾貨」centos7搭建kafka-2.6.0集群
    參考資料官方網站：http://kafka.apache.org官方下載地址：http://kafka.apache.org/downloads 系統環境centos版本：centos-release-7-5.1804.el7.centos.x86_64java版本：1.8.0_72zookeeper版本：3.6.1kafaka版本(截止到2020年9月10日的最新版本)：kafka_2.13-2.6.0如果你還沒有部署centos伺服器，請參考我的另一篇文章：
  • Docker實戰之Kafka集群
    概述Apache Kafka 是一個快速、可擴展的、高吞吐、可容錯的分布式發布訂閱消息系統。其具有高吞吐量、內置分區、支持數據副本和容錯的特性，適合在大規模消息處理場景中使用。筆者之前在物聯網公司工作，其中 Kafka 作為物聯網 MQ 選型的事實標準，這裡優先給大家搭建 Kafka 集群環境。
  • Kafka-Manager - 一站式 Kafka 管控平臺
    Kafka 是一個高吞吐量的分布式發布訂閱消息系統，目前被廣泛使用在消息傳遞和日誌收集等系統中，提供了系統模塊解耦、數據冗餘、削峰、順序保證、異步通信等特性。當在團隊中大量使用 Kafka 時，其管理和監控就變得比較困難了。
  • kafka偽集群模式
    kafka偽集群模式是指由一臺zookeeper和一臺kafka服務組成1、安裝jdk使用root用戶安裝jdkmkdir /usr/javatar -zvxf jdk-8u231-linux-x64.tar.gz -C /usr/java
  • Kafka 集群 Golang 應用實例
    搭建了擁有 3 節點 Kafka、 3 節點 zookeeper 的 docker 集群服務；分別創建了 1 個消息發布者和 2 個相同消費組的消息訂閱者的 docker 應用；使用 Docker Compose 構建 Kafka 集群使用 Golang 創建 Kafka Pub/Sub 實例使用 ApacheBench 進行並發測試使用 Makefile 簡化構建操作命令
  • 數據源管理 | Kafka集群環境搭建，消息存儲機制詳解
    zookeeper3.4注意：這裡zookeeper3.4也是基於集群模式部署。-- 核心修改如下 開啟topic刪除delete.topic.enable=true zk集群zookeeper.connect=zk01:2181,zk02:2181,zk03:2181注意：broker.id安裝集群服務個數編排即可，集群下不能重複。
  • 消息中間件Kafka+Zookeeper集群簡介、部署和實踐
    [來自IT168]　　Kafka是一種高吞吐量的 分布式 發布訂閱消息系統，它可以處理消費者規模的網站中所有動作流數據。Kafka的目的是通過Hadoop 並行加載機制統一線上和離線消息處理，並通過 集群 提供實時消息。本文內容較基礎，主要圍繞kafka的體系架構和功能展開。
  • 在邊緣處部署Kafka的用例與架構
    它們無法提供可靠的Kafka集群，以及在雲端建立穩定的網絡連接，而具有如下的邊緣功能： 由於沒有與中央數據中心、或雲端的高可用性連接，因此不具備一些本地的預處理，低延遲的實時分析，低帶寬的斷續連接等，而離線式的業務連續就顯得非常重要。 項目通常需要在零售店、火車、飯店、手機信號塔、小型工廠等數百個地點部署Kafka代理。
  • 大數據消息系統：Kafka安裝與配置詳細步驟
    1 安裝部署1.1 集群規劃hadoop102 hadoop103 hadoop104zk zk zkkafka kafka kafka1.3 集群部署1）解壓安裝包[bigdata@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/