CentOS7下部署Open-Falcon小米開源監控系統

2020-12-22 酷扯兒

本文轉載自【微信公眾號:WalkingCloud,ID:WalkingCloud2018】,經微信公眾號授權轉載,如需轉載與原文作者聯繫

Open-Falcon

Open-Falcon是由小米開啟的一款企業級、高可用、可擴展的開源監控解決方案

特點與優勢如下

1、強大靈活的數據採集:自動發現,支持falcon-agent、snmp、支持用戶主動push、用戶自定義插件支持、opentsdb data model like(timestamp、endpoint、metric、key-value tags)

2、水平擴展能力:支持每個周期上億次的數據採集、告警判定、歷史數據存儲和查詢

3、高效率的告警策略管理:高效的portal、支持策略模板、模板繼承和覆蓋、多種告警方式、支持callback調用

4、人性化的告警設置:最大告警次數、告警級別、告警恢復通知、告警暫停、不同時段不同閾值、支持維護周期

5、高效率的graph組件:單機支撐200萬metric的上報、歸檔、存儲(周期為1分鐘)

6、高效的歷史數據query組件:採用rrdtool的數據歸檔策略,秒級返回上百個metric一年的歷史數據

7、dashboard:多維度的數據展示,用戶自定義Screen

8、高可用:整個系統無核心單點,易運維,易部署,可水平擴展

9、開發語言:整個系統的後端,全部golang編寫,portal和dashboard使用python編寫

Open-Falcon 專為現代分布式系統設計的開源和企業級監視系統。

架構圖

CentOS7下部署單機版本Open-Falcon

參考官方文檔 https://book.open-falcon.org/zh_0_2/quick_install/

1、環境準備

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

yum clean all

yum makecache

systemctl stop firewalld

systemctl disable firewalld

setenforce 0

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

2、安裝golang,redis,mariadb所需組件

yum install -y golang

wget https://bootstrap.pypa.io/get-pip.py

python get-pip.py

yum install -y redis

systemctl start redis

systemctl enable redis

yum install -y mariadb mariadb-server

systemctl start mariadb

systemctl enable mariadb

mysqladmin -uroot password "openfalcon"

3、導入open-falcon資料庫

mkdir -p /home/work/open-falcon

cd /home/work/open-falcon

git clone https://github.com/open-falcon/falcon-plus.git

cd /home/work/open-falcon/falcon-plus/scripts/mysql/db_schema

mysql -h 127.0.0.1 -u root -popenfalcon < 1_uic-db-schema.sql

mysql -h 127.0.0.1 -u root -popenfalcon < 2_portal-db-schema.sql

mysql -h 127.0.0.1 -u root -popenfalcon < 3_dashboard-db-schema.sql

mysql -h 127.0.0.1 -u root -popenfalcon < 4_graph-db-schema.sql

mysql -h 127.0.0.1 -u root -popenfalcon < 5_alarms-db-schema.sql

4、下載open-falcon-v0.3版本二進位包

https://github.com/open-falcon/falcon-plus/releases/download/v0.3/open-falcon-v0.3.tar.gz

cd /home/work/

mkdir open-falcon

wget https://github.com/open-falcon/falcon-plus/releases/download/v0.3/open-falcon-v0.3.tar.gz

tar -zxvf open-falcon-v0.3.tar.gz -C /home/work/open-falcon/

5、先部署後端

sed -i 's#root:@tcp(127.0.0.1:3306)#root:openfalcon@tcp(127.0.0.1:3306)#g' `find ./ -type f -name "cfg.json"|egrep "alarm|api|nodata|hbs|graph|aggregator"`

cat `find ./ -type f -name "cfg.json"|egrep "alarm|api|nodata|hbs|graph|aggregator"` |grep 'root:openfalcon@tcp(127.0.0.1:3306)'

./open-falcon start

或者參考官網的操作

cd $WORKSPACE

grep -Ilr 3306 ./ | xargs -n1 -- sed -i 's/root:/real_user:real_password/g'

6、部署前端

cd /home/work/

git clone https://github.com/open-falcon/dashboard.git

cd dashboard

yum install -y python-virtualenv python-devel openldap-devel mysql-devel

yum groupinstall -y "Development tools"

virtualenv ./env

./env/bin/pip install -r pip_requirements.txt -i https://pypi.douban.com/simple

修改配置 修改資料庫連接密碼,dashboard的配置文件為:rrd/config.py

然後啟動dashboard

./control start

7、訪問並體驗WebUI界面

1、先測試啟動自身Agent進行測試 ./open-falcon start agent 啟動進程

2、登錄web界面,新增一個root用戶,然後登錄

3、查看endpoint有沒有上線,刷新counter列表,可以看到監控指標

4、添加host後,點擊host可以直接查看該host的監控信息與狀況

更多功能可以自行嘗試(未完待續)

本文轉載自【微信公眾號:WalkingCloud,ID:WalkingCloud2018】,經微信公眾號授權轉載,如需轉載與原文作者聯繫

相關焦點

  • 小米發布新版開源監控系統Open-Falcon 服務達200多家公司
    新版開源監控系統Open-Falcon服務200多家企業Open-Falcon是一種開源的、企業級的、高可用、可擴展的監控系統,最早由小米雲平臺團隊發起和開源,在2015年5 「小米在開源的道路上一直秉持積極擁抱的態度,並在開源監控系統的研發上也在不斷加大投入。」小米首席架構師、小米雲平臺團隊負責人崔寶秋在會上講到,「未來將進入AI時代,開源將是AI技術公司和AI產品公司的必經之路,也是小米的必經之路」。同時他代表小米在會上呼籲,希望更多開發者加入到Open-Falcon社區中來,大家一起努力把Open-Falcon推向世界。
  • 小米開源監控系統Open-Falcon國際化推進 0.2版本英文文檔發布
    ,現覆蓋小米、美團、快網、滴滴等300多家企業,已經成為國內最流行的監控系統之一。作為一個成熟的運維產品,業界有很多開源的實現可供選擇,如Zabbix、Nagios、Ganglia、Zenoss、Hyperic HQ、OpenNMS、Cacti等等。隨著企業規模持續擴大,監控的對象也越來越多,監控系統的容量和用戶的「使用效率」成了最為突出的問題。
  • CentOS7下部署JumpServer開源堡壘機
    本文轉載自【微信公眾號:WalkingCloud,ID:WalkingCloud2018】,經微信公眾號授權轉載,如需轉載與原文作者聯繫JumpServer 是全球首款完全開源的堡壘機, 使用 GNU GPL v2.0 開源協議, 是符合 4A 的專業運維審計系統。
  • 監控系統選型,這篇不可不讀!
    之前,我寫過幾篇有關「線上問題排查」的文章,文中附帶了一些監控圖,有些讀者對此很感興趣,問我監控系統選型上有沒有好的建議?目前我所經歷的幾家公司,監控系統都是自研的。其實業界有很多優秀的開源產品可供選擇,能滿足絕大部分的監控需求,如果能從中選擇一款滿足企業當下的訴求,顯然最省時省力。
  • 詳解十三款運維監控工具
    縱觀我們部署在基礎設施當中並始終保持運作的全部測量機制,監控系統無疑是重要性最高的機制之一,但它卻常常遭到我們的忽視。如果能夠建立起一套堅實的監控系統來針對可能發生的災難加以警示,我們就有機會迅速啟動災難響應方案或者著手排除複雜的性能故障,這對於任何規模的企業而言都極具巨大的實際價值。
  • 監控系統選型,一篇全搞定!
    這篇文章,我將對監控體系的基礎知識、原理和架構做一次系統性整理,同時還會對幾款最常用的開源監控產品做下介紹,以便大家選型時參考。下面再來認識下主流的開源監控系統,由於篇幅有限,我挑選了 3 款使用最廣泛的監控系統:Zabbix、Open-Falcon、Prometheus,會對它們的架構進行介紹,同時總結下各自的優劣勢。Zabbix 於 1998 年誕生,核心組件採用 C 語言開發,Web 端採用 PHP 開發。
  • 監控系統選型,這篇不可不讀
    目前我所經歷的幾家公司,監控系統都是自研的。其實業界有很多優秀的開源產品可供選擇,能滿足絕大部分的監控需求,如果能從中選擇一款滿足企業當下的訴求,顯然最省時省力。這篇文章,我將對監控體系的基礎知識、原理和架構做一次系統性整理,同時還會對幾款最常用的開源監控產品做下介紹,以便大家選型時參考。
  • CentOS7下部署開放式漏洞評估系統OpenVAS
    本文轉載自【微信公眾號:WalkingCloud,ID:WalkingCloud2018】,經微信公眾號授權轉載,如需轉載與原文作者聯繫開放式漏洞評估系統OpenVAS:Open Vulnerability Assessment
  • CentOS7下簡單搭建Prometheus+Grafana監控系統
    本文轉載自【微信公眾號:WalkingCloud,ID:WalkingCloud2018】,經微信公眾號授權轉載,如需轉載與原文作者聯繫Prometheus is an open-source systems monitoring and alerting toolkit originally built at SoundCloud
  • centos7編程實踐:安裝nodejs
    由於最近項目的需要,我需要在centos7上安裝nodejs,故總結這份教程,希望能幫助需要的同學。一、nodeJS簡介1、Nodejs是什麼?Nodejs是基於V8引擎,V8是Google發布的開源JavaScript引擎,本身就是用於Chrome瀏覽器的js解釋部分,但是Ryan Dahl 這哥們,鬼才般的,把這個V8搬到了伺服器上,用於做伺服器的軟體。
  • 技術|TopOn分布式服務設計與伺服器監控預警部署
    巨額的服務壓力下,TopOn服務端是如何保障開發者在全球範圍穩定高效使用聚合管理功能的?今天小T就為開發者詳細闡述TopOn的聚合平臺分布式服務以及確保伺服器穩定的監控預警部署。1.基礎監控基礎監控包括 CPU、內存、磁碟、網絡流量、埠和進程等作業系統級別的信息,對此TopOn選擇了目前成熟穩定的Zabbix監控系統。
  • 小米網站的架構變遷與迭代
    彼時,小米網僅有三位開發工程師,在經過兩個多月的緊張開發後,小米網將要第一次面對公眾在線銷售產品,接受大考。由於工程師資源極度緊張,我們甚至考慮過使用ECSHOP之類的開源系統搭建小米網,不過幸好我們很快放棄了這一想法。因為在3個月之後,我們就發現不得不對系統進行一輪重構了。如果使用了第三方開源系統,為適應原系統架構,我們將長期被迫「遷就」原架構而放棄很多更優的設計,並為學習這個系統而付出時間成本。概述第一代的小米網架構非常簡單,如圖1所示。
  • opencron v1.0.1 發布,分布式任務調度系統
    opencron 是一個功能完善且通用的開源定時任務調度系統,擁有先進可靠的自動化任務管理調度功能,提供可操作的web圖形化管理滿足多種場景下各種複雜的定時任務調度
  • Open Infrastructure Summit 2019:成功的開源範式如何煉就?
    Firecracker是一種採用基於Linux內核的KVM技術的開源虛擬機監控程序,使用Rust開發,AWS將其開源並用於提升Lambda、Fargate等服務的速度和效率。早在Kata Containers 1.5中,就引入了對 Firecracker hypervisor 的支持,希望以此來改進對Firecracker VMM的支持,以及與Kubernetes的集成。
  • 聊聊下一代監控:Prometheus
    今天就讓我們來瞅瞅這個被號稱是下一代監控的 Prometheus!那麼 Prometheus 和這些監控系統有啥異同呢?我們在這就介紹下 Zabbix 這個監控系統。Open-Falcon 是小米開源的企業級監控工具,用 Go 語言開發而成,包括小米、滴滴、美團等在內的網際網路公司都在使用它,是一款靈活、可擴展並且高性能的監控方案,在這裡就不多做介紹了。
  • 分析稱 Firefox, OpenOffice 主導開源產業
    Firefox, OpenOffice是我們最常用的兩款開源軟體,他們同時工作於Windows和Linux下,來自Open Source Census
  • 為伺服器或網站部署一個狀態監控頁
    前言隨著手中的吃灰 VPS 越來越多,想要了解它們每個機器的在線率如何變得愈加繁瑣,但是如果通過第三方專業的網絡服務狀態監控來解決的話就方便省心多了。創建官方狀態監控頁需要監控的項目添加完成之後還可以設置一個官方的狀態監控頁。然後會有一個唯一的地址,就是你的官方提供的狀態監控頁。也可以用自己的域名綁定官方的狀態頁來使用,畢竟,官方給的地址不容易記住。
  • 選型必看:監控K8S和Docker的熱門開源工具
    本文將詳細講解六個最熱門的開源工具,專門用於容器化服務的監控和分析。Prometheus當討論開源監控解決方案時,首先想到的就是Prometheus。它在開發社區中非常流行,是CNCF的畢業項目。Prometheus最初由SoundCloud創建並開放原始碼。
  • IBM 開源軟體推薦
    https://www.oschina.net/p/openwhiskOpenWhisk 是一個由 IBM 開源的、事件驅動的無伺服器計算平臺,你可以將操作代碼發送給 OpenWhisk,然後提供 OpenWhisk 代碼要處理的數據流。OpenWhisk 負責處理計算資源的擴展,這些資源是處理工作負載所需要的;你只需要處理操作代碼以及觸發這些操作的數據。