2020年最受歡迎的雲生態開源應用程式監控工具

2021-01-11 蟲蟲搜奇

Linux容器已經被業界廣泛用於開發甚至生產系統。Docker和Kubernetes已經被開發運營人員廣泛了解和熟悉。但是容器雲架構下系統監控確實一個常常被忽略的問題。儘管容器部署主要涉及在每個容器內運行單個應用程式或服務,但是隨著部署規模的擴大,對環境狀態和運行狀況的可見性變得越來越重要,而不僅僅是在作業系統或應用程式級別,而且在容器級別也是如此。雲生態監控和日誌處理領域分為實時資料庫,度量標準收集器,可視化工具,輪詢器,記錄器等。過去幾年中,開源產品和商業監控應用程式不斷湧現,本文我介紹幾個最受歡迎的開源雲應用監控工具。

Prometheus

Prometheus(普羅米修斯)是領先的開源雲監視解決方案,除其他事項外,其數據以時間序列資料庫存儲,天然適合監控資料庫存儲。普羅米修斯是CNCF(Cloud Native Computing Foundation,原生雲計算基金會)支持的九大項目之一,也是CNCF中,除了也是Kubernetes後第二大託管項目。普羅米修斯獲得了包括谷歌,紅帽,IBM等公司在內的眾多雲供應商的支持,是雲應用首選監控程序。

普羅米修斯最初源於音樂託管網站SoundCloud,接著成為了Docker生態系統的重要組成部分。CoreOS團隊還積極地使用Prometheus來改善Kubernetes的性能。

普羅米修斯已發展成為高級系統監控和告警工具箱,能夠監視各種資源,包括容器,Hadoop集群,各語言運行時以及Python、Golang、JVM之類的應用程式堆棧。

簡而言之,普羅米修斯是一個開源監控系統,時間序列資料庫以及用於實現代碼的框架。但是,普羅米修斯不能生成度量標準,需要要以HTTP可以解析的語言將度量標準提供給它。關於普羅米修斯參看蟲蟲之前文章,有詳細介紹。

Graphite

Graphite是一種流行的開源工具,用於構建基於Web的儀錶板以進行監視和分析。Graphite最初是由Orbitz的Chris Davis於2006年用python創建的一個輔助項目。用於監控和繪製計算機系統的性能,最終形成了一個基本監控系統,並於2008年以Apache 2.0 license的授權開源發布。目前已經獲得了GitHub,Salesforce和Reddit等眾多大公司提供和支持。

Graphite由三部分組成:

Carbon 時間序列數據的守護程序,用於接收數據;

Whisper(類似於RRDtool)資料庫和存儲;

Graphite-web的Web應用程式,可按需呈現圖形。

Graphite在企業中仍然很流行,原因是由於其自動化程度很高,其中所有新數據點都能在資料庫中自動創建。

Graphite本質上是三個相互耦合的獨立工具,也可以單獨使用並與其他工具集成。

Riemann

上面我們說了Graphite所有組件都耦合可以單獨使用。Riemann就是用於替代Graphite中Carbon守護程序的。儘管Carbon會監聽指標並將其寫入whisper存儲資料庫,但由於Carbon是基於Python開發的,容易在性能上遇到瓶頸,這時候我們可以用Riemann代替它。Riemann使用 Clojure 語言實現以 "事件流(event streams)方式處理數據和匯總。但是,Riemann不是度量收集器。

Riemann的工作方式是從事件流(例如指標,日誌,事件,主機和服務)收集數據,然後根據需要存儲,圖形或警報。基於事件流的一棧環境下一旦事件流停止流動,就能馬上發現系統故障或網絡斷開。Riemann還能收集和處理各種形式的事件,事先監控。

Riemann具有超快速度和性能。其官方網站宣傳的,Riemann可以在商用 x86 硬體條件下,Riemann 每秒就可以處理數百萬次事件,延遲時間卻只有亞毫秒,5 毫秒可以完成 99 次。

在雲環境條件下,Riemann也可以容器化方式運行和組合:

Riemann 伺服器進程,由 Clojure 語言編寫,是主流處理引擎;

Riemann-health 程序,實現Riemann 集群的健康/使用指標報告;

Riemann-dash 程序,一個小型 Sinatra 應用,為 Riemann 提供網頁控制臺界面。

作為雲部件,Riemann也可將事件供應給Prometheus系統。

Riemann在Clojure開發人員中特別受歡迎,因為配置文件實際上是一些可執行的Clojure代碼,可以高度定製和構建。

Grafana

Grafana是用Golang 開發的開源的度量分析與可視化套件,主要用於大規模指標數據的可視化展現方式,是網絡架構和應用分析中最流行的時序數據展示工具。可以支持對Zabbix,Graphite,ElasticSearch,OpenTSDB,Prometheus和InfluxDB數據匯總、指標儀錶板和圖形編輯器。

Grafana可以讓用戶輕鬆創建和編輯儀錶板。Grafana非常適合分布式數據存儲環境下的數據匯總、查詢和可視化,也能對接指標閾值設置和告警。特別適用於實現高質量的交互式可視化和圖形。

Weave Scope

Weave Scope是容器生態中,可以自動進行容器APP映射,直觀地理解、監視和控制基於容器化微服務的應用程式。Weave Scope涵蓋監視,可視化,管理和故障排除。我們可以用Weave Scope可以在容器級別上監視和控制堆棧,並確切地了解容器在做什麼以及原因,零配置並自動檢測所有進程,容器和主機,該工具可以檢查速度框,對於任何開發人員來說都是節省時間的工具。

Weave Scope可以監控kubernetes集群中的一系列資源的狀態、資源使用情況、應用拓撲、scale、還可以直接通過瀏覽器進入容器內部調試等

隨著越來越多的工具針對更特定的工作流程進行開發,沒有一種工具在堆棧中佔據永久的位置,並且可以隨時替換其中的任何一種以獲得更好,更高效或更具自定義性的東西。但是就目前而言,這些開源監視工具在每個DevOps團隊的監視工具中佔據著至關重要的位置。

ELK Stack

Elasticsearch是ELK棧的一部分,全棧套件還有有Kibana,Beats和Logstash。儘管ELK棧被設計為集成解決方案,其中Elasticsearch通常用作支持工具。Elasticsearch是基於Luncene的java全文搜尋引擎,也是最常用最強大的分布式可收縮日誌存儲和檢索集群。Elasticsearch提供了RESTful廣泛而且精巧的API供訪問,該API可以支持近實時性的搜索用以支持數據發現。它幾乎與所有內容兼容,並與其他工具一起廣泛用於查詢資料庫。

Kibana是一個基於Elasticsearch的分析和可視化平臺,可直觀地瀏覽Elasticsearch集群中的數據。由於Kibana只是ELK棧中的可視化部分,因此也可以被替換為Grafana,Graphite或其他可視化工具。

Logstash是類似於Riemann的另一種流處理系統,可以從日誌,指標,Web應用程式,數據存儲和各種AWS服務中提取流數據。Logstash還具有一個輸出插件,可以通過該插件將特定事件發送到Riemann,例如可警報的事件或需要Riemann採取措施的事件。

ELK棧已經被廣泛地應用於運維實時日誌處理架構中,通常用於日誌系統的存儲、處理和分析匯總。但是由於其實時性質,在雲生態中,可以用於雲集群的監控和故障排查分析。

相關焦點

  • 最流行的十大開源雲監控工具
    雖然部署系統主要涉及在系統內運行單個應用程式或服務,但隨著部署規模越來越大,不僅僅是在作業系統或應用程式級別,了解環境狀態和運行狀況也變得越來越重要。  監控和測試工具分為實時資料庫、數據採集工具、可視化工具、意見反饋工具、日誌記錄器等等。在過去的幾年裡,開源產品和商業監控應用程式發生了爆炸式增長,下面是其中10個最受歡迎的開源雲監控工具。
  • 什麼是開源生態系統最重要的部分
    問:「你認為什麼是開源生態系統最重要的元素?」 這個問題對於寫過開源的人來說,你們心中都有著自己獨特的見解,那麼下面由我從Dzone社區收集的信息反饋為大家解答一下什麼是開源生態系統最重要的部分社區與其他工具良好的集成。總而言之,各種各樣的工具需要相互協作才能完成一些有用的工作。有一個健康的社區。大量用戶將開源軟體暴露給各種用例,從而推動創新。
  • 2020年十大物聯網開發工具
    它是與小工具相關聯的龐大網絡。它們都受到插入電子小工具中的傳感器的約束。物聯網提供了一個典型的平臺來轉儲其信息,並提供了一種通用語言來相互通信。它提供了一種完成項目的有效方法,並且還有助於節省資金。一種報告研究聲稱2015年有154.1億個IoT小工具,現在已擴展到266.6億。預計到2025年將超過750億。隨著物聯網開發工具範圍的擴大,正在開發許多基於物聯網的應用程式和解決方案。
  • 2014年:Linux和開源的福禍之年
    開源許可沒有被使用或許你不會介意開源許可中沒有GPL這樣的協議,但是你一定會介意這麼多的開源程序不帶有任何的開源許可。到底有多少呢?在2013年,GitHub程序中有77%的程序沒有許可。4.開源成為高級編程方法現在五個程式設計師當中會有四個使用開源開發工具。在2014年,微軟CEO Satya Nadella說:「微軟喜歡Linux。」微軟在.NET上開放了很多,而OpenStack現在也對Windows Server開放了。
  • 我在2020年發現的10款免費開源軟體程序
    【51CTO.com快譯】 2020年已過去一半,是時候為您介紹我在今年發現的10個最佳免費開源軟體(FOSS)程序了。 其中一些程序可能並不新穎,因為它們不是在2020年首次發布的,但是對我來說它們很新穎,而且我覺得它們很有幫助。 這就是為什麼我想簡短地回顧一下,但願您也覺得它們很有用。 1. Atom編輯器 毫無疑問,這是我的第一選擇。
  • 60款流行網絡工具的開源替代選擇
    lang=en開源網絡:日誌文件監控和分析12. Analog取代的對象:Sawmill和TriGeo作為號稱"世界上最流行的日誌文件分析器",Analog是一款速度超快、可擴展的日誌分析工具,可與Web伺服器配合使用。
  • 最受歡迎的20款黑客工具盤點
    今天,統計了全球各大網站數據(瀏覽量、下載量、使用量等等),為大家總結出了2019年最受歡迎的 20 款黑客工具。涉及範圍主要集中在 信息收集、Android黑客工具、自動化工具、網絡釣魚等。取前 20 款列出,排名不分先後!
  • 款款經典:國外最受歡迎的30款免費工具
    1免費通信工具  隨著時代的發展,各種輔助工具迅速發展,使我們日常生活發生了翻天覆地的變化,工作中我們更有效率,生活中我們更方便快捷。在國外,免費工具和開源軟體發展迅猛,在工作生活方面應用廣泛,下面我們來看一下國外最受歡迎的開源軟體和免費工具都有什麼,也許對於您會有幫助。
  • 這10個開源安全工具你知道幾個?
    【IT168 評論】開源工具可以為IT安全人士實施安全措施和學習培訓奠定堅實的基礎。以下是人們應該知道的10個IT安全工具:  (1)Nessus(可見性)根據sectools.org的調查,Nessus是最受歡迎的漏洞掃描器,也是目前使用的第三大流行安全程序。  Nessus具有免費和商業版本。而目前最新的版本是Nessus 7.1.0,這是一個商業版本,但也免費提供給個人和家庭使用。而Tenable公司在2005年推出的Version 2版本仍然是開源且免費的。
  • 百度開源2020年度報告:兩大開源平臺、九個捐贈項目
    一、20個技術領域持續開源截止2020年底,在GitHub/Gitee百度官方組織下已經圍繞著安全、監控、知識圖譜、網絡與接入、視覺、量子計算、開發框架等20個技術領域開源了86個項目,其中自然語言處理、開發框架與前端領域的開源項目數佔比超過50%。
  • 超級入口的服務戰:小程序扛起重擔 百度加固開源生態
    2020年1月,百度智能小程序宣布月活超過3億,到9月時沈抖在百度聯盟峰會上透露,智能小程序月活已經超過了5億。數據背後是趨勢,有人從媒體不再關注小程序得出消極的觀點,但我們卻堅定的認為小程序正在做大做強。這由2020年的時代背景和企業策略,共同決定。壹:共識先說時代背景,疫情在一些線上領域帶來了增長,小程序絕對是其中之一。
  • 程式設計師為教師妻子開發專屬應用;2020 最佳開源項目出爐;中國構建全...
    1、2020 年最佳開源項目出爐  https://www.infoworld.com/article/3575858/the-best-open-source-software-of-2020.html#slide1  年底了,又是各大網站頒布榜單的時候。
  • 50個最流行的免費Kubernetes工具集
    本文將從集群部署工具、開發工具、CLI工具、無伺服器/功能工具、監控工具、安全、原生可視化和控制、原生服務發現、測試工具,這9個方面介紹50個有用的Kubernetes工具,大部分都是免費開源的!費用:免費 15.Weave ScopeWeave Scope是Docker和Kubernetes集群的故障排除和監控工具。它可以自動生成應用程式和基礎架構拓撲,可幫助輕鬆識別應用程式性能瓶頸。
  • 雲+社區技術沙龍丨解析騰訊最新開源項目背後的技術棧
    此外,為了更深入地了解 TencentOS tiny,現場結合 TencentOS tiny 定製開發板,完成了一個小型的端到端農業場景開發實踐,包括環境感知,設備控制,數據上雲,小程序對接。使用 TencentOS tiny 可以簡化設備端開發,同時結合騰訊雲物聯網平臺和小程序雲開發,能夠實現物聯網解決方案的快速、低成本的上線和迭代。
  • 英特爾:在開源生態系統各個層次展開合作
    我是來自Intel開源技術中心,今天很高興利用這樣一個機會,在LAMP、Linux工作、策略等做一些簡單的工作。      英特爾在開源軟體方面的一些觀察,陸主席對這些東西做了非常精彩的演講,給我們看到了很多真知灼見,開源軟體對業界有這麼廣發的應用,後邊介紹一下英特爾在開源軟體和Linux策略,後面有關英特爾針對具體的策略有什麼樣的解決方案,以及對開源軟體生態系統的支持。
  • 盤點網際網路巨頭奉獻的十大開源安全工具
    不少大型網際網路公司經常會將自己開發的頂級安全工具開源,推動整個網際網路的安全發展。本月早些時候安全牛曾介紹過Google開源的web安全測試工具Firing Range、Nogofail以及Facebook開源的Osquery等。事實上不僅Google、Facebook,包括Netflix甚至Etsy.com這樣的電商網站也都貢獻過精品開源安全工具。
  • 2020年十大前沿科技,了解一下
    這是有道理的,因為2020年的許多潮流技術趨勢都包括諸如超自動化,自主性和AI保密性之類的事物。根據Udemy,以下是2016年至2019年過去三年中最受歡迎的十大技術技能。1. TensorFlow2. Chatbot3.
  • 工信部公布2020開源託管平臺項目結果
    日前,工業和信息化部技術發展司公布了「2020年開源託管平臺項目」的招標結果,工業和信息化部選擇Gitee來構建「面向中國的獨立,開放原始碼託管平臺」。Gartner早在2015年就預測,未來三年內95%以上的主流IT企業和組織將會直接或間接地在其關鍵任務方案中使用開源軟體和技術,開源已經成為數字時代最重要的技術支撐之一。
  • 企業級雲原生:TKEStack 騰訊雲原生開源實踐之路
    容器是雲原生的事實底座 在介紹整個產品的定位和方向之前,首先要提一下目前最火熱的技術方向 —— 雲原生。 雲原生是利用公有雲、私有雲和混合雲構建和運行可拓展彈性的應用。容器基本上是整個雲原生技術棧的底座角色,CNCF 官方來看容器族的產品中已經有大量產品和廠商參與其中,基本上是百花齊放的態勢。
  • 國產信息基礎軟硬體行業深度報告:開源、遷移、上雲、生態
    2020 年的信創推廣,則有望進 一步形成全局推進的協同效應,實現向「好用」的升級。在 2020 年信創戰略進一步推廣之年,國產基礎軟硬體的生態環境已經趨於完善。2020 年 4 月初,計世研究院發 布了關於「國產作業系統使用意願調研」的問卷調研結果,調查對象主要為國內的 IT/電信/網際網路、 政府/公共事業、能源製造等企業。根據本次的統計結果,國產作業系統潛在用戶最關注的兩個問 題:1)常用軟體能否兼容;2)從原來的系統到國產系統,應用和數據能否順利遷移。