雲計算環境下的監控

2021-01-08 站長之家

文/鄒亞鵬

21世紀最偉大的發明既不是推陳出新,也不是人工智慧,而是人們不斷增生的對新鮮事物的接受和推崇。在大科技的推動下,智能標誌著科技的進步,同時,思維模式的改變也不斷促使人類進步的加快。

近幾年,隨著雲計算技術的在國內的推廣普及,湧現了許多優秀的雲計算平臺,其聚合了大量硬體資源和軟體資源,並採用虛擬化技術實現動態伸縮服務量,按需提供服務。為確保雲平臺正常運轉,必須對整個雲架構實施多方位監控,而普通和網格監控軟體都有著自身的局限性和適用範圍,不適用於雲平臺,所以本文研究並實現雲平臺下的監控系統,解決雲平臺資源運行和用戶使用的監控,並改進增強了系統自配置和容錯性,具有重要意義。

目前,雲計算平臺研究和應用在學術在商業共同推動作用下,逐步顯現迅猛增長的頭,Amazon、Google、IBM、MicroSoft、Yahoo、Sun、盛大雲計算等國內外公司紛紛推出了自己雲計算平臺和解決方案,雲計算的時代已然來臨。從原有的IDC逐步面向服務、動態伸縮、按需收費的公有雲或私有雲發展。雲平臺的用戶範圍也逐步擴大,以後企業可以在雲計算平臺上按需選擇適合自己的雲服務,快速構建具有企業特色的業務流程管理系統和資料庫,這種快速架構系統的新模式,能夠合理充分地利用資源,降低成本,從而提升企業的核心競爭力;而政府則通過雲計算加強部門間的信息交流,促進部門的協同辦公,並將獲得的大量信息利用雲計算數據挖掘、並行處理等技術進行分布式存儲和科學分析,最終讓數據得到使得數據能夠得到統一有效的管理。

雲平臺聚合了大量物理資源,虛擬資源,並採用虛擬化技術實現動態伸縮服務量,按需提供服務。而監控在提高雲計算提供服務質量方面扮演著重要的角色,為使得雲平臺可以順利提供服務且正確運轉,需要多方位監控雲平臺運轉的架構,確保雲平臺運營者可以了解和把握總體運行情況,從而可以及時優化資源性能和可用性。監控往往由監控軟體來實現,通過對重要系統資源的監控,檢查系統瓶頸和隱藏的缺陷,並在嚴重故障時執行故障的自處理或手動處理,以滿足雲平臺的靈活及高可用的特點。同時,用戶在雲服務使用過程中,對於雲服務的運行監控要求將會時刻存在著,以確保機密數據安全和開展的計算作業正確完成,同時雲服務提供商也需要知道用戶對雲服務使用情況,以進行收費,並核算在什麼樣的成本下提供相應服務。

2. 雲監控系統

雲計算平臺中聚合了大量的物力資源和虛擬資源,並提供IaaS、PaaS、SaaS三個層次的服務,其資源是否運行正常、雲服務是否對用戶按需順利供給,需要雲監控系統進行監控,本節則主要介紹監控系統一般體系結構和數據傳輸中採取的推拉模式優缺點進行分析。

2.1 體系結構

2.1.1集中式體系結構

在集中式體系結構中,每個監控節點安裝監控代理(Agent),收集節點監控信息,監控伺服器負責匯集以及分析展示監控信息。監控代理以推送方式向監控伺服器發送信息參數,或監控伺服器以拉方式向監控節點索要信息。

2.1.2 階梯式體系結構

階梯式體系結構中,每個監控節點安裝監控代理(Agent),並選定匯集節點,安裝資源匯集代理(Proxy),匯集節點相當於局部監控伺服器。

2.1.3 結構對比

1) 安裝部署:集中式體系結構,安裝部署容易,僅需在監控節點統一安裝Agent即可,而階梯式結構則還需確定監控節點所屬組域,並在匯集節點安裝Collect,階梯結構若有多級,則還需確定匯集節點的上層匯集節點;

2) 可擴展性:集中式結構中監控伺服器負責收集所有監控節點數據並進行數據分析,在網絡流量和計算能力限制下,只能適用於數目較小規模監控,而階梯式結構中匯集節點承擔了一部分信息收集整理和計算任務,減輕了監控伺服器的負擔,所以節點數目較多時可以採取多級階梯結構,具有較強的擴展性;

3) 容錯性:集中式體系結構監控伺服器負載重,容易造成災難性錯誤,而階梯式結構則減輕了監控伺服器負擔,若匯集節點出錯,可見錯誤限制於此所屬組域;

4) 延時性:集中式結構延時較小,階梯式結構監控信息需通過若干層匯集節點的整合分析,延時性較大。

2.2 推拉模式

2.2.1 推模式(PUSH)

由監控節點上的監控代理髮起,即監控代理將採集到的本節點的監控數據在通知消息來臨時,主動將其發送到監控伺服器。

2.2.2 拉模式(PULL)

由監控伺服器發起,需要監控伺服器主動詢問監控代理而獲取數據,即需要相應組件主動去採集每個監控節點的性能參數,可以調用駐留在各個監控節點上的代理對象的性能參數獲取方法而實現。

2.2.3 對比

數據傳輸具體選哪種模式,需綜合比較實時性、準確性、易用性、可擴展性、開銷等,其中實時性指監測的數據和系統實際運行數據的一致程度以及變化時能否及時反映。開銷則指完成一次監測信息的交互所需要的消息數據的多少。

2.3 Zabbix監控研究

2.3.1 zabbix簡介

zabbix是一個基於WEB界面的提供分布式系統監視以及網絡監視功能的企業級的開源解決方案。

zabbix能監視各種網絡參數,保證伺服器系統的安全運營;並提供靈活的通知機制以讓系統管理員快速定位/解決存在的各種問題。

zabbix由3部分構成,zabbix server, 可選組件zabbixproxy,可選組件zabbix agent。

Zabbix可以通過SNMP,zabbix agent,ping,埠監視等方法提供對遠程伺服器/網絡狀態的監視,數據收集等功能,它可以運行在Linux, Solaris, HP-UX, AIX, Free BSD, Open BSD, OS X等平臺上。

zabbix agent需要安裝在被監視的目標伺服器上,它主要完成對硬體信息或與作業系統有關的內存,CPU等信息的收集。zabbix agent可以運行在Linux,Solaris,HP-UX,AIX,Free BSD,Open BSD, OS X, Tru64/OSF1, Windows NT4.0, Windows (2000/2003/XP/Vista)等系統之上。

zabbix server可以單獨監視遠程伺服器的服務狀態;同時也可以與zabbix agent配合,可以輪詢zabbix agent主動接收監視數據(agent方式),同時還可被動接收zabbix agent發送的數據(trapping方式)。

另外zabbix server還支持SNMP (v1,v2,v3),可以與SNMP軟體(例如:net-snmp)等配合使用。

2.3.2 zabbix優點

1)監控系統能夠自定義監控內容,可以直接寫腳本來收集數據。

2)數據要要保存載資料庫中,這樣以後需要的時候可以對資料庫進行分析計算。

3)能夠方便快速度的將監控加入到伺服器上,不需要繁瑣操作。

4)數據可視化不是很花俏,但是好用。

5)可以定義複雜的報警邏輯,做到Item之間關聯報警。

6)報警需要被確認,讓運維人員知道那些報警有人知道並開始處理了。

7)報警方式能夠自定義

8)報警內容可以自定義

9)報警後可以自動跑一些命令

10)有強大的API可以使用

11)監控數據開放

12)監控可視化的圖可以方便的引用!

雲監控在整個雲安全環節發揮著不可或缺的作用,它可以有效地幫助雲服務提供商儘快發現並解決問題。當然,除雲監控雲以外,還應建立安全的制定數據中心安全事件應急響應機制及流程,實現真正意義上的雲安全。在之後,新致雲也將會繼續邀請技術大牛與大家分享更多與雲安全相關的乾貨,歡迎持續關注!

相關焦點

  • 雲計算環境下安全關鍵技術研究
    雲計算已發展成為大數據應用、跨平臺應用的主要解決方案,而虛擬化、大規模、開放性等特徵,帶來了更多安全威脅和挑戰,通過分析雲計算安全防禦模型架構,分別對雲計算安全的技術特徵、運行特徵、保障模式等方面進行了研究,提出了雲計算安全能力軟體定義、保障服務化、服務智能化、防禦動態化等關鍵技術,支撐雲安全防護靈活部署、高效保障、快速響應,提升雲計算環境多樣化安全需求的響應能力,以及強對抗環境中雲計算持續服務能力
  • 大數據、雲計算環境下的數據安全
    此外,網際網路在大數據云計算環境下易出現網絡安全問題,導致網絡數據造成較大的安全隱患,不但會對網絡用戶信息數據的安全造成威脅、而且在較大程度上會對計算機網絡技術的發展造成不利影響。為了解決這一問題,網絡技術人員需要通過大數據云計算環境對網絡中數據進行有效分析,以此提高網絡安全性,在最大程度上避免網絡安全隱患。
  • 焦永剛:雲計算環境下的銳捷網絡IPv6戰略
    主持人:下面的演講者是銳捷網絡交換機與數據中心高級產品經理焦永剛,他演講的題目是雲計算環境下的銳捷網絡IPv6戰略,有請。,多業務類似家庭網關我們會提供一體化設備,IPv6安全防護,監測,無線,有線一體化功能,集中到一臺設備,方便用戶IPv6接入,這些設備支持IPv6防火牆,流量管理,嚴重監測出口一系列功能,可信接入是通過SAVI方式,針對不同四種各式各樣環境做監控,包括報文轉發,這個方式我們更多做一個延伸,在SAEI方式,把固定傳統交換機更多跟用戶管理結合起來,快速實現一個故障定位,網絡管理總結,包括日常審計網絡計費和運營商客戶需求進行結合
  • 一種面向雲計算環境下虛擬機的威脅建模方法
    摘要:針時雲計算環境中虛擬機平臺存在的弱點和漏洞,分析研究了虛擬機可能面臨的威脅和攻擊,基於STRIDE建模技術構建了雲計算環境下虛擬機平臺的安全威脅模型。並對威脅發生的可能性和嚴重程度進行量化,從而進一步評估整個雲計算系統面臨的安全威脅。
  • 雲計算技術在配網監控系統持續集成方案中的運用
    許昌許繼軟體技術有限公司的研究人員王少鵬、楊迎春、丁博、賈亞楠、梁鵬威,在2020年第9期《電氣技術》雜誌上撰文,闡述了一種雲計算服務技術在電力監控系統持續集成方案中的應用。結合雲計算技術的強大功能性及冗餘容錯能力,為配電網應用系統的不同規模交付場景提供更加高效、安全的開發及運維支撐。
  • Prometheus成主要雲計算應用監控工具
    安全廠商Sysdig發布第4份年度容器使用報告,該報告分析全球各種規模的企業用戶,其使用以及保護容器環境的情況。這份報告共分析了將近200萬個容器,並且集成來自CNCF、Docker Hub以及GitHub等公開資料。
  • 環境監控系統在智能養殖場中的應用
    養殖場內的環境,溫度、溼度、光照等都由傳統的人工監控調整的方式,發展成智能化、自動化。智能養殖場採用一些環境監測儀器,如溫溼度傳感器、二氧化碳濃度檢測儀、氨氣濃度檢測儀、光照強度測試儀等傳感器,採用RS232/RS485/IO口對接數傳終端LoRa/NB-IoT,數傳終端將採集到的數據傳輸到雲平臺,雲計算系統做出數據分析,當環境質量變得惡劣時系統會聯動風機/加溫等設備自動調節環境,從而達到採用養殖場環境監測系統監測和控制養殖場和養殖場環境的作用。
  • 漢威環境空氣品質智能監控雲平臺:打造無死角大氣環境監測物聯網
    我國已將環境保護確認為一項基本國策。近年來,我國物聯網技術得到飛速發展,並逐步滲透到環保領域。MEMS技術的發展,低功耗窄帶物聯網技術NB-IoT和LoRa技術的出現,大數據、雲計算、人工智慧技術的興起,都為低功耗、智能化的無線環境監測裝備的實現提供了技術支撐。
  • 雲計算時代下的FAAMG,TDOCS的增長魔力是什麼?
    出於對這五家科技巨頭高估值和持續增長動力的的擔憂,以及基金投資結構的限制,市場似乎也在急切地尋找,下一個「FAAMG」在哪裡。雲計算時代到來,一些「後浪」在今年開始嶄露頭角,吸引了機構投資者的目光。其中Twlo, ddog, okta, crwd, fsly這五家雲計算公司構成的「TDOCS」已然成為了今年股市上漲中的最大贏家。
  • 如何在數據中心中安裝環境監控系統
    這要求數據中心設施管理人員定期監控數據中心關鍵設備的運行狀態及其周圍的環境狀況,尤其是在沒有採用DCIM系統的情況下。 監控設備可以連接到這些IT設備上,以遠程獲取它們的信息。用戶可以通過查看所有這些數據,並在數值超出預設範圍時立即收到警報。 此外,這些監控系統可以與其他的硬接線傳感器通信,並直接監視設備和環境狀況。在大多數情況下,這些傳感器是單獨安裝的。其選擇的傳感器取決於監視的條件以及可以連接到IT設備的數量。
  • 雲計算時代的網站監控神器——監控寶6
    雲計算技術的廣泛應用,讓越來越多的企業把線上業務部署或遷移到雲端。然而傳統IT監控工具如Zabbix等,無法對雲服務、IDC、CDN和外部訪問鏈路做到統一有效的全局監控,當用戶體驗出現問題時就很難作出及時的響應。
  • 雲計算,改變教育的下一個爆點?
    早在2006年,Amazon對全世界宣布了一組雲計算服務,推出雲計算服務環境EC2(elastic Compute Cloud)以及雲存儲服務Amazon S3(Simple Storage Service)。Google在 2012 年正式發布 Google Drive,它是一款雲存儲服務系統。隨後,國內的阿里巴巴、百度、騰訊等也都基於雲計算平臺搭建了各種應用為用戶提供雲服務。
  • A-SMGCS環境下助航燈光監控系統自主研發成功
    中國民航網訊:近日,中國民航技術裝備有限責任公司(以下簡稱:Avitec)自主研發的A-SMGCS環境下的助航燈光監控系統經國家燈具質量監督檢驗中心檢驗合格,於10月14日取得由民航局發布的民用機場專用設備通告。
  • 雲計算環境中的容量管理
    其帶領的IT團隊在融合的VMware環境中進行資料庫雲容量管理。他表示,公共雲提供商面臨的容量管理問題與Greeneideas公司正在解決的問題類似。因此,其IT團隊成員參加了各種在線供應商會議,並接受了在線培訓,以了解在雲計算世界中是否也遇到了類似的問題,以及可以學到什麼技術和經驗來改進分析和流程。
  • 達內重磅升級Linux雲計算課程,制定雲計算人才的培養標準
    目前,網際網路發展有三大趨勢:雲計算、移動互聯、大數據,而隨著雲計算技術的崛起,雲計算的高端Linux開發人才和運維人才成為IT職場上炙手可熱的稀缺人才。在技術進步和市場競爭與整合的推動下,雲計算已被視為科技界的下一次革命,成為推動生產進步、革新商業模式的重要技術。
  • 邊緣雲計算技術及標準化
    隨著邊緣計算技術的出現,雲計算將必然發展到下一個技術階段,將雲計算的能力拓展至距離終端最近的邊緣側,並通過雲邊端的統一管控實現雲計算服務的下沉,提供端到端的雲服務,由此產生了邊緣雲計算的概念。開放易用:包括開放的運行環境、靈活部署各類雲服務和應用、在線遠程管理、運行指標可視化監控等。綜上所述,邊緣雲計算具備網絡低時延、支持海量數據訪問、彈性基礎設施等特點。同時,空間距離的縮短帶來的好處不只是縮短了傳輸時延,還減少了複雜網絡中各種路由轉發和網絡設備處理的時延。此外,由於網絡鏈路爭搶的機率大大減小,能夠明顯降低整體時延。
  • 怎樣檢測檔案館環境?試試檔案館環境監控系統
    一、檔案館環境所謂檔案館環境,是指環繞在檔案館周圍空間中的空氣、水、土壤、動植物、陽光及人類的活動等構成的綜合因素,檔案館是檔案保存與提供利用的機構,檔案置於其中,必然與環境息息相關,受到環境的影響與作用。因此,使用檔案館環境監控系統調控檔案館環境具有重要的意義。
  • 如何檢測檔案館環境,推薦檔案館環境監控系統
    一、檔案館環境 所謂檔案館環境,是指環繞在檔案館周圍空間中的空氣、水、土壤、動植物、陽光及人類的活動等構成的綜合因素,檔案館是檔案保存與提供利用的機構,檔案置於其中,必然與環境息息相關,受到環境的影響與作用。因此,使用檔案館環境監控系統調控檔案館環境具有重要的意義。 二、檔案館環境的相關標準 檔案館客房溫溼度對保護檔案,延長檔案壽命有很大關係。
  • 盤點那些你沒想到的雲計算應用場景(下)
    雲計算能夠為鐵路提供可管理、可連通、安全、可靠的信息化環境。在動漫渲染的業務場景中,不僅要考慮到海量素材的存儲和管理,還需要保證大規模並發讀寫的穩定性,在確保數據不丟失的前提下,渲染和合成等諸多環節都能按預期時間順利完成。
  • Websphere與雲計算
    該方案可以對企業現有的基礎架構進行整合,通過虛擬化技術和自動化技術,構建企業自己擁有的雲計算中心,實現企業硬體資源和軟體資源的統一管理、統一分配、統一部署、統一監控和統一備份,打破應用對資源的獨佔,從而幫助企業實現雲計算理念。  IBM雲計算方案由以下部分構成:  ¨ 需要納入雲計算中心的硬體資源,包括x86或Power的機器、存儲伺服器、交換機和路由器等網絡設備。