如何用 Graylog 管理容器K8S日誌

2022-01-02 小白運維之路

上一節我們介紹了graylog,它是一款可以和ELK 相提並論的集中式日誌管理系統,它能支持數據收集、檢索、可視化一整套流程,並且我們上一節學習了它的安裝,這節我們學習它和docker容器進行結合。

運行測試容器

docker run -d \
          --log-driver=gelf \
          --log-opt gelf-address=udp://localhost:12201 \
          --log-opt tag="log-test-container-A" \
          busybox sh -c 'while true; do echo "This is a log message from container A"; sleep 10; done;'

docker run -d \
          --log-driver=gelf \
          --log-opt gelf-address=udp://localhost:12201 \
          --log-opt tag="log-test-container-B" \
          busybox sh -c 'while true; do echo "This is a log message from container B"; sleep 10; done;'

各參數說明如下

--log-driver=gelf  使用的 logging driver類型為gelf。

--log-opt gelf-address=localhost:12201容器將日誌發送到gelf埠12201

--log-opt tag="log-test-container-A" 和 --log-opt tag="log-test-container-B" 為了區分不同的容器日誌,打標籤tag。

容器成功運行後,點擊頂部菜單搜索 Search,就能夠查詢到容器的日誌了。

graylog與Kibana一樣,它也提供了強大的查詢功能,比如下面輸入關鍵字 container B 就能搜索出所有匹配container B的日誌條目。

與前面我們學習的ELK一樣,我們只是將容器日誌簡單導入了Graylog。事實上Graylog 也是可以對容器日誌進行歸類匯總、分析聚合、創建Dashboard等。

下面的圖可以直觀感受一下 Graylog 的特性,它的更多的功能我們就不介紹了,留給大家自己去探索。

本章小結

我們簡單介紹下本章所學的容器Docker日誌管理,我們首先學習了 docker logs ,接著學習了 Docker logging driver;進而學習了比較火的elk和容器日誌結合;接著我們通過學習另一個logging driver-fluentd,將 fluentd 接入到日誌管理方案中;最後這節我們還簡單學習了與 ELK 相當的的日誌管理方案Graylog。

這麼多日誌方案,我們在實際使用中,怎麼選呢?其實與容器監控一樣沒有最好的,只有最適合的。不同企業有不同的部署規模,有自己的管理流程,有各自的業務目標;運維團隊有不同的技術背景,人員結構和工作方式;唯有保持開放的心態,多看、多學、多實踐,才能構建出適合自己的系統。

相關焦點

  • 部署 Graylog 日誌系統 - 每天5分鐘玩轉 Docker 容器技術(92)
    Graylog 是與 ELK 可以相提並論的一款集中式日誌管理方案,支持數據收集、檢索、可視化 Dashboard。
  • 安裝 Graylog 日誌系統
    這節學習Graylog,它是一款可以和ELK 相提並論的集中式日誌管理系統,它能支持數據收集、檢索、可視化一整套流程。本節學習實驗用 Graylog 來管理容器Docker 日誌。Graylog 架構我們先看下Graylog 的架構圖:Graylog:接收多種設備和應用的日誌,並提供 Web 接口。
  • 如何使用Graylog來收集日誌?
    是多個環境的日誌統一收集,然後使用 Nginx 對外提供服務,還是使用專用的日誌收集服務 ELK 呢?這就變成了一個問題!而 Graylog 作為整合方案,使用 Elasticsearch 來存儲,使用 MongoDB 來緩存,並且還有帶流量控制的(throttling),同時其界面查詢簡單易用且易於擴展。所以,使用 Graylog 成為了不二之選,為我們省了不少心。
  • 企業級日誌平臺後起之秀 Graylog!
    服務日誌收集工具 Filebeat介紹可參考:ELK + Filebeat 搭建日誌系統Graylog 服務介紹Graylog - 日誌監控系統Graylog 是一個開源的日誌聚合、分析、審計、展現和預警工具。
  • 企業級日誌平臺新秀Graylog,比ELK輕量多了~
    是多個環境的日誌統一收集,然後使用 Nginx 對外提供服務,還是使用專用的日誌收集服務 ELK 呢?這就變成了一個問題!而 Graylog 作為整合方案,使用 elasticsearch 來存儲,使用 mongodb 來緩存,並且還有帶流量控制的 (throttling),同時其界面查詢簡單易用且易於擴展。所以,使用 Graylog 成為了不二之選,為我們省了不少心。1.
  • 企業級日誌平臺新秀Graylog,比ELK輕量多了
    是多個環境的日誌統一收集,然後使用 Nginx 對外提供服務,還是使用專用的日誌收集服務 ELK 呢?這就變成了一個問題!而 Graylog 作為整合方案,使用 elasticsearch 來存儲,使用 mongodb 來緩存,並且還有帶流量控制的 (throttling),同時其界面查詢簡單易用且易於擴展。所以,使用 Graylog 成為了不二之選,為我們省了不少心。1.
  • 如何用 Graylog 管理日誌? - 每天5分鐘玩轉 Docker 容器技術(93)
    上一節已經部署好了 Graylog,現在學習如何用它來管理日誌。首先啟動測試容器。
  • Spring Boot 使用 Graylog 收集日誌
    點擊藍色「程序猿DD」關注我喲加個「星標」,不忘籤到哦來源:SpringForAll社區本文介紹SpringBoot如何使用Graylog日誌收集。1.Graylog介紹Graylog是一個生產級別的日誌收集系統,集成Mongo和Elasticsearch進行日誌收集。其中Mongo用於存儲Graylog的元數據信息和配置信息,ElasticSearch用於存儲數據。
  • Ubuntu 16.04 下部署 Graylog 2.x 日誌伺服器
    Graylog 是一個開源的日誌管理系統,集中式收集、索引、分析其它伺服器發來的日誌。
  • 大白話告訴你到底用不用學習這該死的k8s容器化
    1.1、 初識 Docker1.2、 再識 Docker3.1、 安全經驗分享3.1.1、零信任管理3.1.2、精細管理訪問控制3.1.3、 POD通信網絡管理3.1.4、日誌審記3.1.5、 數據安全3.2
  • Docker+k8s 容器雲建設中 10 個常見難點
    【問題描述】Docker是當前企業在進行容器化時首選的容器技術,但是原生的Docker在實際使用的過程中,特別是在傳統虛機運維到容器化運維的過渡中,會碰到以下類似問題:1、如何ssh登錄到容器,像登錄虛機那樣,可以通過ssh進行管理2、對於普通用戶來說,如何從容器中拷貝文件到外部3、虛機中一般會配置定時任務,在容器中如何實現
  • 基於EFK實現對k8s集群日誌的採集
    概述和組件說明對於Kubernetes的日誌採收集,目前官方現在比較推薦的日誌收集解決方案是 Elasticsearch、Fluentd 和 Kibana(EFK)技術棧。Elasticsearch 是一個實時的、分布式的可擴展的搜尋引擎,允許進行全文、結構化搜索,它通常用於索引和搜索大量日誌數據,也可用於搜索許多不同類型的文檔。
  • 日誌可視化方案及Lens-K8S桌面管理平臺IDE介紹
    上家公司AllIN k8s的時候,我們遇到一個日誌可視化的問題。大致情況如下:非容器化時代:開發環境開通 Developer 只讀或普通用戶權限,登錄主機查看日誌。或 ELK日誌檢索平臺查看。Allin k8s時代:ELK或SLS[1]提供日誌檢索和實時跟蹤展示遇到的問題:開通主機登錄權限:導致權限管理混亂。權限最小化及收口難。ELK或EFK:  成本過高,日誌量過大導致檢索搜索慢或成本爆增,沒有配套日誌解決方案SLS :雖然功能強大,但改變開發人員使用習慣,前期一度被吐槽...
  • 使用EVE-NG模擬山石網科防火牆syslog日誌接入GrayLog4.1
    (圖片可點擊放大查看)二、GrayLogServer 4.1版本的搭建之前有搭建過GraryLog,連結如下CentOS7下部署Graylog開源日誌管理系統/graylog-4.1-repository_latest.rpmyum install graylog-server
  • 一文徹底搞定EFK搭建K8s日誌收集系統
    Fluentd是一個流行的開源數據收集器,我們將在 Kubernetes 集群節點上安裝 Fluentd,通過獲取容器日誌文件、過濾和轉換日誌數據,然後將數據傳遞到 Elasticsearch 集群,在該集群中對其進行索引和存儲。
  • 兩大容器管理平臺,Kubernetes與OpenShift有什麼區別?
    但是,跨基礎架構管理容器可能會變得十分複雜,所以容器管理平臺對於任何企業來說都是必不可少的工具。Kubernetes和OpenShift是市場上最受歡迎的兩個容器管理平臺。而OpenShift是基於Kubernetes的,那麼二者之間到底有哪些區別呢?什麼是OpenShift?OpenShift是由紅帽(Red Hat)開發的容器化軟體解決方案。
  • k8s集群內的節點,可能沒你想像的那麼健壯!(磁碟管理篇)
    節點是組成k8s集群的基本單位,Pod的容器最終是需要在節點上創建並運行起來,因此節點健康狀態直接影響到了k8s集群和用戶容器的健康。在每個人入門容器的第一課,都會了解到容器在節點上是基於namespace和cgroup來做隔離,可是僅僅是相互之間做隔離,就足夠了嗎?在容器應用落地和長期的運維過程中,會面臨比隔離更多的實際需要面對的問題。
  • K8S如何掛載NFS
    大家好,這篇文章記錄一下如何在k8s上掛載NFS。1.
  • 運維大神如何使用 Golang 日誌監控應用程式
    3.Go 日誌上下文4.Go 日誌對性能的影響不要在 Goroutine 中使用日誌使用異步庫使用嚴重等級管理日誌5.集中化 Go 日誌6.享受 Go 日誌之旅直播時間:2.27日21:00-22:00文末添加小助手獲取直播連結你是如何使用 Golang 日誌監控你的應用程式的呢?
  • 基於k8s的Paas平臺概要設計
    ,這裡我們通過service catalog 進行集成,用戶只需要進行申請,則就可以自助獲取對應的基礎服務資源應用上線後,我們如何獲取到對應的健康狀態呢?通常就需要日誌和監控來進行輔助,我們希望一種方式可以自助的進行服務的日誌收集、監控項的收集,此時我們就需要一種與監控和日誌系統集成的方式, 還會涉及到各自監控告警,針對日誌我們使用EFK來進行日誌的收集,監控則採用Prometheus完成,此外除了應用的基礎資源監控,可以讓業務也進行對應業務指標的暴露,這樣我們就可以實現業務層的指標級別的監控應用上線後,通常需要對外提供訪問,在k8s中因為網絡的原因