ELK入門使用-與springboot集成

2021-01-10 科技界小哥

什麼是ELK

K我最初還以為是Kafka,事實上,ELK平臺是一個完整的日誌分析解決方案,由這三個開源工具構建而成:Elasticsearch、Logstash、Kibana。

Elasticsearch用於深度搜索和數據分析,它是基於Apache Lucene的分布式開源搜尋引擎,無須預先定義數據結構就能動態地對數據進行索引;

Logstash用於日誌集中管理,包括從多臺伺服器上傳輸和轉發日誌,並對日誌進行豐富和解析,是一個數據管道,提供了大量插件來支持數據的輸入和輸出處理;

最後是Kibana,提供了強大而美觀的數據可視化,Kibana完全使用HTML和Javascript編寫,它利用Elasticsearch 的RESTful API來實現其強大的搜索能力,將結果顯示位各種震撼的圖形提供給最終的用戶。

安裝Elasticsearch

官網下載對應平臺的安裝包。

Windows用法比較簡單,只要下載後雙機bin/elasticsearch.bat就啟動成功了. 下面關注linux上的安裝使用。

ES不允許root運行,所以,最好我們創建專門的用戶來運行。

解壓後,運行./bin/elasticsearch就會啟動成功。如果失敗,應該是用root啟動的,改成普通用戶即可。

然後瀏覽器訪問:http://localhost:9200/ 可以看到響應

安裝Kibana

官網下載對應平臺的安裝包。然後,解壓。

啟動:

./bin/kibana瀏覽器訪問: http://localhost:5601

安裝logstash

官網下載對應平臺的安裝包。然後,解壓。

這裡採用壓縮包的方式,當然也可以使用系統安裝包,比如

//ubuntusudo apt-get update && sudo apt-get install logstashcentos

甚至docker。

修改ruby倉庫地址為中國:編輯Gemfile

修改為source "https://gems.ruby-china.org/"

啟動: bin/logstash -e 'input { stdin { } } output { stdout {} }'

這是一個交互式輸入,你輸入的內容將被當做message收集起來。

到這裡就算安裝成功了。

遇到的問題,

Unsupported platform: x86_64-linux原因是Java9不支持,卸載Java9即可。

安裝logstash-codec-json_lines插件

ryan@ryan-900X5L:~/apps/logstash-6.2.4$ ./bin/logstash-plugin install logstash-codec-json_linesValidating logstash-codec-json_linesInstalling logstash-codec-json_linesInstallation successful接下來,我們直接編寫我們springboot需要的配置方案,新建config/logstash-sample.conf

4560 是logstash接收數據的埠codec => json_lines是一個json解析器,接收json的數據。這個要裝 logstash-codec-json_lines 插件ouput elasticsearch指向我們安裝的地址stdout會列印收到的消息,調試用啟動:

./bin/logstash -f config/logstash-sample.conf 新建一個springboot項目

新建啟動類

在resources下新建logback-spring.xml

啟動。然後就可以觀察到,logsash控制臺列印我們的日誌

在kibana- management - index pattern裡新建一個pattern,我們就用*吧。創建好了,點擊discover。就可以看到我們的日誌了

項目地址: https://github.com/Ryan-Miao/springboot-with-elk

喜歡的小夥伴,點個關注吧,每天分享新的內容!

相關焦點

  • SpringBoot+GitLab+Docker+Jenkins實現持續集成下
    該框架使用了特定的方式來進行配置,從而使開發人員不再需要定義樣板化的配置。通過這種方式,Spring Boot致力於在蓬勃發展的快速應用開發領域(rapid application development)成為領導者。接下來我們來編寫一個最簡單的SpringBoot入門項目。<?
  • Kubernetes ELK 日誌收集
    第一種方式使用sidecar將應用程式日誌重定向就可以在接入前面agent採集自動獲取日誌信息,不需要在配置其他。#創建命名空間kubectl create namespace elk#使用StatefulSet創建ES集群wget down.i4t.com/kubernetes/es/es.yamlkubectl apply -f es.yaml創建es svc#這裡的service使用無頭服務wget down.i4t.com/kubernetes/es/es-svc.yamlkubect apply
  • Centos7筆記之ELK的filebeat安裝
    --->mkdir -p /home/elk/filebeats/xConfig2.去官網下載filebeat組件https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.5.1-linux-x86_64.tar.gz執行命令--->wget -P /home/elk/filebeats/ https:
  • [易學springboot]對controller層進行單元測試
    在springboot中進行單元測試,大家已經非常熟悉。我們通常測試的是service層和dao層。對controller層的直接測試可能進行的較少。下面介紹一下在SpringBoot中進行Controller層的Rest請求測試的方法。
  • SpringBoot開發自己的@Enable功能
    @Enable*是springboot中用來啟用某一個功能特性的一類註解。隨便打開幾個@Enable*的源碼,比如@EnableSync,@EnableCircuitBreaker, @EnableCache這些類中都有共同點使用了@Import註解@Import 這個類的注釋是這麼說的:Indicates one or more component classes to import — typically @Configuration
  • ...入門講座第二課——實驗二:新建項目及LM Flash Programmer的使用
    歡 迎參加 Stellaris EK-LM4F120XL LaunchPad 入門講座的在線培訓。Code Composer Studio 是一個集成開發環境 (IDE),它將編輯、調試和分析工具放入一個包裝中。 它基於 Eclipse 開源開發工具。 在為 Stellaris LM4F 編寫代碼之前,需要了解將要使用的工具。
  • 95後哈佛小哥撰寫《從零開始的機器學習》,入門必備,書籍資源已開放
    說起機器學習入門書,大概有成百上千種選擇。這些書籍大多是由具備豐富研究經驗的學者撰寫的,涵蓋各種主題。俗話說「開卷有益」,但對於轉專業的初學者來說,這本新書或許更適合入門:近日,一位畢業於哈佛大學的小哥根據自己的機器學習入門經歷,撰寫了一本《從零開始的機器學習》。
  • 95後哈佛小哥撰寫從零開始的機器學習入門必備,書籍資源已開放
    機器之心報導作者:蛋醬、小舟機器學習怎麼入門最簡單?今年剛剛從哈佛大學統計專業畢業的 Danny Friedman 寫了一本「轉專業學生專用教材」,無基礎也可輕鬆入門,資源現已全部開放。說起機器學習入門書,大概有成百上千種選擇。這些書籍大多是由具備豐富研究經驗的學者撰寫的,涵蓋各種主題。俗話說「開卷有益」,但對於轉專業的初學者來說,這本新書或許更適合入門:近日,一位畢業於哈佛大學的小哥根據自己的機器學習入門經歷,撰寫了一本《從零開始的機器學習》。
  • RStudio介紹及入門
    Hello,這裡是行上行下,我是喵君姐姐~上一期寫了R語言的入門及安裝,得到了很多小夥伴的喜歡。在忙完了畢業之後,終於有時間可以抽空寫R語言系列的教程啦!那今天就請Ten years old詳細講解一下,RStudio介紹及入門。R是統計領域廣泛使用的工具,屬於GNU系統的一個自由、免費、原始碼開放的軟體,是用於統計計算和統計繪圖的優秀工具。
  • 入門級NVMe SSD使用需注意,別讓性能白瞎了
    目前中低端的SATA SSD基本已經跌到每G價格1.2元左右;高端SATA SSD現在大概也跌到了平均每G價格1.5元左右;就連比SATA SSD性能略勝一籌的入門級NVMe SSD,目前也有許多產品也幾乎跌到了每G價格1.5元以下。固態硬碟價格的回落,點燃了人們升級硬碟的熱情,同時也使得大家對SSD性能的追求也越來越高。因此,近期越來越多的玩家入手了入門級NVMe SSD。
  • 泰克繼續強化其全球領先的入門級示波器的功能與性能
    新儀器帶來全面的升級特性,如高解析度7英寸顯示屏、雙通道頻率計數器和34種自動測量,是適合學生和老師使用的物有所值的入門級示波器,並且支持包括基礎研究與開發在內的廣泛一般商業應用。  由於數位技術和系統不斷向日常生活的各個領域滲透,全球市場上存在對能夠幫助工程師和技術人員設計、驗證與調試這些電系統的經濟適用但功能強大的示波器的很大需求。
  • 電子元器件維修入門教程
    電子元件知識入門-特點-分類篇:主要介紹了電源器件電容器、電感器、二、三極體以及集成電路等部件常見故障產生的原因以及解決措施。(一)電容篇電容1、電容在電路中一般用「C」加數字表示(如C25表示編號為25的電容)。電容是由兩片金屬膜緊靠,中間用絕緣材料隔開而組成的元件。電容的特性主要是隔直流通交流。
  • 入門平臺的中堅力量 AMD處理器大盤點(全文)_AMD A10-7850K_CPU...
    一般的遊戲玩家的話也不需要考慮太高的處理器,AMD速龍系列沒有集成核顯,搭配750ti這樣的入門獨顯就能流暢運行大部分的網遊了,輕度遊戲玩家和對畫質要求不是太高的用戶都可以選擇,如果想要性能更強FX系列處理器也是絕佳的選擇,不過要注意主板需搭配970晶片組的產品。
  • Python零基礎入門教程,如何使用函數?
    大綱函數語法格式及調用參數:默認值、元組和字典可變參數的使用全局變量和局部變量作用域,局部變量如何升級為全局變量函數是可重複使用的,實現單一功能的代碼塊。可以把項目中某一功能想像成積木模型,函數是組成模型的大大小小積木塊。
  • CAD製圖初學入門之偏移功能使用技巧
    在使用浩辰CAD軟體繪製圖紙的過程中,CAD偏移也是比較常見的功能之一,但是對於很多CAD製圖初學入門者對CAD偏移功能並不是很了解,為此給大家匯總一些浩辰CAD軟體中關於偏移功能的CAD製圖初學入門技巧。
  • 把PowerEdge伺服器集成到EMC VxRail,EMC在中國擴展超融合產品組合
    內容提要:EMC擴展其行業領先的融合系統產品組合,與高性能、高可靠和高能效的戴爾PowerEdge伺服器集成的VxRail設備系列,現已在中國上市最新5設備,為這一快速增長的超融合產品提供了拓展的企業級軟硬體選項。
  • Python機器學習5:使用scikit-learn實現三種集成學習Bagging算法
    如果你在解決一個問題時實現了多種模型,但是每個模型的效果都差不多,但是你想要進一步提升最後預測效果,那麼本文將強烈建議你使用集成學習算法來實現!集成學習算法指的是將已有的多種模型綜合起來,實現最終分類或者回歸。一般而言,集成學習可以提高原有算法模型的準確性。
  • 撿漏一臺天文望遠鏡,分享心得附使用入門
    ▲需要吐槽的是,這張圖,包裝裡居然是沒有的- -使用細則看我下文便是,它寫的不是很清楚,雖然我也是新手,但新手有新手的心得不是麼?使用入門★不要看太陽!不要看太陽!不要看太陽!★我們要明白一件事,天文望遠鏡是科學儀器而不是純粹的道具。