skywalking-1:skywalking3.2.6生產級部署(歷史總結)

2021-01-10 千裡已醉

前情提要:

Skywalking3.2.6是很老的版本了,18年8月左右的最新stable版本,進行總結純粹出於方法論和過程論的總結,以及歷史沉澱。

目錄:

(1).skywalking3.2.6部署拓撲圖

(2).機器拓撲圖

(3).版本與下載

(4).部署skywalking-collector

(5).部署skywalking-web

(6).部署skywalking-agent

(7).skywalking官方issue

(8).skywalking3.2.6重要缺陷

(9).其他注意事項

(10).相關文章

(1).skywalking3.2.6部署拓撲圖

skywalking-agent:非侵入式agent,是應用服務的一部分。

skywalking-collector:trace收集器,可以部署多個。

skywalking-web:trace可視化頁面。

elasticsearch:存儲trace數據。

(2).機器拓撲圖

綜合成本和性能,主要原則:夠用就好。

(3).版本與下載

skywalking與elasticsearch版本:skywalking-stable-3.2.6,elasticsearch5.6.8

wget https://github.com/apache/incubator-skywalking/releases/download/v3.2.6/skywalking-agent.tar.gz

wget https://github.com/apache/incubator-skywalking/releases/download/v3.2.6/skywalking-collector.tar.gz

wget https://github.com/apache/incubator-skywalking/releases/download/v3.2.6/skywalking-web.tar.gz

解壓得到skywalking-agent, skywalking-web, skywalking-collector

(4).部署skywalking-collector

1.mv skywalking-collecotr /app/3rd

2.修改配置文件:

config/log4j2.xml

<Property name="log-path">/data/xxx/skywalking-collector/logs</Property>

application.yml:要和elasticsearch保持一致。

elasticsearch: cluster_name: my-application cluster_nodes: localhost:9300

所有localhost都要改成ip, 配置zk, es

3.啟動:

bin/collectorService.sh start

(5).部署skywalking-web

1.mv skywalking-web /app/3rd

2.修改配置文件:

config/log4j2.xml

<Property name="log-path">/data/xxx/skywalking-web/logs</Property>

config/collector_config.properties:

collector.servers[0]=collecotr1:10800

(可以部署多個)

application.properties

默認埠:8080

3.啟動:

./web-service.sh start

4.web界面

Trace:

Instance view

service tree

(6).部署skywalking-agent

業務同學需要關心和了解:

1.mv skywalking-agent /app/3rd/

2.修改配置文件:

conf/agent.confg:

agent.application_code=xxx (具體的業務名字)

collector.servers=collectorIP:10800 (可以部署多個)

logging.level=INFO

logging.dir=/data/xxx/skywalking-agent/logs

3.使用方式:

nohup java -javaagent:$javaAgent -jar $yourBiz.jar >/dev/null 2>&1 &

使用者需要替換:

$javaAgent 一般是:/app/3rd/skywalking-agent/skywalking-agent.jar

$yourBiz.jar,要啟動的業務jar包。

PS:

這裡省略了其他參數,如JVM參數,業務參數,看各自業務情況都要有。

(7).skywalking官方issue

1.skywalking 對motan的支持應該是從5.x開始;之前最近的一個穩定版本3.2.6-stable是否支持待確認(已經確認支持:作者&實際測試都確認),根據官方答覆看代碼應該是支持的,依據:https://github.com/apache/incubator-skywalking/issues/1545#issuecomment-412745201

因為我們使用的是motan,所以必須確認此點。

2.skywalking-stable-3.2.6隻能對應elasticsearch-5.x,依據:https://github.com/apache/incubator-skywalking/issues/507#issuecomment-412748537, 這裡使用elasticsearch5.6.8

這個事項也非常重要,卻很容易忽略,導致整個流程不通。

(8).skywalking3.2.6重要缺陷

Huge memory is used when using skywalking-agent

https://github.com/apache/skywalking/issues/1666

上述這個問題發現的也非常偶然,獨立ECS各種壓測都沒有問題。但是因為我們同時還在做容器化,測試環境的k8s資源都非常小,給每個pod分配的資源幾乎都是剛剛夠運行,在這個前提下使用skywalking-agent後內存飆漲無法啟動,然後開始在github上找作者深究這個問題。大致原因skywalking3.2.6這個版本對bytecode使用存在效率問題,只有內存臨界點上才會發生我們遇到的問題。詳情可以看上述issue。

這也是我們最後否決skywalking3.2.6的原因,雖然後續版本解決了這個問題,但是全鏈路這個事情已經排除在重要事項之外了。在我們完成整個基礎架構重構之後,才在k8s裡的apollo服務上進行了運用(skywalking當時的最新版本),參見:

K8S&微服務&阿里雲生產實踐-7:容器化生產環境集成apollo配置中心與skywalking全鏈路追蹤

(9).其他注意事項

Skywalking-agent一定不要使用100%的採樣率,沒有意義且徒耗性能,而且也做不到100%,會根據內存損耗對trace進行丟棄。

我們主要是看的全局拓撲,以及全局滯點/阻塞點。

相關焦點

  • Apache SkyWalking(Incubating) 5.0.0-alpha 發布
    從3.x開始,SkyWalking核心團隊展示了自動探針的高性能,拓撲分析,JVM性能收集等多種能力,但是UI和複雜分析依然是短板。5.x版本系列的首次發布,系統迎來了全新的UI和功能特性。現代化的UI,後端複雜的分析能力,展現了從3.x到5.x的跨越,以及技術迭代。新版本從7個維度可視化剖析分布式系統的運行情況1.
  • 贈書|SkyWalking 觀測 Service Mesh 技術大公開
    如圖所示,SkyWalking從Service Mesh數據平面獲取到圖中被標記為奇數的請求數據(1,3,5,7,9,11)。傳統的「黑盒」算法會嘗試還原被標記為偶數的鏈路,從而形成完整的調用鏈。而SkyWalking會直接進行匯總統計,計算出兩節點之間的監控指標,再使用這些成對的數據構建出一段時間內的拓撲圖。
  • The Sky This Week from August 2 to 11
    This morning, use binoculars to find the magnitude 5.8 planet 2.3° south-southeast of the magnitude 5.7 star 19 Arietis. A telescope reveals Uranus』 blue-green disk, which spans 3.6".
  • 地道英語口語:「炒魷魚」通知單 Walking papers
    新東方網>英語>英語學習>口語>實用口語>正文地道英語口語:「炒魷魚」通知單 Walking papers 2012-09-24 23:18 來源:網際網路 作者:   例句-1:
  • 測試-馬自達3 skyactive - x:未來的熱力發動機
    去年,我們在舊一代馬自達3的引擎蓋下測試了一款2.0 skyactive - x的原型車,這次是在它的最終版本中,我們在法蘭克福附近測試了它。這已經不是什麼秘密了:在馬自達,當需要開發符合新標準的發動機時,你首先要看看競爭對手在做什麼,以確定你不會做什麼。為了創意而創意?
  • pie是餡餅,sky是天空,那pie in the sky是什麼意思?
    我們知道pie有「餡餅」的含義,sky的意思是「天空」,那pie in the sky是什麼意思呢?pie in the sky的意思是「something that you hope will happen but is very unlikely to happen」,即「渺茫的希望,空口的許諾,不大可能實現的計劃」。
  • 你知道pie in the sky是什麼意思嗎?
    今天,我們一起看一下sky這個單詞。首先,我們看一下sky做名詞的用法。1、What's that in the sky?天上那是什麼東西?2、The skies above London were ablaze with a spectacular firework display.倫敦上空禮花綻放,景象壯觀。這句話中skies是sky的複數形式,意思是天空,用複數形式時強調了天空遼闊無邊。其次,我們看一下sky做動詞的用法。
  • dead man walking是說死人會走路嗎?其實它指大禍臨頭的人
    dead man walking大禍臨頭的人。這個習語表面上好像在說殭屍,其實此處的dead man是指遭逢災難的人。walking用來形容dead man,表示這個人雖然還能走路,但實際上已經形同死人,所以是「大禍臨頭」的意思。
  • 【Nov 17】Skydiving from 4000m+, IT'S A DARE!
    3) Learn the procedures of SkydivingThe professional coaches will give a 20 to 30 minutes training, including skydiving process, tips and precautions, what you can do in
  • 每日地道口語:年底了,年前計劃是不是變成了pie in the sky?
    今天跟大家分享一個有趣的地道短語:pie in the sky,這個短語跟20世紀初的一首歌有關。pie1. At the end of the year, I begin to realize that my plan is just pie in the sky.
  • sky光遇水母圖在哪 sky光遇水母圖位置入口介紹
    sky光遇水母圖在哪,sky光遇水母圖位置在哪,sky光遇水母圖從哪進,sky光遇水母圖是任務拯救被困住的光鰩的地方,同樣也是開啟下一章霞谷位置,是個重要的地方,現在就為大家帶來sky光遇水母圖位置入口介紹,一起來看看吧。
  • What was that bright dot in Sky, yesterday?
    The picture was taken from Zhanjiang beach and was of a bright object in the sky?What was that. Is it moon next to sun? she asked in a WeChat group."How can a moon be so near to Sun?
  • blue-sky真的是指「藍天」嗎?原來還有這樣的意思!
    1.out of the blue (clear sky) 出乎意料,突然out of the blue(clear sky),可以看到,這裡後面the blue其實主要是指天空,整個單詞我們可以理解為就像「從天空掉下來」,情況非常「突然,出乎人意料」。
  • Red sky at night:怎樣用英語來預知陰晴?
    在沒有天氣預報的時代,人們大多通過諺語口訣中總結的自然知識、來判斷未來的天氣變化。關於下雨,中國過去就有「朝霞不出門,晚霞行千裡」的說法。類似的諺語在英語中也有,但更加直白,沒有像中文版本一樣使用「行千裡」的修辭手法,叫做 Red sky at night。
  • 《sky光遇》晨島動作在什麼地方 第一章動作收集攻略
    ,下面小編就來告訴大家sky光遇晨島動作在哪裡,感興趣的不要錯過哦。 更多閱讀:sky光遇全章節動作大全 晨島一共有3個動作,具體搜集位置可以參考下圖,位置都比較好去,沒有什麼難度。 sky光遇晨島3個動作
  • 《sky光遇》雨林館藏攻略 雨林博物館詳情介紹
    雨林廣闊的地圖中藏著很多彩蛋,下面小編就給大家介紹一下sky光遇雨林博物館圖鑑,一起來看看吧。 許願井 館藏... 寒冷的雨水、撞人的螃蟹、冰冷的積水,但只要利用好光菇和燈塔,就能夠在雨林自由飛行和探索。
  • The Sky Is Blue!【美音】
    It's a picture of a blue sky and white clouds.     " I am so happy to see the blue sky!" says my uncle.        I wonder why." Isn't the sky always blue?"        " No," he says."
  • pie的是果餡餅,pie in the sky是什麼意思呢?
    1、Help yourself to some more pie.請隨意再吃些果餡餅吧。這句話中pie的意思是果餡餅、果餡派。一塊蘋果派可以表達為a slice of apple pie;一塊草莓派可以表達為a slice of strawberry pie。
  • 《sky光遇》披風怎麼獲得 披風獲取大全
    導 讀 在sky光遇遊戲中,玩家可以獲得各種各樣的披風來裝飾人物,那麼遊戲中披風應該怎麼得到呢?