阿里內部都是這樣排查Java問題的,附工具單

2021-03-03 JAVA技術之家
Linux命令類tail

最常用的tail -f

tail -300f shopbase.log #倒數300行並進入實時監聽文件寫入模式
grep
grep forest f.txt     #文件查找
grep forest f.txt cpf.txt #多文件查找
grep 'log' /home/admin -r -n #目錄下查找所有符合關鍵字的文件
cat f.txt | grep -i shopbase    
grep 'shopbase' /home/admin -r -n --include *.{vm,java} #指定文件後綴
grep 'shopbase' /home/admin -r -n --exclude *.{vm,java} #反匹配
seq 10 | grep 5 -A 3    #上匹配
seq 10 | grep 5 -B 3    #下匹配
seq 10 | grep 5 -C 3    #上下匹配，平時用這個就妥了
cat f.txt | grep -c 'SHOPBASE'
awk
1 基礎命令
awk '{print $4,$6}' f.txt
awk '{print NR,$0}' f.txt cpf.txt    
awk '{print FNR,$0}' f.txt cpf.txt
awk '{print FNR,FILENAME,$0}' f.txt cpf.txt
awk '{print FILENAME,"NR="NR,"FNR="FNR,"$"NF"="$NF}' f.txt cpf.txt
echo 1:2:3:4 | awk -F: '{print $1,$2,$3,$4}'
2 匹配
awk '/ldb/ {print}' f.txt   #匹配ldb
awk '!/ldb/ {print}' f.txt  #不匹配ldb
awk '/ldb/ && /LISTEN/ {print}' f.txt   #匹配ldb和LISTEN
awk '$5 ~ /ldb/ {print}' f.txt #第五列匹配ldb
3 內建變量
NR:NR表示從awk開始執行後，按照記錄分隔符讀取的數據次數，默認的記錄分隔符為換行符，因此默認的就是讀取的數據行數，NR可以理解為Number of Record的縮寫。
FNR:在awk處理多個輸入文件的時候，在處理完第一個文件後，NR並不會從1開始，而是繼續累加，因此就出現了FNR，每當處理一個新文件的時候，FNR就從1開始計數，FNR可以理解為File Number of Record。
NF: NF表示目前的記錄被分割的欄位的數目，NF可以理解為Number of Field。
find
sudo -u admin find /home/admin /tmp /usr -name \*.log(多個目錄去找)
find . -iname \*.txt(大小寫都匹配)
find . -type d(當前目錄下的所有子目錄)
find /usr -type l(當前目錄下所有的符號連結)
find /usr -type l -name "z*" -ls(符號連結的詳細信息 eg:inode,目錄)
find /home/admin -size +250000k(超過250000k的文件，當然+改成-就是小於了)
find /home/admin f -perm 777 -exec ls -l {} \; (按照權限查詢文件)
find /home/admin -atime -1  1天內訪問過的文件
find /home/admin -ctime -1  1天內狀態改變過的文件    
find /home/admin -mtime -1  1天內修改過的文件
find /home/admin -amin -1  1分鐘內訪問過的文件
find /home/admin -cmin -1  1分鐘內狀態改變過的文件    
find /home/admin -mmin -1  1分鐘內修改過的文件
pgm
批量查詢vm-shopbase滿足條件的日誌
pgm -A -f vm-shopbase 'cat /home/admin/shopbase/logs/shopbase.log.2017-01-17|grep 2069861630'
tsar
tsar是咱公司自己的採集工具。很好用, 將歷史收集到的數據持久化在磁碟上，所以我們快速來查詢歷史的系統數據。當然實時的應用情況也是可以查詢的啦。大部分機器上都有安裝。
tsar  ###可以查看最近一天的各項指標
tsar --live ###可以查看實時指標，默認五秒一刷
tsar -d 20161218 ###指定查看某天的數據，貌似最多只能看四個月的數據
tsar --memtsar --loadtsar --cpu###當然這個也可以和-d參數配合來查詢某天的單個指標的情況 
top
top除了看一些基本信息之外，剩下的就是配合來查詢vm的各種問題了
ps -ef | grep java
top -H -p pid
獲得線程10進位轉16進位後jstack去抓看這個線程到底在幹啥
其他
netstat -nat|awk  '{print $6}'|sort|uniq -c|sort -rn #查看當前連接，注意close_wait偏高的情況，比如如下
排查利器btrace
首當其衝的要說的是btrace。真是生產環境&預發的排查問題大殺器。簡介什麼的就不說了。直接上代碼幹
1、查看當前誰調用了ArrayList的add方法，同時只列印當前ArrayList的size大於500的線程調用棧
    @OnMethod(clazz = "java.util.ArrayList", method="add", location = @Location(value = Kind.CALL, clazz = "/.*/", method = "/.*/"))
public static void m(@ProbeClassName String probeClass, @ProbeMethodName String probeMethod, @TargetInstance Object instance, @TargetMethodOrField String method) {
   if(getInt(field("java.util.ArrayList", "size"), instance) > 479){
       println("check who ArrayList.add method:" + probeClass + "#" + probeMethod  + ", method:" + method + ", size:" + getInt(field("java.util.ArrayList", "size"), instance));
       jstack();
       println();
       println("===========================");
       println();
   }
}
2、監控當前服務方法被調用時返回的值以及請求的參數
@OnMethod(clazz = "com.taobao.sellerhome.transfer.biz.impl.C2CApplyerServiceImpl", method="nav", location = @Location(value = Kind.RETURN))
public static void mt(long userId, int current, int relation, String check, String redirectUrl, @Return AnyType result) {
   println("parameter# userId:" + userId + ", current:" + current + ", relation:" + relation + ", check:" + check + ", redirectUrl:" + redirectUrl + ", result:" + result);
}
其他功能集團的一些工具或多或少都有，就不說了。感興趣的請移步。https://github.com/btraceio/btrace
注意:
經過觀察，1.3.9的release輸出不穩定，要多觸發幾次才能看到正確的結果正則表達式匹配trace類時範圍一定要控制，否則極有可能出現跑滿CPU導致應用卡死的情況由於是字節碼注入的原理，想要應用恢復到正常情況，需要重啟應用。Greys
Greys是@杜琨的大作吧。說幾個挺棒的功能(部分功能和btrace重合):
sc -df xxx: 輸出當前類的詳情,包括源碼位置和classloader結構
trace class method: 相當喜歡這個功能! 很早前可以早JProfiler看到這個功能。列印出當前方法調用的耗時情況，細分到每個方法。對排查方法性能時很有幫助，比如我之前這篇就是使用了trace命令來的:http://www.atatech.org/articles/52947。
其他功能部分和btrace重合，可以選用，感興趣的請移步。http://www.atatech.org/articles/26247
另外相關聯的是arthas，他是基於Greys的，感興趣的再移步http://mw.alibaba-inc.com/products/arthas/docs/middleware-container/arthas.wiki/home.html?spm=a1z9z.8109794.header.32.1lsoMc
javOSize
就說一個功能classes：通過修改了字節碼，改變了類的內容，即時生效。所以可以做到快速的在某個地方打個日誌看看輸出，缺點是對代碼的侵入性太大。但是如果自己知道自己在幹嘛，的確是不錯的玩意兒。
其他功能Greys和btrace都能很輕易做的到，不說了。
可以看看我之前寫的一篇javOSize的簡介http://www.atatech.org/articles/38546官網請移步http://www.javosize.com/
Arthas
這是阿里開源不久的故障排查利器，非常之方便，更多操作，移步 https://github.com/alibaba/arthas
JProfiler
之前判斷許多問題要通過JProfiler，但是現在Greys和btrace基本都能搞定了。再加上出問題的基本上都是生產環境(網絡隔離)，所以基本不怎麼使用了，但是還是要標記一下。官網請移步https://www.ej-technologies.com/products/jprofiler/overview.html
大殺器eclipseMAT
可作為eclipse的插件，也可作為單獨的程序打開。 詳情請移步http://www.eclipse.org/mat/
zprofiler
集團內的開發應該是無人不知無人不曉了。簡而言之一句話:有了zprofiler還要mat幹嘛詳情請移步zprofiler.alibaba-inc.com
java三板斧，噢不對，是七把jps
我只用一條命令：
sudo -u admin /opt/taobao/java/bin/jps -mlvV
jstack
普通用法:
sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jstack 2815
image
native+java棧:
sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jstack -m 2815
jinfo
可看系統啟動的參數，如下
sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jinfo -flags 2815
jmap
兩個用途
1.查看堆的情況
sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -heap 2815
2.dump
sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -dump:live,format=b,file=/tmp/heap2.bin 2815
或者
sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -dump:format=b,file=/tmp/heap3.bin 2815
3.看看堆都被誰佔了? 再配合zprofiler和btrace，排查問題簡直是如虎添翼
sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -histo 2815 | head -10
jstat
jstat參數眾多，但是使用一個就夠了
sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jstat -gcutil 2815 1000 
jdb
時至今日，jdb也是經常使用的。jdb可以用來預發debug,假設你預發的java_home是/opt/taobao/java/，遠程調試埠是8000.那麼sudo -u admin /opt/taobao/java/bin/jdb -attach 8000.
出現以上代表jdb啟動成功。後續可以進行設置斷點進行調試。具體參數可見oracle官方說明http://docs.oracle.com/javase/7/docs/technotes/tools/windows/jdb.html
CHLSDB
CHLSDB感覺很多情況下可以看到更好玩的東西，不詳細敘述了。查詢資料聽說jstack和jmap等工具就是基於它的。
sudo -u admin /opt/taobao/java/bin/java -classpath /opt/taobao/java/lib/sa-jdi.jar sun.jvm.hotspot.CLHSDB
更詳細的可見R大此貼http://rednaxelafx.iteye.com/blog/1847971
plugin of intellij ideakey promoter
快捷鍵一次你記不住，多來幾次你總能記住了吧？
maven helper
分析maven依賴的好幫手。
VM options
-XX:+TraceClassLoading結果形如[Loaded java.lang.invoke.MethodHandleImpl$Lazy from D:\programme\jdk\jdk8U74\jre\lib\rt.jar]
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/logs/java.hprof集團的vm參數裡邊基本都有這個選項
jar包衝突
把這個單獨寫個大標題不過分吧？每個人或多或少都處理過這種煩人的case。我特麼下邊這麼多方案不信就搞不定你?
mvn dependency:tree > ~/dependency.txt
打出所有依賴
mvn dependency:tree -Dverbose -Dincludes=groupId:artifactId
只打出指定groupId和artifactId的依賴關係
-XX:+TraceClassLoading
vm啟動腳本加入。在tomcat啟動腳本中可見加載類的詳細信息
-verbose
vm啟動腳本加入。在tomcat啟動腳本中可見加載類的詳細信息
greys:sc
greys的sc命令也能清晰的看到當前類是從哪裡加載過來的
tomcat-classloader-locate
通過以下url可以獲知當前類是從哪裡加載的curl http://localhost:8006/classloader/locate?class=org.apache.xerces.xs.XSObject
ALI-TOMCAT帶給我們的驚喜(感謝@務觀)
列出容器加載的jar列表
curl http://localhost:8006/classloader/jars
列出當前噹噹前類加載的實際jar包位置，解決類衝突時有用
curl http://localhost:8006/classloader/locate?class=org.apache.xerces.xs.XSObject
其他gpref
http://www.atatech.org/articles/33317
dmesg
如果發現自己的java進程悄無聲息的消失了，幾乎沒有留下任何線索，那麼dmesg一發，很有可能有你想要的。
sudo dmesg|grep -i kill|less
去找關鍵字oom_killer。找到的結果類似如下:
[6710782.021013] java invoked oom-killer: gfp_mask=0xd0, order=0, oom_adj=0, oom_scoe_adj=0[6710782.070639] [<ffffffff81118898>] ? oom_kill_process+0x68/0x140 [6710782.257588] Task in /LXC011175068174 killed as a result of limit of /LXC011175068174 [6710784.698347] Memory cgroup out of memory: Kill process 215701 (java) score 854 or sacrifice child [6710784.707978] Killed process 215701, UID 679, (java) total-vm:11017300kB, anon-rss:7152432kB, file-rss:1232kB
以上表明，對應的java進程被系統的OOM Killer給幹掉了，得分為854.解釋一下OOM killer（Out-Of-Memory killer），該機制會監控機器的內存資源消耗。當機器內存耗盡前，該機制會掃描所有的進程（按照一定規則計算，內存佔用，時間等），挑選出得分最高的進程，然後殺死，從而保護機器。
dmesg日誌時間轉換公式:log實際時間=格林威治1970-01-01+(當前時間秒數-系統啟動至今的秒數+dmesg列印的log時間)秒數：
date -d "1970-01-01 UTC `echo "$(date +%s)-$(cat /proc/uptime|cut -f 1 -d' ')+12288812.926194"|bc ` seconds"
剩下的，就是看看為什麼內存這麼大，觸發了OOM-Killer了。

相關焦點

  • 阿里內部員工,排查Java問題常用的工具單
    utm_content=m_10360這是一篇來源於阿里內部技術論壇的文章，原文在阿里內部獲得一致好評。作者已經把這篇文章開放到雲棲社區中供外網訪問。文章內容做了部分刪減，主要刪減掉了其中只有阿里內部才能使用的工具的介紹，並刪減掉部分只有通過阿里內網才能訪問到的連結。
  • 阿里排查Java問題工具清單!
    排查利器btrace首當其衝的要說的是btrace。真是生產環境&預發的排查問題大殺器。簡介什麼的就不說了。可以看看我之前寫的一篇javOSize的簡介http://www.atatech.org/articles/38546官網請移步http://www.javosize.com/Arthas這是阿里開源不久的故障排查利器，非常之方便，更多操作，移步 https://github.com/alibaba/arthasJProfiler
  • 一份超詳細的 Java 問題排查工具單
    前言平時的工作中經常碰到很多疑難問題的處理，在解決問題的同時，有一些工具起到了相當大的作用，在此書寫下來，一是作為筆記，可以讓自己後續忘記了可快速翻閱，二是分享，希望看到此文的同學們可以拿出自己日常覺得幫助很大的工具，大家一起進步。閒話不多說，開搞。
  • Java:故障排查、JVM性能監控工具單
    當給一個系統定位問題的時候，知識、經驗是關鍵基礎，數據是依據，工具是運用知識處理數據的手段。今天來複習一下Java常用的調試排錯工具單。
  • 阿里java面試被pass後,奮戰1個月,最終拿下美團offer!
    前言一位小夥伴準備了許久的阿里Java面試，原以為能夠順利拿下offer，但在第三面還是被摁在地上反覆摩擦，喪氣一段時間後，小夥伴調整了心態重新嘗試了一下
  • Java 問題定位方法和工具
    本場 Chat 主要內容：Java 線上問題排查思路與工具使用作者/分享人：蓬蒿作為一名 Java 程序猿，平常工作除了 coding 之外，大部分時間（70%~80%）是用來排查線上問題的。掌握 Java 服務線上問題排查思路並能夠熟練排查問題常用工具/命令/平臺是每一個 Java 程序猿進階必須掌握的實戰技能。線上問題從系統表象來看歸結起來總共有四方面：CPU、內存、磁碟、網絡。例如 CPU 使用率峰值突然飈高、內存溢出(洩露)、磁碟滿了、網絡流量異常、FullGC 等等問題。
  • 介紹一款好用的java反編譯工具 - jd-gui
    當java應用程式在運行過程中遇到問題時，一般會拋出異常並列印堆棧信息，這些堆棧信息鏈中常常可以看到一些二方包和三方包。
  • 線上問題排查利器Arthas
    當然，上線前如何充分測試，線上出問題之後如何快速止血這些不在本文介紹範圍之內，本文主要介紹如何快速定位問題。線上問題複雜多樣，CPU飆升、RT突增、內存不足、性能下降等等，如何才能在最短時間內定位到問題呢？下面就來安利這款線上問題定位神器：Arthas。Arthas是一款阿里開源的Java診斷工具，對業務代碼無侵入，功能強悍，安裝簡單，上手快，深受Java開發者喜愛。
  • Java的單例模式
    如果線程B此時搶佔到CPU資源，執行if（instance == null）的結果會是false，這樣就會出現一個問題：返回一個沒有初始化完成的instance對象。在這裡，我看到有些人會有疑問？靜態內部類去創建實例對象public class Singleton {      //靜態內部類    private static class LazyHolder{
  • Java 連接 Redis 工具包之 Jedis 的單例模式用法,非常好用哦~
    工具包Jedis支持所Redis命令，用法也非常簡單。為了避免使用時每次都要連接redis，可以使用單例模式，下面介紹這種模式的編程方法，先下載 Jedis 工具包（下載網址見附錄）。= null) RedisPool.release(jd);}}附：Jedis下載：https://nowjava.com/download/31181Redis安裝及使用教程
  • 負載分析及問題排查極簡教程
    top命令top命令是Linux下常用的性能分析工具，能夠實時顯示系統中各個進程的資源佔用狀況，類似於Windows的任務管理器。對於機器的Load到底多少算正常的問題，一直都是很有爭議的，不同人有著不同的理解。對於單個CPU，有人認為如果Load超過0.7就算是超出正常範圍了。也有人認為只要不超過1都沒問題。也有人認為，單個CPU的負載在2以下都可以接受。
  • 曾遭阿里工程師「威脅」的內部產品,如今讓他們不再用Office工具包
    現在，支付寶研究員王保平（花名：玉伯）的所有工作，都可以在一款名為語雀的工具上完成。Wiki的問題也很嚴重，在阿里經濟體，支付寶、淘寶、菜鳥、阿里雲等BU經常會自己獨立搭建團隊的Wiki系統，這使得各種知識無法互通，系統的可維護性也是一個很大問題。與其不斷尋找適合阿里人的知識管理工具，不如嘗試自己研發。語雀正後不到三個月，語雀2.0在阿里內部正式上線，並迅速傳開，還有工程師發帖專門給語雀做產品評測。
  • 曾遭阿里工程師「威脅」內部產品,如今讓他們不再用Office工具包
    （天下網商記者 王安憶 部分照片攝影 章於亮）「我這電腦買來一年了，到現在都沒安裝 Office 工具包（Word、Excel、PowerPoint）。」現在，支付寶研究員王保平（花名：玉伯）的所有工作，都可以在一款名為語雀的工具上完成。
  • 系統緩慢+CPU 100%+頻繁Full GC問題的定位排查思路!
    當然，這些問題的最終導致的直觀現象就是系統運行緩慢，並且有大量的報警。本文主要針對系統運行緩慢這一問題，提供該問題的排查思路，從而定位出問題的代碼點，進而提供解決該問題的思路。也就是說，我們通過上述兩種方式進行排查是無法解決這種問題的。而且由於這樣的接口耗時比較大的問題是不定時出現的，這就導致了我們在通過jstack命令即使得到了線程訪問的堆棧信息，我們也沒法判斷具體哪個線程是正在執行比較耗時操作的線程。
  • 6到飛起的阿里Java診斷工具Arthas
    記得前段時間遇到了一個頁面加載過長的問題，當時就想排查下在哪一步消耗的時間比較長，由於是線上問題，第一反應就是有沒有什麼辦法可以無侵入式的查詢調用鏈路耗時呢？這時 Arthas 走進了我的眼帘，並成功幫我定位到了問題，就是這樣引起了我對 Arthas 的興趣，於是花了點時間對 Arthas 作了一個了解。
  • Java 日誌框架衝突問題排查與總結
    作者：Sharehubblog.xiaohansong.com/java-log-confict-solve.html前言Java 有很多的日誌框架可以選擇，當同一個項目中出現多種日誌框架時就很容易出現日誌框架衝突的問題，導致日誌列印不出來。
  • 阿里螞蟻金服Java程式設計師面試的11個問題,你會幾個呢?
    比如阿里巴巴java面經、小米java面經、網易java面經等，吸引了大多數的程式設計師們的圍觀。有些人就栽在這些基礎的東西上面，可能就這樣失去一個月薪過完的機會。1、常考的Java知識點複習：對於Java常考的知識點，用博客進行總結，以後要跳槽的時候也可以用到。可謂是一次總結就能實現多次利用的效果。
  • 乾貨|Java 線上故障排查完整套路!牛掰!
    線上故障主要會包括 CPU、磁碟、內存以及網絡問題，而大多數故障可能會包含不止一個層面的問題，所以進行排查時候儘量四個方面依次排查一遍。同時例如 jstack、jmap 等工具也是不囿於一個方面的問題的，基本上出問題就是 df、free、top 三連，然後依次 jstack、jmap 伺候，具體問題具體分析即可。CPU一般來講我們首先會排查 CPU 方面的問題。CPU 異常往往還是比較好定位的。
  • 系統運行緩慢,CPU 100%,以及Full GC次數過多問題的排查思路
    處理過線上問題的同學基本上都會遇到系統突然運行緩慢，CPU 100%，以及Full GC次數過多的問題。當然，這些問題的最終導致的直觀現象就是系統運行緩慢，並且有大量的報警。本文主要針對系統運行緩慢這一問題，提供該問題的排查思路，從而定位出問題的代碼點，進而提供解決該問題的思路。
  • 一次線程OOM排查看線程使用注意事項
    在開發項目中發生了一次OOM問題，通過crash 平臺查看上報信息，發現在很多的頁面都有報這個錯誤，但是相同的出錯都是以下的錯誤，看不到APP的堆棧只能看到是線程池創建有問題的堆棧信息