在日常的Java開發中,常見以下問題:
內存洩露某個進程突然cpu飆升線程死鎖響應變慢如果遇到了以上這種問題,如何JAVA內存管理、垃圾回收、內存調優,來解決運行日誌、異常堆棧、GC日誌、線程快照、堆快照等問題?
01java自帶分析工具
通過java自帶分析工具,如jstack(查看線程)、jmap(查看內存)和jstat(性能分析)命令,分析和監控工具可以加快我們的分析數據、定位解決問題的速度。
jstack:java堆棧跟蹤工具
jstack用於生成java虛擬機當前時刻的線程快照。線程快照是當前java虛擬機內每一條線程正在執行的方法堆棧的集合,生成線程快照的主要目的是定位線程出現長時間停頓的原因,如線程間死鎖、死循環、請求外部資源導致的長時間等待等。
命令格式:
jstack [ option ] pid jstack [ option ] executable core jstack [ option ] [server-id@]remote-hostname-or-IP參數:
-F :當』jstack [-l] pid』沒有相應的pid時,強制列印棧信息 。-l:長列表. 列印關於鎖的附加信息,例如屬於java.util.concurrent的ownable synchronizers列表。-m:列印java和native c/c++框架的所有棧信息。-h | -help:列印幫助信息 pid 需要被列印配置信息的java進程id,可以用jps查詢。1、過濾指定線程,列印堆棧信息
指令: jstack pid |grep 'threadPid' -C5 --color jstack 13525 |grep '0x3be4' -C5 --color // 列印進程堆棧 並通過線程id,過濾得到線程堆棧信息。
2、查看java進程的線程快照信息
指令:jstack -l pid
從輸出信息可以看到,有一個線程死鎖發生,並且指出了那行代碼出現的。如此可以快速排查問題。
jmap-->java 內存映射工具
jmap命令用於生產堆轉存快照。列印出某個java進程(使用pid)內存內的,所有『對象』的情況(如:產生那些對象,及其數量)。
jmap [ option ] pid jmap [ option ] executable corejmap [ option ] [server-id@]remote-hostname-or-IP參數選項:
-dump:[live,]format=b,file=<filename> 使用hprof二進位形式,輸出jvm的heap內容到文件。live子選項是可選的,假如指定live選項,那麼只輸出活的對象到文件。-finalizerinfo 列印正等候回收的對象的信息。-heap 列印heap的概要信息,GC使用的算法,heap的配置及wise heap的使用情況。-histo[:live] 列印每個class的實例數目、內存佔用、類全名信息。VM的內部類名字開頭會加上前綴」*」。如果live子參數加上後,只統計活的對象數量。-permstat 列印classload和jvm heap長久層的信息,包含每個classloader的名字、活潑性、地址、父classloader和加載的class數量。另外,內部String的數量和佔用內存數也會列印出來。-F 強迫。在pid沒有相應的時候,使用-dump或者-histo參數。在這個模式下,live子參數無效。-h | -help 列印輔助信息。-J 傳遞參數給jmap啟動的jvm。例如:
使用jmap -heap pid查看進程堆內存使用情況,包括使用的GC算法、堆配置參數和各代中堆內存使用情況:
使用jmap -histo[:live] pid查看堆內存中的對象數目、大小統計直方圖。
jstat: jvm統計信息監控工具
jstat 是用於虛擬機各種運行狀態信息的命令行工具。它可以顯示本地或者遠程虛擬機進程中的類裝載、內存、垃圾收集、jit編譯等運行數據,它是線上定位jvm性能的首選工具。
命令格式:
jstat [ generalOption | outputOptions vmid [interval[s|ms] [count]] ]
generalOption :單個的常用的命令行選項,如-help, -options, 或 -version。outputOptions :一個或多個輸出選項,由單個的statOption選項組成,可以和-t, -h, and -J等選項配合使用。常用選項:
class:用於查看類加載情況的統計,jstat -class pid:顯示加載class的數量,及所佔空間等信息。compiler:查看HotSpot中,即時編譯器編譯情況的統計,jstat -compiler pid:顯示VM實時編譯的數量等信息。gc 查看JVM中堆的垃圾收集情況的統計, jstat -gc pid:可以顯示gc的信息,查看gc的次數,及時間。其中最後五項,分別是young gc的次數,young gc的時間,full gc的次數,full gc的時間,gc的總時間。gccapacity:查看新生代、老生代及持久代的存儲容量情況,jstat -gccapacity:可以顯示,VM內存中三代(young,old,perm)對象的使用和佔用大小gccause :查看垃圾收集的統計情況(這個和-gcutil選項一樣),如果有發生垃圾收集,它還會顯示最後一次及當前正在發生垃圾收集的原因。 jstat -gccause:顯示gc原因找到java安裝目錄cd .../bin/,再執行./jstack ...
看gc 情況執行:jstat-gcutil 27777
02堆大小設置
JVM初始分配的內存,由-Xms指定,默認是物理內存的1/64;JVM最大分配的內存由-Xmx指定,默認是物理內存的1/4。默認空餘堆內存小於40%時,JVM就會增大堆,直到-Xmx的最大限制;空餘堆內存大於70%時,JVM會減少堆,直到-Xms的最小限制。因此伺服器一般設置-Xms與-Xmx相等,以避免在每次GC 後調整堆的大小。
堆常用設置
-Xms:初始堆大小 -Xmx:最大堆大小 -XX:NewSize=n:設置年輕代大小 -XX:NewRatio=n:設置年輕代和年老代的比值。如:為3,表示年輕代與年老代比值為1:3,年輕代佔整個年輕代年老代和的1/4 -XX:SurvivorRatio=n:年輕代中Eden區與兩個Survivor區的比值。注意Survivor區有兩個。如:3,表示Eden:Survivor=3:2,一個Survivor區佔整個年輕代的1/5 -XX:MaxPermSize=n:設置持久代大小收集器設置
-XX:+UseSerialGC:設置串行收集器 -XX:+UseParallelGC:設置並行收集器 -XX:+UseParalledlOldGC:設置並行年老代收集器 -XX:+UseConcMarkSweepGC:設置並發收集器垃圾回收統計信息
-XX:+PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:filename並行收集器設置
-XX:ParallelGCThreads=n:設置並行收集器收集時使用的CPU數。並行收集線程數。 -XX:MaxGCPauseMillis=n:設置並行收集最大暫停時間 -XX:GCTimeRatio=n:設置垃圾回收時間佔程序運行時間的百分比。公式為1/(1+n)並發收集器設置
-XX:+CMSIncrementalMode:設置為增量模式。適用於單CPU情況。 -XX:ParallelGCThreads=n:設置並發收集器年輕代收集方式為並行收集時,使用的CPU數。並行收集線程數。
03堆大小典型設置
JVM 中最大堆大小有三方面限制:
相關作業系統的數據模型(32-bt還是64-bit)限制; 系統的可用虛擬內存限制; 系統的可用物理內存限制。 在32位系統下,一般限制在1.5G~2G,64為作業系統對內存無特定限制。
機器配置:128G內存 32核CPU典型設置: java -Xmx72g -Xms72 -Xmn4g -Xss256m
-Xmx72g:設置JVM最大可用內存為72g。-Xms72g:設置JVM最小內存為72g。此值可以設置與-Xmx相同,以避免每次垃圾回收完成後JVM重新分配內存。-Xmn4g:設置年輕代大小為4G。整個堆大小=年輕代大小 + 年老代大小 + 持久代大小。持久代一般固定大小為64m,所以增大年輕代後,將會減小年老代大小。此值對系統性能影響較大,Sun官方推薦配置為整個堆的3/8。(註:這裡默認的使用的JVM是Sun的Hotspot,而其中使用GC算法就是分代算法。若要了解詳情,可以參考一些關於JVM的書: 《深入理解Java虛擬機》第二版 )-Xss256m:設置每個線程的堆棧大小。JDK5.0以後,每個線程堆棧大小為1M,以前每個線程堆棧大小為128k。更新應用的線程,所需內存大小進行調整。在相同物理內存下,減小這個值,能生成更多的線程。但是作業系統,對一個進程內的線程數,還是有限制的,不能無限生成,經驗值在3000~5000左右。
java -Xmx72g -Xms72g -Xss256m -XX:NewRatio=4 -XX:SurvivorRatio=4 -XX:MaxPermSize=256m -XX:MaxTenuringThreshold=0
解釋:
-XX:NewRatio=4:設置年輕代(包括Eden和兩個Survivor區)與年老代的比值(除去持久代)。設置為4,則年輕代與年老代所佔比值為1:4,年輕代佔整個堆棧的1/5。-XX:SurvivorRatio=4:設置年輕代中Eden區與Survivor區的大小比值。設置為4,則兩個Survivor區與一個Eden區的比值為2:4,一個Survivor區佔整個年輕代的1/6。-XX:MaxPermSize=256m:設置持久代大小為256m。 -XX:MaxTenuringThreshold=0:設置垃圾最大年齡。如果設置為0的話,則年輕代對象不經過Survivor區,直接進入年老代。 對於年老代比較多的應用,可以提高效率。如果將此值設置為一個較大值,則年輕代對象會在Survivor區進行多次複製,這樣可以增加對象在年輕代的存活時間,增加在年輕代即被回收的概率。
04GC回收器選擇
JVM給了三種選擇:串行收集器,並行收集器,並發收集器。
但是串行收集器只適用於小數據量的情況,所以這裡的選擇,主要針對並行收集器和並發收集器。默認情況下,JDK5.0以前都是使用串行收集器,如果想使用其他收集器需要在啟動時加入相應參數。JDK5.0以後,JVM會根據當前系統配置進行判斷。
吞吐量優先的並行收集器
如上文所述,並行收集器主要以到達一定的吞吐量為目標,適用於科學技術和後臺處理等。
典型配置:
java -Xmx72g -Xms72g -Xmn4g -Xss128k -XX:+UseParallelGC -XX:ParallelGCThreads=32
-XX:+UseParallelGC:選擇垃圾收集器為並行收集器。此配置僅對年輕代有效。即上述配置下,年輕代使用並發收集,而年老代仍舊使用串行收集。-XX:ParallelGCThreads=32:配置並行收集器的線程數,即:同時多個線程一起進行垃圾回收。此值最好配置與處理器數目相等。java -Xmx72g -Xms72g -Xmn4g -Xss128k -XX:+UseParallelGC -XX:ParallelGCThreads=32 -XX:+UseParallelOldGC
-XX:+UseParallelOldGC:配置年老代垃圾收集方式為並行收集。JDK6.0支持對年老代並行收集。
java -Xmx72g -Xms72g -Xmn4g -Xss128k -XX:+UseParallelGC -XX:MaxGCPauseMillis=100
-XX:MaxGCPauseMillis=100:設置每次年輕代垃圾回收的最長時間,如果無法滿足此時間,JVM會自動調整年輕代大小,以滿足此值。
java -Xmx72g -Xms72g -Xmn4g -Xss128k -XX:+UseParallelGC -XX:MaxGCPauseMillis=100 -XX:+UseAdaptiveSizePolicy
-XX:+UseAdaptiveSizePolicy:設置此選項後,並行收集器會自動選擇年輕代區大小和相應的Survivor區比例,以達到目標系統規定的最低相應時間或者收集頻率等,此值建議使用並行收集器時,一直打開。
05響應時間優先的並發收集器
如上文所述,並發收集器主要是保證系統的響應時間,減少垃圾收集時的停頓時間。適用於應用伺服器,電信領域等。
典型配置:
java -Xmx72g -Xms72g -Xmn4g -Xss128k -XX:ParallelGCThreads=32-XX:+UseConcMarkSweepGC -XX:+UseParNewGC
-XX:+UseConcMarkSweepGC:設置年老代為並發收集。測試中配置這個以後,-XX:NewRatio=4的配置失效了,原因不明。所以,此時年輕代大小最好用-Xmn設置。-XX:+UseParNewGC:設置年輕代為並行收集。可與CMS收集同時使用。JDK5.0以上,JVM會根據系統配置自行設置,所以無需再設置此值。 java -Xmx72g -Xms72g -Xmn4g -Xss128k -XX:+UseConcMarkSweepGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection
-XX:CMSFullGCsBeforeCompaction:由於並發收集器不對內存空間進行壓縮,整理,所以運行一段時間以後,會產生"碎片",使得運行效率降低。此值設置運行多少次GC以後,對內存空間進行壓縮,整理。-XX:+UseCMSCompactAtFullCollection:打開對年老代的壓縮,可能會影響性能,但是可以消除碎片。
06JVM提供了大量命令行參數,供調試使用,輔助信息
JVM提供了大量命令行參數,列印信息,供調試使用。主要有以下一些:
-XX:+PrintGC
-XX:+PrintGCDetails
-XX:+PrintGCTimeStamps -XX:+PrintGC:PrintGCTimeStamps可與上面兩個混合使用
-XX:+PrintGCDetails -XX:+PringGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=200M -Xloggc:/home/admin/logs/gc.log
設置GC日誌文件滾動,滾動個數為5,日誌文件大小的200M,日誌文件路徑/home/admin/logs/gc.log。
-XX:+PrintGCApplicationConcurrentTime:列印每次垃圾回收前,程序未中斷的執行時間,可與上面混合使用。
輸出形式:Application time: 0.5291524 seconds
-XX:+PrintGCApplicationStoppedTime:列印垃圾回收期間,程序暫停的時間,可與上面混合使用。
輸出形式:Total time for which application threads were stopped: 0.0468229 seconds
-XX:PrintHeapAtGC:列印GC前後的詳細堆棧信息。
07年輕代大小選擇
響應時間優先的應用:儘可能設大,直到接近系統的最低響應時間限制(根據實際情況選擇)。在此種情況下,年輕代收集發生的頻率也是最小的。同時,減少到達年老代的對象。
吞吐量優先的應用:儘可能的設置大,可能到達Gbit的程度。因為對響應時間沒有要求,垃圾收集可以並行進行,一般適合8 CPU以上的應用。
08年老代大小選擇
響應時間優先的應用:年老代使用並發收集器,所以其大小需要小心設置,一般要考慮並發會話率和會話持續時間等一些參數。如果堆設置小了,可以會造成內存碎片,高回收頻率,以及應用暫停,而使用傳統的標記清除方式;如果堆大了,則需要較長的收集時間。最優化的方案,一般需要參考以下數據獲得:
並發垃圾收集信息。 持久代並發收集次數。傳統GC信息。 花在年輕代和年老代回收上的時間比例。減少年輕代和年老代花費的時間,一般會提高應用的效率。
吞吐量優先的應用:一般吞吐量優先的應用,都有一個很大的年輕代和一個較小的年老代。原因是,這樣可以儘可能回收掉大部分短期對象,減少中期的對象,而年老代盡存放長期存活對象。
較小堆引起的碎片問題,因為年老代的並發收集器使用標記,清除算法,所以不會對堆進行壓縮。當收集器回收時,他會把相鄰的空間進行合併,這樣可以分配給較大的對象。但是,當堆空間較小時,運行一段時間以後,就會出現"碎片",如果並發收集器找不到足夠的空間,那麼並發收集器將會停止,然後使用傳統的標記,清除方式進行回收。如果 出現"碎片",可能需要進行如下配置:
-XX:+UseCMSCompactAtFullCollection:使用並發收集器時,開啟對年老代的壓縮。 -XX:CMSFullGCsBeforeCompaction=0:上面配置開啟的情況下,這裡設置多次Full GC後,對年老代進行壓縮。在同一個工程下,有兩個類,這兩個類中只有很少的變動,而最關健的FOR卻沒有一點變動,可是當分別運行這兩個程序的時候,卻出現一個很嚴重的問題,一個程序循環的快,一個循環的慢。
這到底是怎麼回事呢?苦苦尋找了半天,也沒有想到是為什麼,因為程序改變的部分,根本不影響循環的速度,可是結果卻是有很大的差別,一個大約是在一分鐘之內,就可以循環完,可是另一個卻需要六七分鐘,這根本不是一個數據級。
兩個完全一樣的循環,從代碼上根本上是看不出有什麼問題。不得以求助同事吧,可是同事看了,也感覺很詭異,兩個人在那,盯著代碼又看了一個多小時,最後同事讓我來個乾淨點的,關機重啟,就順著同事的意思去了,可就在關機的這個時候,他突然說是不是內存的問題,我也空然想到了,還真的有可能是內存的問題,因為快的那個,在我運行程序之前,可給過1G的內存啊,而後來的這個,好像是沒有設過內存,機器起來了,有了這個想法,進去看看吧,結果正中要害,果真是慢的那個,沒有給內存,程序運行時只不過是JVM默認開的內存。初步分析是因為內存太小,而我的程序所用內存,又正好卡在JVM所開內存邊上,不至於溢出。當程序運行時,就得花費大部分時間去調用GC,這樣就導致了為什麼相同的循環,出現兩種不同的效率~!