性能工具之linux常見日誌統計分析命令

2021-02-15 7DGroup

引言

在上文中性能工具之linux三劍客awk、grep、sed詳解，我們已經詳細介紹 linux 三劍客的基本使用，接下來我們看看具體在性能測試領域的運用，本文主要介紹的是在 Tomcat 和 Nginx access日誌的統計分析。

Tomcat統計請求響應時間

server.xml 使用配置方式，%D-請求時間，%F響應時間

<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"

prefix="localhost_access_log." suffix=".txt"

pattern="%h %l %u [%{yyyy-MM-dd HH:mm:ss}t] %{X-Real_IP}i &quot;%r&quot; %s %b %D %F" />

欄位說明如下：

%h - 發起請求的客戶端 IP 地址。這裡記錄的 IP 地址並不一定是真實用戶客戶機的 IP 地址，它可能是私網客戶端的公網映射地址或代理伺服器地址。

%l - 客戶機的 RFC 1413 標識 ( 參考 ) ，只有實現了 RFC 1413 規範的客戶端，才能提供此信息。

%u - 遠程客戶端用戶名稱，用於記錄瀏覽者進行身份驗證時提供的名字，如登錄百度的用戶名 zuozewei，如果沒有登錄就是空白。

%t - 收到請求的時間（訪問的時間與時區，比如 18/Jul/2018:17:00:01+0800，時間信息最後的 "+0800" 表示伺服器所處時區位於 UTC 之後的8小時）

%{X-Real_IP}i - 客戶端的真實ip

%r - 來自客戶端的請求行（請求的 URI 和 HTTP 協議，這是整個 PV 日誌記錄中最有用的信息，記錄伺服器收到一個什麼樣的請求）

%>s - 伺服器返回客戶端的狀態碼，比如成功是 200。

%b - 發送給客戶端的文件主體內容的大小，不包括響應頭的大小（可以將日誌每條記錄中的這個值累加起來以粗略估計伺服器吞吐量）

%D - 處理請求的時間，以毫秒為單位

%F - 客戶端瀏覽器信息提交響應的時間，以毫秒為單位

日誌樣例：

47.203.89.212 - - [19/Apr/2017:03:06:53 +0000] "GET / HTTP/1.1" 200 10599 50 49

Nginx統計請求和後臺服務響應時間

使用默認 combined 的經典格式上擴展 response_time&upstream_response_time

nginx.conf 使用配置方式：

log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent $request_time  $upstream_response_time "$http_referer" "$http_user_agent" "$http_x_forwarded_for"';

欄位說明如下：

$remote_addr - 發起請求的客戶端 IP 地址。這裡記錄的 IP 地址並不一定是真實用戶客戶機的 IP 地址，它可能是私網客戶端的公網映射地址或代理伺服器地址。

$remote_user - 遠程客戶端用戶名稱，用於記錄瀏覽者進行身份驗證時提供的名字，如登錄百度的用戶名 zuozewei，如果沒有登錄就是空白。

[$time_local] - 收到請求的時間（訪問的時間與時區，比如 18/Jul/2018:17:00:01+0800，時間信息最後的 "+0800" 表示伺服器所處時區位於 UTC 之後的8小時）

「$request」 - 來自客戶端的請求行（請求的 URI 和 HTTP 協議，這是整個 PV 日誌記錄中最有用的信息，記錄伺服器收到一個什麼樣的請求）

$status - 伺服器返回客戶端的狀態碼，比如成功是 200。

$body_bytes_sent - 發送給客戶端的文件主體內容的大小，不包括響應頭的大小（可以將日誌每條記錄中的這個值累加起來以粗略估計伺服器吞吐量）

$request_time - 整個請求的總時間，以秒為單位（包括接收客戶端請求數據的時間、後端程序響應的時間、發送響應數據給客戶端的時間(不包含寫日誌的時間)）

$upstream_response_time - 請求過程中，upstream 的響應時間,以秒為單位（向後端建立連接開始到接受完數據然後關閉連接為止的時間）

「$http_referer」 - 記錄從哪個頁面連結訪問過來的（請求頭 Referer 的內容 ）

「$http_user_agent」 - 客戶端瀏覽器信息（請求頭User-Agent的內容 ）

「$ http_x_forwarded_for」 - 客戶端的真實ip，通常web伺服器放在反向代理的後面，這樣就不能獲取到客戶的IP位址了，通過 $remote_add拿到的IP位址是反向代理伺服器的iP地址。反向代理伺服器在轉發請求的 http 頭信息中，可以增加 x_forwarded_for** 信息，用以記錄原有客戶端的IP位址和原來客戶端的請求的伺服器地址。

日誌示例：

218.56.42.148 - - [19/Apr/2017:01:58:04 +0000] "GET / HTTP/1.1" 200 0 0.023 - "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36" "-"

AWK 運用

為了能理解 AWK 程序，我們下面簡單概述其基本知識，詳細內容參照上文。

AWK 程序可以由一行或多行文本構成，其中核心部分是包含一個模式和動作的組合。

pattern { action }

模式( pattern ) 用於匹配輸入中的每行文本。對於匹配上的每行文本，awk 都執行對應的 動作( action )。模式和動作之間使用花括號隔開。awk 順序掃描每一行文本，並使用 記錄分隔符（一般是換行符）將讀到的每一行作為 記錄，使用 域分隔符( 一般是空格符或制表符 ) 將一行文本分割為多個 域， 每個域分別可以使用 $1, $2, … $n 表示。$1 表示第一個域，$2 表示第二個域，$n 表示第 n 個域。 $0 表示整個記錄。模式或動作都可以不指定，預設模式的情況下，將匹配所有行。預設動作的情況下，將執行動作 {print}，即列印整個記錄。

此處使用Nginx access.log 舉例，Tomcat 同學們自己舉一反三。 

使用 awk 分解出Nginx access日誌中的信息

218.56.42.148 - - [19/Apr/2017:01:58:04 +0000] "GET / HTTP/1.1" 200 0 0.023 - "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36" "-"

以此類推…… 

當我們使用默認的域分割符時，我們可以從日誌中解析出下面不同類型的信息：

awk '{print $1}' access.log       # IP 地址  ($remote_addr)

awk '{print $3}' access.log       # 用戶名稱  $remote_user)

awk '{print $4,$5}' access.log    # 日期和時間  ([$time_local])

awk '{print $7}' access _log      # URI ($request)

awk '{print $9}' access _log      # 狀態碼 ($status)

awk '{print $10}' access _log     # 響應大小 ($body_bytes_sent)

awk '{print $11}' access _log     # 請求時間 ($request_time)

awk '{print $12}' access _log     # upstream響應時間 ($upstream_response_time)

我們不難發現，僅使用默認的域分隔符，不方便解析出請求行、引用頁和瀏覽器類型等其他信息，因為這些信息之中包含不確定個數的空格。 因此，我們需要把域分隔符修改為 「 ，就能夠輕鬆讀出這些信息。

awk -F\" '{print $2}' access.log        # 請求行 ($request)

awk -F\" '{print $4}' access.log        # 引用頁 ($http_referer)

awk -F\" '{print $6}' access.log        # 瀏覽器 ($http_user_agent)

awk -F\" '{print $8}' access.log        # 真實ip ($http_x_forwarded_for)

注意：這裡為了避免 Linux Shell 誤解 「 為字符串開始，我們使用了反斜槓，轉義了 「 。 現在，我們已經掌握了 awk 的基本知識，以及它是怎樣解析日誌的。

使用場景舉例

此處使用Nginx access.log 舉例，Tomcat 同學們自己舉一反三

瀏覽器類型統計

如果我們想知道那些類型的瀏覽器訪問過網站，並按出現的次數倒序排列，我可以使用下面的命令：

awk -F\" '{print $6}' access.log | sort | uniq -c | sort -fr

此命令行首先解析出瀏覽器域，然後使用管道將輸出作為第一個 sort 命令的輸入。第一個 sort 命令主要是為了方便 uniq 命令統計出不同瀏覽器出現的次數。最後一個 sort 命令將把之前的統計結果倒序排列並輸出。

發現系統存在的問題

我們可以使用下面的命令行，統計伺服器返回的狀態碼，發現系統可能存在的問題。

awk '{print $9}' access.log | sort | uniq -c | sort

正常情況下，狀態碼 200 或 30x 應該是出現次數最多的。40x 一般表示客戶端訪問問題。50x 一般表示伺服器端問題。 下面是一些常見的狀態碼：

200 - 請求已成功，請求所希望的響應頭或數據體將隨此響應返回。

206 - 伺服器已經成功處理了部分 GET 請求

301 - 被請求的資源已永久移動到新位置

302 - 請求的資源現在臨時從不同的 URI 響應請求

400 - 錯誤的請求。當前請求無法被伺服器理解

401 - 請求未授權，當前請求需要用戶驗證。

403 - 禁止訪問。伺服器已經理解請求，但是拒絕執行它。

404 - 文件不存在，資源在伺服器上未被發現。

500 - 伺服器遇到了一個未曾預料的狀況，導致了它無法完成對請求的處理。

503 - 由於臨時的伺服器維護或者過載，伺服器當前無法處理請求。

HTTP 協議狀態碼定義可以參閱： https://www.w3.org/Protocols/rfc2616/rfc2616.html

狀態碼相關統計

查找並顯示所有狀態碼為 404 的請求

awk '($9 ~ /404/)' access.log

統計所有狀態碼為 404 的請求

awk '($9 ~ /404/)' access.log | awk '{print $9,$7}' | sort

現在我們假設某個請求 ( 例如 : URI: /path/to/notfound ) 產生了大量的 404 錯誤，我們可以通過下面的命令找到這個請求是來自於哪一個引用頁，和來自於什麼瀏覽器。

awk -F\" '($2 ~ "^GET /path/to/notfound "){print $4,$6}' access.log

追查誰在盜鏈網站圖片

有時候會發現其他網站出於某種原因，在他們的網站上使用保存在自己網站上的圖片。如果您想知道究竟是誰未經授權使用自己網站上的圖片，我們可以使用下面的命令：

awk -F\" '($2 ~ /\.(jpg|gif|png)/ && $4 !~ /^http:\/\/www\.example\.com/)\

{print $4}' access.log \ | sort | uniq -c | sort

注意：使用前，將 www.example.com 修改為自己網站的域名。

IP相關統計

統計共有多少個不同的 IP 訪問：

awk '{print $1}' access.log |sort|uniq|wc – l

統計每一個 IP 訪問了多少個頁面：

awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file

將每個 IP 訪問的頁面數進行從小到大排序：

awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n

統計 2018 年 8 月 31 日 14 時內有多少 IP 訪問 :

awk '{print $4,$1}' access.log | grep 31/Aug/2018:14 | awk '{print $2}'| sort | uniq | wc -l

統計訪問最多的前10個 IP 地址

awk '{print $1}' access.log |sort|uniq -c|sort -nr |head -10

列出某1個 IP訪問了哪些頁面：

grep ^202.106.19.100 access.log | awk '{print $1,$7}'

統計某個 IP 的詳細訪問情況,按訪問頻率排序

grep '202.106.19.100' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100

響應頁面大小相關統計

列出傳輸大小最大的幾個文件

cat access.log |awk '{print $10 " " $1 " " $4 " " $7}'|sort -nr|head -100

列出輸出大於 204800 byte ( 200kb) 的頁面以及對應頁面發生次數

cat access.log |awk '($10 > 200000){print $7}'|sort -n|uniq -c|sort -nr|head -100

列出訪問最頻的頁面(TOP100)

awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100

列出訪問最頻的頁面([排除php頁面】(TOP100)

grep -v ".php"  access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100          

列出頁面訪問次數超過100次的頁面

cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

列出最近1000條記錄，訪問量最高的頁面

tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less

PV 相關統計

統計每分鐘的請求數,top100的時間點(精確到分鐘)

awk '{print $4}' access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 100

統計每小時的請求數,top100的時間點(精確到小時)

awk '{print $4}' access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 100

統計每秒的請求數,top100的時間點(精確到秒)

awk '{print $4}' access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100

統計當天的 pv

grep "10/May/2018" access.log | wc -l

說明：

頁面響應時間相關統計

可以使用下面的命令統計出所有響應時間超過 3 秒的日誌記錄。

awk '($NF > 1){print $11}' access.log

注意：NF 是當前記錄中域的個數。$NF 即最後一個域。

列出 php 頁面請求時間超過3秒的頁面，並統計其出現的次數，顯示前100條

cat access.log|awk '($NF > 1 &&  $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

列出相應時間超過 5 秒的請求，顯示前20條

awk '($NF > 1){print $11}' access.log | awk -F\" '{print $2}' |sort -n| uniq -c|sort -nr|head -20

蜘蛛抓取統計

統計蜘蛛抓取次數

grep 'Baiduspider' access.log |wc -l

統計蜘蛛抓取404的次數

grep 'Baiduspider' access.log |grep '404' | wc -l

小結

通過本文的介紹，我相信同學們一定會發現 linux三劍客強大之處。在命令行中，它還能夠接受和執行外部的 AWK 程序文件，支持對文本信息進行非常複雜的處理，可以說「只有想不到的，沒有它做不到的」。

延伸閱讀：

性能工具之測試工具

性能工具之監控工具

性能工具之代碼級剖析工具

性能工具之內核調試工具

性能工具之前端工具梳理

性能工具之DOTNET性能分析工具

性能工具之Java調試工具BTrace入門

性能工具之Java調試工具JDB

前端分析工具之Charles錄製Android/IOS手機的https應用

性能工具之15個常用的Linux文件系統命令

性能工具之linux三劍客awk、grep、sed詳解

廣告時間：

性能測試專家班（北京）-1月

相關焦點

  • 面試題linux命令之awk
    無論是在測試還是開發崗位的面試招聘中，都會被提問到：是否了解linux系統，經常使用linux命令有哪些，接著可能會出一道題目，找出下列文本中的哪些值
  • CentOS linux作業系統命令之dmesg
    CentOS7.3學習筆記總結（七十八）-CentOS linux作業系統命令之dmesg命令在linux系統中，dmesg是用來顯示開機信息的，系統啟動kernel會將開機信息存放到ring buffer中，可以dmesg命令來查看，如圖：
  • Linux基礎命令之:實驗內容及小結
    本文引用地址：http://www.eepw.com.cn/article/257155.htm2.4實驗內容2.4.1在Linux下解壓常見軟體
  • 如何基準測試 Linux PC 的性能?
    一、一體化基準測試一體化基準測試工具又叫基準測試套件，恰如其名：它們測試和衡量系統的各個方面，而不是專注於某一個特定的硬體，如果你不想用三四個不同的工具搞亂系統，這很有用。1、Phoronix 測試套件[2]
  • Linux常用命令:Linux more命令使用方法
    more 是我們最常用的工具之一，最常用的就是顯示輸出的內容，然後根據窗口的大小進行分頁顯示，然後還能提示文件的百分比。
  • linux作業系統常用命令及常用問題
    一、linux作業系統常用命令>linux作業系統詳解（linux不再難懂）●man ：任何時候你覺得對一個命令行不是很確定，都可以通過輸入「man + 命令」了解這個命令能確切是做什麼的。
  • 【Linux】常用命令之 awk 常用實例
    awk命令工具在Linux/UNIX系統中，awk是一個功能強大的編輯工具，逐行讀取輸入文本，
  • XshellPortable——linux優秀連接工具教程(帶常用命令)
    ---最後進行命令即可哦常用的命令：suse linux 常用命令 (1) 命令ls——列出文件 ls 顯示當前目錄文件 ls -la 給出當前目錄下所有文件的一個長列表，包括以句點開頭的「隱藏」文件 ls a* 列出當前目錄下以字母a開頭的所有文件 ls -l *.doc 給出當前目錄下以
  • 20分鐘吃掉Linux常用命令40式
    #切換到上級目錄, linux中一個點表示當前路徑，二個點表示當前路徑上級路徑例2：cd ~ #切換到主目錄例3：cd /User/liangyun03/ # 切換到某個絕對路徑，linux中以/開頭的路徑表示絕對路徑例4：cd
  • Linux網絡安全之經驗談
    在過去的幾年中，以緩衝區溢出為類型的安全漏洞是最為常見的一種形式了。更為嚴重的是，緩衝區溢出漏洞佔了遠程網絡攻擊的絕大多數，這種攻擊可以輕易使得一個匿名的Internet用戶有機會獲得一臺主機的部分或全部的控制權！ 　　為了防止此類攻擊，我們從安裝系統時就應該注意。如果用root分區紀錄數據，如log文件和email，就可能因為拒絕服務產生大量日誌或垃圾郵件，從而導致系統崩潰。
  • Linux系統logger日誌命令詳解
    -s    將消息記錄到標準錯誤以及系統日誌。-t tag    指定標記，標記記錄中的每一行。-u socket    按指定的方式寫入socket，而不是系統日誌例程。二、消息日誌級別優先級 " facility.level" 的格式例：" -p local3.info " 表示自定義local3 這個設備的消息級別為 info。消息日誌默認級別是 「user.notice」。facility：用來定義由誰產生的日誌信息，即哪個軟體、子系統運行過程中產生的日誌信息。
  • 【知識點】Linux wget 命令實例
    >
  • sar工具在監控性能方向的實踐
    針對該系統，可以通過linux系統自帶的工具包，進行監控，查看性能指標。sar -n DEV 1 2我們通過MOBAXterm工具遠程伺服器，在壓測執行過程中，查看伺服器的cpu等性能信息。4.9 sar日誌保存(-o)使用-o選項，我們可以把sar統計信息保存到一個指定的文件，對於保存的日誌，我們可以使用-f選項讀取：linux:~ # sar -n DEV 1 10 -o sar.outlinux:
  • 用linux命令瀏覽網頁:用Wget命令來瀏覽網頁
    用linux命令瀏覽網頁:用Wget命令來瀏覽網頁 以下是在liux模式下用linux命令瀏覽網頁的方法，可以用linux命令：lynx，links瀏覽web，linux命令：lftp,wget,curl等上傳/下載軟體。
  • Linux用於顯示文件的more命令
    前言在linux中，常用的用於顯示文件內容的命令有：cat、more、less、head、tail。在前面的幾篇文章裡，我們已經介紹過tail的使用，tail和head使用起來一樣，一個是從後查看，一個是從頭查看。
  • Java:故障排查、JVM性能監控工具單
    異常堆棧、JVM運行日誌、垃圾回收日誌、線程快照、堆快照等。使用分析工具能提升咱們分析數據以及定位並解決問題的效率。常用命令JDK提供了一系列的用於監控、診斷Java進程的工具，它們在JDK安裝目錄``bin``目錄下，我們該如何使用它去得到有用的信息並分析系統問題以及性能瓶頸呢？下面詳細介紹。
  • Linux命令之文件搜索
    前言在linux最小安裝模式下，當我們登錄到一臺不是自己安裝的linux伺服器上時，有的時候我們需要知道某個軟體的安裝位置，例如：我們需要知道mysql安裝在哪個目錄下，那麼我們應該怎麼辦呢？這就用到了文件的搜索功能。
  • 命令行生存指南:拆分與合併|Linux 中國
    本文字數：2706，閱讀時長大約：3分鐘 作者：Psiace 作為一個工程師，我們經常與命令行打交道，但除了工作用的命令，你是否嘗試過讓命令來替代你生活中方方面面？
  • Linux教程之Linux mkdir 創建文件夾命令
    Linux教程之Linux mkdir 創建文件夾命令 Linux(Ubuntu/Fedora/CentOS/RetHat)可以通過GMONE和KDE界面直接創建文件夾和文件目錄。當然，有時候直接通過終端用 mkdir 命令來創建會更方便，特別是在Root權限的文件夾和目錄中......
  • 手把手教你定位常見Java性能問題
    概述性能優化一向是後端服務優化的重點，但是線上性能故障問題不是經常出現，或者受限於業務產品，根本就沒辦法出現性能問題，包括筆者自己遇到的性能問題也不多，所以為了提前儲備知識，當出現問題的時候不會手忙腳亂，我們本篇文章來模擬下常見的幾個Java性能故障，來學習怎麼去分析和定位。