本文轉載自【微信公眾號:五角錢的程式設計師,ID:xianglin965】經微信公眾號授權轉載,如需轉載與原文作者聯繫
Linux 網絡協議棧是根據 TCP/IP 模型來實現的,TCP/IP 模型由應用層、傳輸層、網絡層和網絡接口層,共四層組成,每一層都有各自的職責。
應用程式要發送數據包時,通常是通過 socket 接口,於是就會發生系統調用,把應用層的數據拷貝到內核裡的 socket 層,接著由網絡協議棧從上到下逐層處理後,最後才會送到網卡發送出去。
而對於接收網絡包時,同樣也要經過網絡協議逐層處理,不過處理的方向與發送數據時是相反的,也就是從下到上的逐層處理,最後才送到應用程式。
網絡的速度往往跟用戶體驗是掛鈎的,那我們又該用什麼指標來衡量 Linux 的網絡性能呢?以及如何分析網絡問題呢?
這次,我們就來說這些。
性能指標有哪些?
通常是以 4 個指標來衡量網絡的性能,分別是帶寬、延時、吞吐率、PPS(Packet Per Second),它們表示的意義如下:
帶寬,表示鏈路的最大傳輸速率,單位是 b/s (比特 / 秒),帶寬越大,其傳輸能力就越強。延時,表示請求數據包發送後,收到對端響應,所需要的時間延遲。不同的場景有著不同的含義,比如可以表示建立 TCP 連接所需的時間延遲,或一個數據包往返所需的時間延遲。吞吐率,表示單位時間內成功傳輸的數據量,單位是 b/s(比特 / 秒)或者 B/s(字節 / 秒),吞吐受帶寬限制,帶寬越大,吞吐率的上限才可能越高。PPS,全稱是 Packet Per Second(包 / 秒),表示以網絡包為單位的傳輸速率,一般用來評估系統對於網絡的轉發能力。當然,除了以上這四種基本的指標,還有一些其他常用的性能指標,比如:
網絡的可用性,表示網絡能否正常通信;並發連接數,表示 TCP 連接數量;丟包率,表示所丟失數據包數量佔所發送數據組的比率;重傳率,表示重傳網絡包的比例;你可能會問了,如何觀測這些性能指標呢?不急,繼續往下看。
網絡配置如何看?
要想知道網絡的配置和狀態,我們可以使用
ifconfig
或者
ip
命令來查看。
這兩個命令功能都差不多,不過它們屬於不同的軟體包,
ifconfig
屬於
net-tools
軟體包,
ip
屬於
iproute2
軟體包,我的印象中
net-tools
軟體包沒有人繼續維護了,而
iproute2
軟體包是有開發者依然在維護,所以更推薦你使用
ip
工具。
學以致用,那就來使用這兩個命令,來查看網口
eth0
的配置等信息:
雖然這兩個命令輸出的格式不盡相同,但是輸出的內容基本相同,比如都包含了 IP 地址、子網掩碼、MAC 地址、網關地址、MTU 大小、網口的狀態以及網路包收發的統計信息,下面就來說說這些信息,它們都與網絡性能有一定的關係。
第一,網口的連接狀態標誌。其實也就是表示對應的網口是否連接到交換機或路由器等設備,如果
ifconfig
輸出中看到有
RUNNING
,或者
ip
輸出中有
LOWER_UP
,則說明物理網路是連通的,如果看不到,則表示網口沒有接網線。
第二,MTU 大小。默認值是
1500
字節,其作用主要是限制網絡包的大小,如果 IP 層有一個數據報要傳,而且數據幀的長度比鏈路層的 MTU 還大,那麼 IP 層就需要進行分片,即把數據報分成乾片,這樣每一片就都小於 MTU。事實上,每個網絡的鏈路層 MTU 可能會不一樣,所以你可能需要調大或者調小 MTU 的數值。
第三,網口的 IP 地址、子網掩碼、MAC 地址、網關地址。這些信息必須要配置正確,網絡功能才能正常工作。
第四,網路包收發的統計信息。通常有網絡收發的字節數、包數、錯誤數以及丟包情況的信息,如果
TX
(發送) 和
RX
(接收) 部分中 errors、dropped、overruns、carrier 以及 collisions 等指標不為 0 時,則說明網絡發送或者接收出問題了,這些出錯統計信息的指標意義如下:
errors表示發生錯誤的數據包數,比如校驗錯誤、幀同步錯誤等;dropped表示丟棄的數據包數,即數據包已經收到了 Ring Buffer(這個緩衝區是在內核內存中,更具體一點是在網卡驅動程序裡),但因為系統內存不足等原因而發生的丟包;overruns表示超限數據包數,即網絡接收/發送速度過快,導致 Ring Buffer 中的數據包來不及處理,而導致的丟包,因為過多的數據包擠壓在 Ring Buffer,這樣 Ring Buffer 很容易就溢出了;carrier表示發生 carrirer 錯誤的數據包數,比如雙工模式不匹配、物理電纜出現問題等;collisions表示衝突、碰撞數據包數;
ifconfig
和
ip
命令只顯示的是網口的配置以及收發數據包的統計信息,而看不到協議棧裡的信息,那接下來就來看看如何查看協議棧裡的信息。
socket 信息如何查看?
我們可以使用
netstat
或者
ss
,這兩個命令查看 socket、網絡協議棧、網口以及路由表的信息。
雖然
netstat
與
ss
命令查看的信息都差不多,但是如果在生產環境中要查看這類信息的時候,儘量不要使用
netstat
命令,因為它的性能不好,在系統比較繁忙的情況下,如果頻繁使用
netstat
命令則會對性能的開銷雪上加霜,所以更推薦你使用性能更好的
ss
命令。
從下面這張圖,你可以看到這兩個命令的輸出內容:
可以發現,輸出的內容都差不多, 比如都包含了 socket 的狀態(State)、接收隊列(Recv-Q)、發送隊列(Send-Q)、本地地址(Local Address)、遠端地址(Foreign Address)、進程 PID 和進程名稱(PID/Program name)等。
接收隊列(Recv-Q)和發送隊列(Send-Q)比較特殊,在不同的 socket 狀態。它們表示的含義是不同的。
當 socket 狀態處於
Established
時:
Recv-Q表示 socket 緩衝區中還沒有被應用程式讀取的字節數;Send-Q表示 socket 緩衝區中還沒有被遠端主機確認的字節數;而當 socket 狀態處於
Listen
時:
Recv-Q表示全連接隊列的長度;Send-Q表示全連接隊列的最大長度;在 TCP 三次握手過程中,當伺服器收到客戶端的 SYN 包後,內核會把該連接存儲到半連接隊列,然後再向客戶端發送 SYN+ACK 包,接著客戶端會返回 ACK,服務端收到第三次握手的 ACK 後,內核會把連接從半連接隊列移除,然後創建新的完全的連接,並將其增加到全連接隊列 ,等待進程調用
accept()
函數時把連接取出來。
半連接隊列與全連接隊列
也就說,全連接隊列指的是伺服器與客戶端完了 TCP 三次握手後,還沒有被
accept()
系統調用取走連接的隊列。
那對於協議棧的統計信息,依然還是使用
netstat
或
ss
,它們查看統計信息的命令如下:
ss
命令輸出的統計信息相比
netsat
比較少,
ss
只顯示已經連接(estab)、關閉(closed)、孤兒(orphaned) socket 等簡要統計。
而
netstat
則有更詳細的網絡協議棧信息,比如上面顯示了 TCP 協議的主動連接(active connections openings)、被動連接(passive connection openings)、失敗重試(failed connection attempts)、發送(segments send out)和接收(segments received)的分段數量等各種信息。
網絡吞吐率和 PPS 如何查看?
可以使用
sar
命令當前網絡的吞吐率和 PPS,用法是給
sar
增加
-n
參數就可以查看網絡的統計信息,比如
sar -n DEV,顯示網口的統計數據;sar -n EDEV,顯示關於網絡錯誤的統計數據;sar -n TCP,顯示 TCP 的統計數據比如,我通過
sar
命令獲取了網口的統計信息:
它們的含義:
rxpck/s和txpck/s分別是接收和發送的 PPS,單位為包 / 秒。rxkB/s和txkB/s分別是接收和發送的吞吐率,單位是 KB/ 秒。rxcmp/s和txcmp/s分別是接收和發送的壓縮數據包數,單位是包 / 秒。對於帶寬,我們可以使用
ethtool
命令來查詢,它的單位通常是
Gb/s
或者
Mb/s
,不過注意這裡小寫字母
b
,表示比特而不是字節。我們通常提到的千兆網卡、萬兆網卡等,單位也都是比特(bit)。如下你可以看到, eth0 網卡就是一個千兆網卡:
$ ethtool eth0 | grep SpeedSpeed: 1000Mb/s
連通性和延時如何查看?
要測試本機與遠程主機的連通性和延時,通常是使用
ping
命令,它是基於 ICMP 協議的,工作在網絡層。
比如,如果要測試本機到
192.168.12.20
IP 地址的連通性和延時:
顯示的內容主要包含
icmp_seq
(ICMP 序列號)、
TTL
(生存時間,或者跳數)以及
time
(往返延時),而且最後會匯總本次測試的情況,如果網絡沒有丟包,
packet loss
的百分比就是 0。
不過,需要注意的是,
ping
不通伺服器並不代表 HTTP 請求也不通,因為有的伺服器的防火牆是會禁用 ICMP 協議的。