read文件一個字節實際會發生多大的磁碟IO?

2021-02-19 PHP飯米粒

先講一個作者大約5-6年前我在某當時很火的一個應用分發創業公司的面試小插曲，該公司安排了一個剛工作1年多的一個同學來面我，聊到我們項目中的配置文件裡寫的一個開關，這位同學就跳出來說，你這個讀文件啦，每個用戶請求來了還得多一次的磁碟IO，性能肯定差。藉由這個故事其實我發現了一個問題，雖然我們中的大部分人都是計算機科班出身，代碼也寫的很遛。但是在一些看似司空見慣的問題上，我們中的絕大多數人並沒有真正理解，或者理解的不夠透徹。

不管你用的是啥語言，C/PHP/GO、還是Java，相信大家都有過讀取文件的經歷。我們來思考兩個問題，如果我們讀取文件中的一個字節：

是否會發生磁碟IO？

發生的話，Linux實際向磁碟讀取多少字節了呢？

為了便於理解問題，我們把c的代碼也列出來：

int main()  
{  
   char    c;  
   int     in;

   in = open("in.txt", O_RDONLY);
   read(in,&c,1);
   return 0;  
}

如果不是從事c/c++開發工作的同學，這個問題想深度理解起來確實不那麼容易。因為目前常用的主流語言，PHP/Java/Go啥的封裝層次都比較高，把內核的很多細節都給屏蔽的比較徹底。要想把上面的兩個問題搞的比較清楚，需要剖開Linux的內部來理解Linux的IO棧。

廢話不多說，我們直接把Linux IO棧的一個簡化版本畫出來：（官方的IO棧參考這個：http://www.ilinuxkernel.com/files/Linux.IO.stack_v1.0.pdf）

圖1 Linux硬碟IO棧

我們在前面也分享了幾篇文章討論了上圖圖中的硬體層，還有文件系統模塊。但通過這個IO棧我們發現，我們對Linux文件的IO的理解還是遠遠不夠，還有好幾個內核組件：IO引擎、VFS、PageCache、通用塊管理層、IO調度層等模塊我們並沒有了解太多。別著急，讓我們一一道來：

1. IO引擎

我們開發同學想要讀寫文件的話，在lib庫層有很多種函數可以選擇，比如read，write，mmap等。這事實上就是在選擇Linux提供的IO引擎。我們最常用的read、write函數是屬於sync引擎，除了sync，還有map、psync、vsync、libaio、posixaio等。sync，psync都屬於同步方式，libaio和posixaio屬於異步IO。

當然了IO引擎也需要VFS、通用塊層等更底層的支持才能實現。在sync引擎的read函數裡會進入VFS提供的read系統調用。

2. VFS虛擬文件系統

在內核層，第一個看到的是VFS。VFS誕生的思想是抽象一個通用的文件系統模型，對我們開發人員或者是用戶提供一組通用的接口，讓我們不用care具體文件系統的實現。VFS提供的核心數據結構有四個，它們定義在內核原始碼的include/linux/fs.h和include/linux/dcache.h中。

superblock：Linux用來標註具體已安裝的文件系統的有關信息

inode：Linux中的每一個文件都有一個inode，你可以把inode理解為文件的身份證

file：內存中的文件對象，用來保存進程和磁碟文件的對應關係

desty：目錄項，是路徑中的一部分，所有的目錄項對象串起來就是一棵Linux下的目錄樹。

圍繞這這四個核心數據結構，VFS也都定義了一系列的操作方法。比如，inode的操作方法定義inode_operations(include/linux/fs.h)，在它的裡面定義了我們非常熟悉的mkdir和rename等。

struct inode_operations {
               .
       int (*link) (struct dentry *,struct inode *,struct dentry *);
       int (*unlink) (struct inode *,struct dentry *);
       int (*mkdir) (struct inode *,struct dentry *,umode_t);
       int (*rmdir) (struct inode *,struct dentry *);
       int (*rename) (struct inode *, struct dentry *,
                       struct inode *, struct dentry *, unsigned int);
       .

在file對應的操作方法file_operations裡面定義了我們經常使用的read和write：

struct file_operations {
               .
       ssize_t (*read) (struct file *, char __user *, size_t, loff_t *);
       ssize_t (*write) (struct file *, const char __user *, size_t, loff_t *);
               .
       int (*mmap) (struct file *, struct vm_area_struct *);
       int (*open) (struct inode *, struct file *);
       int (*flush) (struct file *, fl_owner_t id);

3. Page Cache

在VFS層往下看，我們注意到了Page Cache。它的中文譯名叫頁高速緩存，是Linux內核使用的主要磁碟高速緩存，是一個純內存的工作組件，其作用就是來給訪問相對比較慢的磁碟來進行訪問加速。如果要訪問的文件block正好存在於Page Cache內，那麼並不會有實際的磁碟IO發生。如果不存在，那麼會申請一個新頁，發出缺頁中斷，然後用磁碟讀取到的block內容來填充它 ，下次直接使用。Linux內核使用搜索樹來高效管理大量的頁面。

如果你有特殊的需求想要繞開Page Cache，只要設置DIRECT_IO就可以了。有兩種情況需要繞開：

4. 文件系統

在我在之前的文章《新建一個空文件佔用多少磁碟空間？》、《理解格式化原理》裡討論的都是具體的文件系統。文件系統裡最重要的兩個概念就是inode和block，這兩個我們在之前的文章裡也都見過了。一個block是多大呢，這是運維在格式化的時候決定的，一般默認是4KB。

除了inode和block，每個文件系統還會定義自己的實際操作函數。例如在ext4中定義的ext4_file_operations和ext4_file_inode_operations如下：

const struct file_operations ext4_file_operations = {
       .read_iter      = ext4_file_read_iter,
       .write_iter     = ext4_file_write_iter,
       .mmap           = ext4_file_mmap,
       .open           = ext4_file_open,
       .
};

const struct inode_operations ext4_file_inode_operations = {
       .setattr        = ext4_setattr,
       .getattr        = ext4_file_getattr,
       .
};

5. 通用塊層

通用塊層是一個處理系統中所有塊設備IO請求的內核模塊。它定義了一個叫bio的數據結構來表示一次IO操作請求（include/linux/bio.h）。

那麼一次bio裡對應的IO大小單位是頁面，還是扇區呢？都不是，是段！每個bio可能會包含多個段。一個段是一個完整的頁面，或者是頁面的一部分，具體請參考這個（https://www.ilinuxkernel.com/files/Linux.Generic.Block.Layer.pdf）。

為什麼要搞出個段這麼讓人費解的東西呢？這是因為在磁碟中連續存儲的數據，到了內存Page Cache裡的時候可能內存並不連續了。這種狀況出現是正常的，不能說磁碟中連續的數據我在內存中就非得用連續的空間來緩存。段就是為了能讓一次磁碟IO能DMA到多「段」地址並不連續的內存中的。

一個常見的扇區/段/頁的大小對比如下圖：

圖2 Linux的頁/段/扇區的關係示例6. IO調度層

當通用塊層把IO請求實際發出以後，並不一定會立即被執行。因為調度層會從全局出發，儘量讓整體磁碟IO性能最大化。大致的工作方式是讓磁頭類似電梯那樣工作，先往一個方向走，到頭再回來，這樣磁碟效率會比較高一些。具體的算法有noop，deadline和cfg等。

在你的機器上，通過dmesg | grep -i scheduler來查看你的Linux支持的算法，並在測試的時候可以選擇其中的一種。

我們已經把Linux IO棧裡的各個內核組件都介紹一邊了。現在我們再從頭整體過一下讀取文件的過程

lib裡的read函數首先進入系統調用sys_read

在sys_read再進入VFS裡的vfs_read、generic_file_read等函數

在vfs裡的generic_file_read會判斷是否緩存命中，命中則返回

若不命中內核在Page Cache裡分配一個新頁框，發出缺頁中斷，

內核向通用塊層發起塊I/O請求，塊設備屏蔽了磁碟、U盤的差異

通用塊層把用bio代表的I/O請求放到IO請求隊列中

IO調度層通過電梯算法來調度隊列中的請求

驅動程序向磁碟控制器發出讀取命令控制，DMA方式直接填充到Page Cache中的新頁框

控制器發出中斷通知

內核將用戶需要的1個字節填充到用戶內存中

然後你的進程被喚醒

可以看到，如果Page Cache命中的話，根本就沒有磁碟IO產生。所以，大家不要覺得代碼裡出現幾個讀寫文件的邏輯就覺得性能會慢的不行。作業系統已經替你優化了很多很多，內存級別的訪問延遲大約是ns級別的，比機械磁碟IO快了2-3個數量級。如果你的內存足夠大，或者你的文件被訪問的足夠頻繁，其實這時候的read操作極少有真正的磁碟IO發生。

我們再看第二種情況，如果Page Cache不命中的話，Linux實際進行了多少個字節的磁碟IO。整個IO過程中涉及到了好幾個內核組件。 而每個組件之間都是採用不同長度的塊來管理磁碟數據的。

Page Cache是以頁為單位的，Linux頁大小一般是4KB（避免有大神挑刺，這裡說下Linux能設置大內存頁）

文件系統是以塊為單位來管理的。使用dumpe2fs可以查看，一般一個塊默認是4KB

通用塊層是以段為單位來處理磁碟IO請求的，一個段為一個頁或者是頁的一部分

IO調度程序通過DMA方式傳輸N個扇區到內存，扇區一般為512位元組

硬碟也是採用「扇區」的管理和傳輸數據的

可以看到，雖然我們從用戶角度確實是只讀了1個字節（開篇的代碼中我們只給這次磁碟IO留了一個字節的緩存區）。但是在整個內核工作流中，最小的工作單位是磁碟的扇區，為512位元組，比1個字節要大的多。另外block、page cache等高層組件工作單位更大，所以實際一次磁碟讀取是很多字節一起進行的。假設段就是一個內存頁的話，一次磁碟IO就是4KB（8個512位元組的扇區）一起進行讀取。

Linux內核中我們沒有講到的是還有一套複雜的預讀取的策略。所以，在實踐中，可能比8更多的扇區來一起被傳輸到內存中。

作業系統的本意是做到讓你簡單可依賴， 讓你儘量把它當成一個黑盒。你想要一個字節，它就給你一個字節，但是自己默默幹了許許多多的活兒。我們雖然國內絕大多數開發都不是搞底層的，但如果你十分關注你的應用程式的性能，你應該明白作業系統的什麼時候悄悄提高了你的性能，是怎麼來提高的。以便在將來某一個時候你的線上伺服器扛不住快要掛掉的時候，你能迅速找出問題所在。

我們再擴展一下，假如Page Cache沒有命中，那麼一定會有傳動到機械軸上的磁碟IO嗎？ 

其實也不一定，為什麼，因為現在的磁碟本身就會帶一塊緩存。另外現在的伺服器都會組建磁碟陣列，在磁碟陣列裡的核心硬體Raid卡裡也會集成RAM作為緩存。只有所有的緩存都不命中的時候，機械軸帶著磁頭才會真正工作。

偉大的分割線-


PHP飯米粒(phpfamily) 由一群靠譜的人建立，願為PHPer帶來一些值得細細品味的精神食糧！


飯米粒只發原創或授權發表的文章，不轉載網上的文章


所發的文章，均可找到原作者進行溝通。


也希望各位多多打賞（算作稿費給文章作者），更希望大家多多投稿。


投稿請聯繫：


shenzhe163@gmail.com


本文由  張彥飛allen  授權 飯米粒 發布，轉載請註明本來源信息和以下的二維碼（長按可識別二維碼關注）



相關焦點

  • 你了解文件緩存機制嗎?磁碟文件如何讀寫?Python中open函數詳解
    ，將文件位置移動到起始點後執行,讀取前10個字節內容f.read(10)>>>『psZUkBYZTc』寫文件對於寫文件操作，我們來看下面的例子假設我們不知道系統緩衝區到底有多大，我們能否利用程序來看下緩衝區中到底能寫入多少數據呢？思路我們知道，在文件寫入內容之前，使用fObj = open(filename, 'w')函數創建文件對象fObj，這一句執行後在本機會生成filename的文件，大小為0。
  • MySQL 引擎特性:InnoDB IO 子系統
    O_DIRECT模式表示後續對文件的操作不使用文件系統的緩存，用戶態直接操作設備文件，繞過了內核的緩存和優化，從另外一個角度來說，使用O_DIRECT模式進行寫文件，如果返回成功，數據就真的落盤了（不考慮磁碟自帶的緩存），使用O_DIRECT模式進行讀文件，每次讀操作是真的從磁碟中讀取，不會從文件系統的緩存中讀取。
  • Java Web安全 || Java基礎 · Java IO/NIO多種讀寫文件方式
    我們通常讀寫文件都是使用的阻塞模式，與之對應的也就是java.io.FileSystem。java.io.FileInputStream類提供了對文件的讀取功能，Java的其他讀取文件的方法基本上都是封裝了java.io.FileInputStream類，比如：java.io.FileReader。
  • Java【IO系列】基礎篇—1. IO框架
    整理也就是重新學習的過程，在這個學習過程中，我一直嘗試著站在一個更高的角度來看問題，將這些類和接口的原理和思想理解的更加透徹一些！1. java io簡介java io系統的設計初衷，就是為了實現「文件、控制臺、網絡設備」這些io設置的通信。例如，對於一個文件，我們可以打開文件，然後進行讀取和寫入。
  • 夯實Java基礎系列16:一文讀懂Java IO流和常見面試題
    比如，一次讀取一個字節是很慢的，所以可以從磁碟中一次讀取一大塊數據，然後從讀到的數據塊中獲取字節。為了實現緩衝，可以把InputStream包裝到BufferedInputStream中。這篇文章不會對每一個技術細節都做出解釋，而是會針對文件存取的方法提供給你一些必要的知識點。在之後的文章中，將會更加詳細地描述這些方法或者類，包括方法示例等等。
  • io_submit:Linux內核新加入的epoll替代方案
    Linux AIO用於將異步磁碟IO暴露給用戶空間。在Linux上所有磁碟操作都是阻塞的。無論是open()，read()，write()還是fsync()，如果所需要的數據和元數據還沒有在磁碟緩存準備好，則線程就會掛住。通常這不是問題。如果做少量的IO操作或者內存足夠大，則磁碟syscall會逐漸填充高速緩存，這樣整體來說速度還是會很快。
  • Java【IO系列】基礎篇—16. PrintWriter和RandomAccessFile詳解
    c雖然是int類型，但實際只會寫入一個字符 public void write(int c) { try { synchronized (lock) { ensureOpen(); out.write(c); }
  • Java之字節輸入流InputStream的簡單介紹
    java.io.InputStream:字節輸入流，此抽象類是表示字節輸入流的所有類的超類。定義了所有子類共性的方法：1.int read()從輸入流中讀取數據的下一個字節。java.io.FileInputStream extends InputStream,FileInputStream：文件字節輸入流，作用：把硬碟文件中的數據，讀取到內存中使用。
  • Java文件的簡單讀寫、隨機讀寫、NIO讀寫與使用MappedByteBuffer讀寫
    當然，我們還可以一個字節一個字節的讀取，如下代碼所示。正如SocketChannel是客戶端與服務端通信的通道，FileChannel就是我們讀寫文件的通道。FileChannel是線程安全的，也就是一個FileChannel可以被多個線程使用。對於多線程操作，同時只會有一個線程能對該通道所在文件進行修改。如果需要確保多線程的寫入順序，就必須要轉為隊列寫入。
  • 關於java用字節流和字符流讀取文件的各種情況
    ，後來發現是在用字符流和字節流在讀取各種文件上的差別所導致的。java讀取文件的方式1.字節流讀取：InputStream和OutPutStream，其讀取的方式按字節讀取，這個常用於讀取原始數據。2.字符流讀取：Reader和Writer，按字節讀取數據，java裡面一個字符對應兩個字節。
  • 使用Golang操作文件的那些事兒
    Os模塊的使用與源碼研究文件：計算機中的文件是存儲在外部介質（通常是磁碟）上的數據集合，文件分為文本文件和二進位文件。
  • python讀寫文件
    今天我們就以這幾個需求為背景來看看python是如何讀寫文件的。基本概念介紹我們知道python中一切都是對象，「文件」也不例外。下面的實驗可以看出文件是名叫『_io.TextIOWrapper』的class。
  • JNI 探秘 — FileInputStream 的 read 方法詳解
    JNIEXPORT jint JNICALLJava_java_io_FileInputStream_read(JNIEnv *env, jobject this) {    return readSingle(env, this, fis_fd);//每一個本地的實例方法默認的兩個參數，JNI環境與對象的實例} JNIEXPORT
  • Java【IO系列】基礎篇—6. FileInputStream和FileOutputStream詳解
    FileInputStream 和 FileOutputStream 介紹FileInputStream 是文件輸入流，它繼承於InputStream。通常，我們使用FileInputStream從某個文件中獲得輸入字節。FileOutputStream 是文件輸出流，它繼承於OutputStream。
  • Ext2文件系統磁碟布局與管理
    概述Ext2文件系統將磁碟劃分為大小相等的邏輯塊進行管理，其默認大小是4KB（不做特殊說明，本文後續內容都採用該默認值）。文件系統邏輯塊的大小在格式化的時候可以指定的。文件系統將磁碟劃分為邏輯塊就好像一個大廈劃分為若干個房間，或者超市規劃為若干貨架一樣。同時為了便於管理和避免訪問衝突，其將若干個邏輯塊組成一個大的邏輯塊，稱為塊組（Block Group）。
  • 「GCTT 出品」對 Go 中長時間運行 io.Reader 和 io.Writer 的操作...
    首發於：https://studygolang.com/articles/12547每當我們在使用類似 io.Copy 和 ioutil.ReadAll 的工具時，比如我們正在從 http.Response 主體讀入或者上傳一個文件，我們會發現這些方法將一直堵塞，直到整個過程完成，哪怕耗時數十分鐘甚至是小時——而且我們沒有辦法來查看進度
  • Go 讀取文件方式那麼多,到底應該用哪一種呢?
    read1函數使用的是os庫對文件進行直接操作，為了確定確實都到了文件內容，並將讀到的大小字節數返回。函數使用的是bufio庫，操作NewReader對文件進行流式處理，和前面一樣，為了確定確實都到了文件內容，並將讀到的大小字節數返回。
  • 在程序中如何正確地創建和銷毀軟體應用系統中文件IO流對象實例
    軟體項目實訓及課程設計指導——如何正確地創建和銷毀軟體應用系統中文件IO流對象實例1、Java文件輸入輸出（讀寫）相關的技術基礎知識（1）流（Stream）它是通過緩衝機制將數據從生產者（如鍵盤、磁碟文件、內存或其他設備
  • Java 非阻塞 IO 和異步 IO
    NIO.2 異步 IOMore New IO，或稱 NIO.2，隨 JDK 1.7 發布，包括了引入異步 IO 接口和 Paths 等文件訪問接口。異步這個詞，我想對於絕大多數開發者來說都很熟悉，很多場景下我們都會使用異步。通常，我們會有一個線程池用於執行異步任務，提交任務的線程將任務提交到線程池就可以立馬返回，不必等到任務真正完成。