PCIe SSD背後的史詩5

作者： 石璟鑫

 

史上最全面SSD測試！

想要和石璟鑫還有全世界的大牛討論SSD及存儲相關技術？加nanoarch為微信好友，拉你進ssdfans微信群 。 

‍歡迎給ssdfans投稿，投稿就能加入ssdfans作者群，和冬瓜哥，蛋蛋等大咖切磋武藝，還有稿酬拿。

測試

 

注意事項：

 

首先，還是那個老生常談的問題：什麼是性能？

 

相當多的小白都是閉著眼跑分，懂的稍微多點的知道要看跑分裡的」4K性能」。這是一個非常大眾化的誤區。問題何在？其實這種粗暴的方式問題相當多，我列舉其中幾個比較明顯的：

 

1.一致性問題：一般跑分會給出紅色框子裡的峰值性能，而實際使用中你可能會經常體驗到藍色框子內的最低值。而由於應用程式本身和等待其他硬體的延遲使得平均值和最大值往往是過剩的，真正影響體驗的往往是低性能的那段。對於桌面與工作站應用，」不慢不卡」比」最快能跑多快」更加重要。

 

 

2.延遲：ASSSD這種爆發跑分軟體給出的延遲非常不準確，並且也沒告訴你具體是什麼情況下的延遲。實際上很多比較差的SSD在複雜情況下延遲可以達到數秒鐘，影響體驗不說，這又可能使軟體內部timeout，像滾雪球一般造成更大的問題。顯然在桌面或工作站應用中，我們關注的是操作以後多長時間能處理完畢，而不是單純的一次能處理幾十萬條指令這個數字吧。

 

3.隊列深度（QD, QueueDepth）：桌面及工作站應用雖然很少有數據伺服器那樣持續的高QD操作，但是負載往往是集中在短時間內發生。在程序加載數據過程中隊列深度絕不可以簡單粗暴地用QD1（ASSSD中4K那一欄就是4KQD1性能）來描述。實際上在Raid0等情形中，雖然隨機QD=1性能基本不變，但是QD≥2的情況就有一定提升了。

 

4.穩定態：SSD會在其應用環境下達到一種叫」穩定態」的狀態。在一個應用環境下SSD的性能隨著時間會逐漸變化到一個極限狀態，這個極限就是穩定態（由於離散誤差的存在，這個極限是可以達到的）。這才是SSD真正使用中的狀態。雖然桌面情況下這個問題沒有伺服器中那麼明顯，但是這也是一個不能忽視的因素。顯然這個因素在爆發跑分裡完全涉及不到，就算之後人為測量也很難正確評估，因為它根本不會給你速度曲線。

 

這是Tom’s hardware給出的一段說明：

 

 

總之，我們要測試的是」性能」，而不是」跑分」。要的是衡量硬碟的真實性能，而不是娛樂。

 

另一個問題就是，可能會有人反映，某SSD別人測出來IOPS為什麼比你高几倍？這並不是測試方法出了差錯，而是故意為之。國外很多評測站都只去測RAW性能，也就是沒有文件系統的時候跑出來的成績。從某種程度上而言這種方法顯然忽視了實際使用中必然會接觸的一個因素。曾經看過一些SSD，在RAW下跑的曲線很漂亮，分區格式化後基本就是廢物了。。。測試為的是為評價實際使用性能而做，並不只是為了跑出來好看；我們要看硬碟在實際環境中能表現出多少性能，而不是它們能跑出多高的成績。所以本次測試由於面向桌面與工作站應用，會在測試時將磁碟格式化為NTFS，並且按照美光給出的SSD測試規範進行」Precondition」處理。這些均在IOmeter中進行。

 

 

參測產品：

 

Sandisk Lightning LP406M 400GB (SAS to PCI-e)

Sandisk A110 256GB (Native PCI-e AHCI)

LSI Warpdrive NWD-RLP-1860 1.86TB (SAS to PCI-e 4xSF2582 R0)

Micron P420m 700GB/1.4TB (Native PCI-e AHCI)

Samsung SM951 256GB(包括Raid0)(Native PCI-e NVMe)

Intel 750 1.2TB (Native PCI-e NVMe)

Intel DC P3605 1.6TB(Native PCI-e NVMe)

HGST He6 6TB 充氦機械硬碟

各種以往的SATA SSD

 

測試環境：

 

CPU：Intel E5-2698B v3 @2.0GHz Turbo 2.4-3.4GHz

主板：華碩 X99-M WS

內存：海盜船 Dominator Platinum 2666C16 8GBx4 @2133 15-15-15-362T

顯卡：AMD Firepro W7100 8GB

作業系統：Windows7 64bit

文件系統：NTFS

驅動程序：(廠商提供)

測試軟體：IOMeter 1.1

數據類型：Pseudo Random

 

測試方法：

1.使用IOMeter測試各項峰值與穩定態性能；

2.記錄並分析延遲特徵；

3.實景測試，進行實際操作環境中的測試並記錄等待時間。

 

測試中的名詞解釋：

IOPS：每秒處理的I/O指令數量，也就是吞吐量。它可以和帶寬（MB/s）進行簡單的換算，比如隨機讀取，IOPS為10240，每一個請求的大小是4KB，那麼其帶寬就是4KB×10240=40MB/s，也就是常說的asssd中的」4k」性能，又如連續讀取2IOPS，每個請求大小為1GB，那麼其連續讀取帶寬為2GB/s。

隊列深度（QD,QueueDepth）：所有讀、寫指令都會被放在一個隊列裡，由SSD從隊列裡提取出來完成。如QD256代表每個時間點同時有256個指令在隊列中。

穩定態：SSD在一個環境中長時間工作後達到穩定狀態。對於寫入，SSD往往會在寫一段時間後性能突然下降後趨於穩定，而對於讀取，SSD性能往往一直保持在一個水平上下浮動。

OP（Over Provisioning）：即將SSD留出一部分空間用以優化性能、提供數據保護等。空間的大小設有出廠值，也可以手動給出。

 

峰值性能測試：

連續讀寫性能趨勢：

 

 

讀取性能方面，最搶眼的是美光P420m，畢竟標稱3300MB/s也是最高的。請求大小2MB時三星SM951 Raid0有個突然的提升，達到了類似intel方案的帶寬。LSI warpdrive中規中矩，很符合4塊sata盤加起來的帶寬，閃迪Lightning由於只有一個子盤，性能也和之前的sata硬碟差不多。這裡也能看出，具有XOR、RAIN、RAISE等技術的盤在請求較小的時候性能沒有不帶這種校驗功能的盤帶寬大，因為具有這種設計的盤再小的請求都需要同時讀取一個固定大小校驗信息。

 

寫入性能方面類似，不過intel P3605現在成了寫入帶寬最高的。這時三星SM951及其Raid0方案性能出現了一些不穩定狀況。P420m則下降到較低的水平。

 

不過不論是讀取還是寫入，由於PCI-e帶寬優勢，原先的sata硬碟都是無法一戰的，機械硬碟也一直是墊底。另外注意，「4K性能」是一種非常不嚴謹的說法，其不一定代表隨機性能，處理連續的4KB大小的讀寫請求的性能也可以稱之為4K性能。

 

隨機讀寫性能趨勢：

讀取測試中仍然是P420m最優，得益於其霸氣的32通道主控。Intel和三星緊隨其後。

 

寫入測試，三星SM951 Raid0取得最高分。Intel方案只能屈居第二，畢竟其各種數據校驗步驟需要付出一定的性能代價。然而三星在此測試中出現了不穩定的狀況，測試多次才找到一次曲線比較正常的，不論在轉接卡、華碩主板還是華擎ultra M2上。

 

可以說在峰值隨機性能方面，家用級並不差，sata SSD也不是像想像中那麼不堪一擊。另外在隊列深度稍高的時候，Raid也是可以增加其隨機性能的。

 

混合讀寫測試IOPS及延遲（80:20讀：寫）：

 

 

在這種稍微複雜一點的情況下，固件編寫的水平差距出來了。Intel方案一騎絕塵，不管是IOPS還是延遲都遠遠領先其他產品。這裡也可以發現一個問題：不是使用PCI-e、NVMe的SSD延遲就一定低。使用sata通道AHCI協議的DCS3700延遲性能仍然屬於第一梯隊中；而SM951單盤的情況下出現了更嚴重不穩定的狀況。至於機械硬碟，當他死了就好。

 

這種狀況已經很複雜了？不，我們還有更可怕的。

 

穩定態性能統計：

 

首先是隊列深度為1的隨機讀取性能。我們記錄下1000秒內速度的變化曲線。

 

 

美光P420m與P3605屬於第一個層次，750緊隨其後。它們的性能都非常穩定。三星SM951性能波動較大，但是仍然在一個比較高的層次。值得注意的是老將DC S3700（淺綠色線條），雖然是sata通道但是仍然性能不俗。

 

我們看看延遲變化趨勢：

 

 

SSD的延遲大部分都在10ms以內，包括SATA通道的。機械硬碟其實也不算太差。但是在10ms以上仍然浮著一些較高延遲的點，其中大部分是SM951 Raid0的，也有少數Warpdrive的，甚至高過機械硬碟的平均延遲。畢竟Raid0會對延遲性能有一定影響，而SM951目前看本身性能就不是那麼一致。

 

另外，這也說明了為什麼一些人仍然認為機械和SSD用起來差不多。人對正常的高速的狀態不那麼敏感，但是系統一旦出現卡頓則很容易被發現。SSD性能一致性問題產生的高延遲恰巧容易被發現。

 

隊列深度為1的隨機寫入性能：

 

進入寫入穩定態以後，差別就出來了。很多優秀的SATA硬碟甚至處於領先狀態，而PCI-e接口並不能讓SSD在這上面獲取優勢。在這種狀態下，SSD必須在寫入的同時進行垃圾回收，同時保證每一個指令完成的時間可控。這就純考驗SSD自己的素質了。三星SM951性能波動還是很大的，但是Raid0之後穩定了下來。

 

另外，P3605甚至沒法進入穩定態，由於其巨大的OP容量造成的性能優勢，將寫入時間增加到5000秒仍然沒有性能下滑。其隊列深度1就是菜13，我要打10個。

 

延遲趨勢：

 

 

分化很明顯，在刻度50ms的坐標系下，好的硬碟延遲非常貼近0，素質一般的甚至沒有到穩定態延遲都可以超過100ms達到人可以輕鬆感知的範圍，甚至超過機械硬碟的延遲，包括閃迪A110簡直是PCIe界的恥辱。。。SATA SSD表現仍然不差，但是最值得稱讚的是三星SM951，雖然仍然不是很理想，但是終於消除了840pro時代漫天飛舞的高延遲。

 

隊列深度32的隨機讀取性能：

 

 

沒太多可說的，和QD1的情況差不多。我們看看延遲變化趨勢：

 

 

在如此多的並發指令下，機械硬碟已經飄走了。。。

 

SM951單盤變得慘不忍睹，仍然是Raid0拯救了它，讓延遲穩下來。Warpdrive也有一些個別的高延遲，不過都在30ms以內，對人來說很難感受到。

 

接下來是SSD的噩夢：隊列深度32的隨機寫入測試。測試進行5000秒，以極大的壓力壓榨SSD的性能。

 

差距被拉大。Intel DC P3605仍然是一個神一般的存在，高出第二名接近一倍，而且還在測試過程中不斷優化自己的性能。LSI Warpdrive也展示出SF主控4盤陣列應有的性能。而三星仍然是相當熟悉的性能下降，不過至少IOPS穩定住了，比上一代具有很大的進步。三星終於開始不再專業進行爆發跑分，肯在一致性上下功夫了。（此處圖請腦補）

 

美光P420m則出現了很奇特的性能變化表現。其沒有峰值狀態，在初始化的低速後一直穩定，之後進入限速狀態。對比RAW下的測試，美光出現這種狀況的原因可能是其對NTFS系統的支持並不是那麼友好。

 

另外，其實sata組的性能也還算不錯，同樣的規模上不輸於PCI-e。

 

延遲趨勢：

 

 

當任務的複雜度上去以後，100ms附近的延遲也就司空見慣了。當然，也有應付的柔韌有餘的P420m P3605和750，Warpdrive的表現也不差，保持在50ms以內。但是SM951的延遲明顯出現了分層，大概分出來7層外加一些散點，這與主控8個通道不謀而和，表現出了SSD不同時間的不同佔用狀態。

 

當然，這裡有一個關鍵因素：OP容量。這就是OP容量的第二個重要作用：增加穩定態寫入性能。之前說過，SSD在穩定態中必須在處理指令的同時進行垃圾回收。SSD主控是很苦的，不僅要考慮什麼地方可以刪什麼地方不能刪，而且要把不能刪的東西挪動位置才能進行擦除操作（寫入的單位page比擦除的單位block細得多），還要考慮怎麼排列這些數據增加耐久，更要考慮每一筆任務的交期不能長。。。更多的可用空間會讓可整理的餘地更大。穩定態寫入性能與OP容量直接相關。

 

我們把所有盤的OP容量都放到一個水平，然後再進行這個測試：

 

 

現在，SM951的性能分裂成2個狀態，高性能狀態和intel DC P系列性能差不多，低性能狀態則相當低。這種特點在家用級SSD中非常常見，反映了SSD是否在佔用通道進行GC，但是在要求比較高的環境中性能的大幅波動是致命的。三星在一致性/QoS上還有很長的路要走。

 

你以為隊列深度32（QD32）就結束了？不，因為NVMe協議在隊列上的改良，我們將隊列深度設置到256測試其讀寫性能。

 

首先是QD256讀取。

 

 

提升最明顯的就是SM951，由於採用了NVMe協議，性能甚至趕上了P420m。緊隨其後的P3605則是有一個初始化性能提升過程。而對於通道數又少又沒有NVMe的閃迪Lightning來說，QD256和QD32在吞吐量上並沒有多少區別。

 

延遲趨勢：

 

 

對於閃迪Lightning來說，更多的並發指令只能變成累贅。其延遲相對QD32時有所增加。忍受不住壓力的Warpdrive也更加頻繁地出現高延遲點。規格強悍的P420m以及採用NVMe的P3605、SM951則仍然具有優秀的讀取延遲表現。

 

QD256隨機寫入性能：

 

 

相對於QD32的情況，由於更多的指令使得強大的規格得以發揮，Warpdrive、P420m、DC P3605和750系列都有一定的提升。其他的則老老實實地待在低性能的範圍內。畢竟，只有8個通道的情況下，不管有沒有NVMe，吞吐量也就那樣了。

 

延遲趨勢：

 

 

指令數量更多對吞吐量是好事，但是對於延遲來說，它可能會造成災難性的後果。在隊列深度達到256時，每一顆硬碟的延遲都有不同程度的增加。然而優秀的SSD畢竟優秀，美光P420m和Intel DC P3605在初始化以後仍然將延遲限制在50ms以內，LSI Warpdrive也不差。閃迪Lightning則輕鬆上百。更要命的是三星SM951，畫面太美不敢看。。。

 

同樣的，我們將OP容量放到同一個水平，再次進行測試。

 

 

將SM951的OP放大以後，和QD32的情況類似，IOPS出現了分層。我們看看延遲：

 

 

SM951及其Raid0的延遲得到了很大程度的改善。雖然經常達到100-150ms以上這個人容易感知到的區間，但是至少不是200保底，雖然能感覺到，但是並不會造成嚴重的卡頓。

 

如果散點圖看不清，請下載原測試統計excel文檔：

連結：http://pan.baidu.com/s/1kVKyYjl 密碼：ji7s

 

延遲統計：

 

我們不妨換一個角度，看看這些測試中都出現了多少次不同長度的延遲？

 

測試中將較高的延遲分為多個區段，看落在每一個區段內的數量。當然，越高的延遲數量越少越好。

 

QD1隨機讀取延遲分布：

 

 

只有QD1的話，大家的延遲都還可以，沒有超過50ms的。

 

QD1隨機寫入延遲分布：

 

 

這時，大家就有點」擦邊」了。有一些硬碟出現了大於100ms的延遲。不要談840pro的4.7秒延遲，那是黑歷史。。。

 

QD32隨機讀取延遲分布：

 

SM951單盤的延遲開始變壞，但是Raid0仍然能hold住它。

 

QD32隨機寫入延遲分布：

 

 

有4塊盤開始出現200ms以上的延遲。SM951比840pro的情況好得多。然而intel的表現令人咋舌，在別的盤出現」危機」的時候，intel全家，不管是sata還是PCI-e接口，都具有相當低的延遲，30ms以上的延遲僅有S3700出現過24次。要知道總體樣本容量有幾百萬。。。

 

QD256隨機讀取延遲分布：

 

 

Warpdrive開始出現較高的延遲，intel和三星方案表現良好。比較特殊的是美光P420m。之前在曲線圖上有些朋友會注意到，P420m在安全擦除後達到穩定性能之前會有一個」預熱」階段，這個階段中IOPS較低、延遲較高。不過就算是」較高」的延遲，也都在100ms以內的安全範圍內。

 

QD256隨機寫入延遲分布：

 

 

很多盤開始出現100ms以上的延遲。但是如果不算美光的預熱時間，美光P420m和Intel DC P3605延遲性能仍然堅挺。750則處於」卡線」狀態，雖然沒有太高的延遲但是30ms以上延遲還是不少的。具有成為強者的實力的才能被稱為強者，駑馬再怎麼標榜也不會被伯樂看上，這就是目前企業級市場的現狀。

 

實景測試：

 

對於桌面應用的實際應用情景，我們選幾種進行實際測試。注意，這些測試都是峰值性能測試，並沒有考慮到SSD的性能衰減。

 

Windows啟動時間（不包括自檢）：

 

由於win7目前的NVMe驅動問題，採用NVMe協議的硬碟目前沒有什麼優勢。橋接的盤更慢。不過最快和最慢相差僅在一秒左右。

 

雖然測試中成績最好的是S3500，但是在較複雜的或者有一定使用時間的系統中，如tom’s hardware的伺服器啟動測試中，DC P系列可以比DC S系列快上20秒（44.5s與64.8s）。

 

3dsmax 2015啟動時間：

 

 

其實3dsmax加載過程中硬碟讀取的內容並不算多，更多的時間用於初始化各種插件與顯卡等硬體。隨著SSD性能的增加我們看到性能只有百分之十幾的提升。

 

Photoshop CS5啟動時間：

 

 

這裡我們就能看到一些提升了。不過PS的軟體執行效率也並不高，更多的時候只是等待。

 

星球大戰：前線」恩多生存」地圖讀取時間：

 

 

目前畫質最好的遊戲之一。雖然說這種大型遊戲在加載的時候更多是顯卡的工作，但是SSD之間的差距也被拉開了。第一隊包括P420m、P3605與Warpdrive這三個連續讀取性能較高的硬碟，但是SM951 Raid0卻相對弱一些。這點之後會分析。

 

好SSD對優化得當的應用和硬碟性能佔比較多的應用是有很大提升的。它可以讓人感受到與機硬碟械到SSD程度接近的提升，不過前提是，它真的是一塊好SSD。

 

星球大戰：帝國戰爭Mod」盟軍v7.0B」讀取時間：

 

這就是典型的老遊戲，更是老引擎+一大堆mod/dlc的代表。由於軟體執行效率實在太差，硬碟之間拉不開差距。

 

高速點擊測試：

 

測試使用了一些常用的小軟體，將其移動到各個硬碟上，使用櫻桃DG4微動以最快的手速依此點擊每一個程序並重複3次。使用按鍵記錄軟體記錄操作，使用秒表測量所有程序都啟動需要的時間，以測硬碟的響應速度。

 

 

可以說這裡的SSD基本都一樣。手速和系統延遲佔主導地位。SSD造成的」系統響應速度」的差別是不存在的。然而在其他軟體如瀏覽器中則是另一種情況。

 

掉電保護測試：

 

CPU-z保存認證文件後立即切斷電源，看重啟後這些文件能否仍然通過認證。結果也很明顯，具有掉電保護的硬碟都能保住這最後一筆數據。這在極限超頻中還是很重要的。個別朋友表示好不容易留下來的認證和截圖重啟以後就沒有了，在系統不穩定的時候，SSD很可能來不及更新映射表或回寫數據。

 

 

那我們究竟該如何評價一塊SSD的性能呢？且聽下回分解。

不想錯過石璟鑫的後續精彩文章？長按或掃描下面二維碼關注ssdfans就可以了！

ssdfans微信群介紹。

四個免費技術討論群：ssdfans（已滿），ssdfans大咖（已滿），ssdfans精英（已滿），ssdfans大蝦群，這四個群覆蓋了中國和世界華人圈SSD以及相關存儲行業的技術精英，行業大牛，還有各路攻城獅

以及下面各種專業討論群，質量較高，一次性收費50，學生半價。

ssdfans銷售群：買賣消費級，企業級SSD，NAND Flash都可以在這裡找到人

ssdfans快閃記憶體器件群：專門討論快閃記憶體器件和各種新的NVM器件，裡面有各大NAND廠商的技術大牛

ssdfans企業級：討論企業級SSD

ssdfans消費級：討論消費級SSD

ssdfans行動裝置群：討論手機，平板等行動裝置裡面的EMMC，UFS等SSD

ssdfans工作求職群：SSD行業換工作，招聘，趕快來~ 不想換工作也先來佔個坑，萬一有更好的機會呢，行業這麼火，各大公司開的Offer高的嚇人！

ssdfans同學群：專門針對還在校園內的SSD相關人士。

想加入這些群，請加nanoarch為微信好友，介紹你的暱稱-行業-職業，註明群名，拉你進群。