NVIDIAVolta架構，一個在幾年前便已經被曝光的次世代架構，於上周的GTC2017大會上正式與大家見面。正如老黃去年所說的，NVIDIA未來會大幅提高產品的迭代速度以推動GPU界的發展，Volta架構的發布時間正好距Pascal架構的發布過了一年。在這短短的一年時間裡，老黃將整個Pascal家族悉數抖落，以大家最熟悉的GeForce系列遊戲卡為例，從GT1030到GTX1080Ti可謂是高中低檔應有盡有，比Maxwell2家族的集體亮相整整快了約一年。
為什麼NVIDIA能夠做到短短一年便推出新架構產品？因為與AMD的拖延相比，NVIDIA嚴格按照自家的產品路線圖發布產品，雖然受限於HBM顯存的產能，NVIDIA在Maxwell和Volta之間加了一個Pascal作為過渡，但Pascal的表現卻不敷衍，完全稱得上是GPU史上的一個裡程碑，因為NVIDIA的Pascal顯卡讓GPU的頻率首次突破2GHz大關，在超頻大師的手中甚至可以超過3GHz，追上了CPU的主頻，這在以前是完全不敢想像的。
採用Volta架構的首款產品是NVIDIAXavierSOC
現在GPU講究的是能耗比，不再像以前一樣單純追求絕對性能，而採用了TSMC全新12nm的Volta讓我們看到了能耗比的新高度：首發產品TeslaV100同P100相比，在TDP同為300W的情況下，單精度浮點運算性能提升了41.5%，實際HPC應用性能提升了40-70%，憑藉架構中新引入的Tensor單元，在深度學習方面的性能甚至可以達到後者的12倍！
NVIDIATeslaV100
我們上周在第一時間報導了有關TeslaV100的相關消息，但大家能看到的只是諸如815平方毫米的核心面積、210億個電晶體、5120個CUDA核心、15TFLOPS單精度性能這樣的專業數據，但我相信大家都很好奇Volta同Pascal相比究竟有了哪些設計方面的提升和改變，接下來吉吉我就用相對通俗易懂的語言來給大家細細道來，讓大家看看老黃的「新核彈」究竟是怎樣一個構造。
外觀：PCI-E版身材迷你
同採用Pascal架構的TeslaP100一樣，VoltaP100也有2種版本，一種是用在DGX-1上的NVLink版，還有一種是標準的PCI-E版，兩種版本的規格是一模一樣的。首先我們看一下NVLink版的V100和P100對比：
上圖為TeslaV100，下圖為TeslaP100
由於V100和P100的TDP均為300W，並且都是使用了16GB的HBM2顯存，所以NVLink版的PCB的設計幾乎是一模一樣的，僅僅是料件型號和排布上有些微區別。另外，需要強調的是，V100使用的是全新的NVLink2接口，比NVLink多了2組通道，雙向總帶寬達300GB/s，比NVLink提升了87.5%。接下來我們看一下PCI-E版的對比：
PCI-E版的TeslaV100同P100相比，體積可謂是大大縮小，不僅從雙槽厚度變成了單槽，PCB也從標準長度縮到了巴掌大小，比NVLink版的大不了多少。真是不知道老黃是如何做到用這麼「寒酸」的被動散熱壓制住TDP高達300W的「性能巨獸」的，只能期待NVIDIA後續的詳細介紹了。
如果不出意外，NVIDIA未來還會推出基於GV100核心的Quadro顯卡，到時候不知道在外觀上是否會採用QuadroGP100的渦輪式散熱器，當然據吉吉我推測，可能性是很大的。
規格：電晶體數量史上之最
Volta架構的首款產品TeslaV100採用12nmFFN工藝，核心代號GV100，核心面積為驚人的815平方毫米，共包含211億個電晶體。GV100核心共有5120個CUDA處理器，運算單元數量為80個，核心頻率為1455MHz，搭載4096-bit16GBHBM2顯存，單精度浮點性能高達驚人的15TFLOPS，雙精度浮點7.5TFLOPS，顯存帶寬900GB/s。
NVIDIA歷代大核心計算卡參數對比
TeslaV100首次使用了TSMC的12nmFFN工藝，該工藝其實是TSMC自家16nmFFC工藝的改進版，性能是後者的1.1倍，功耗只有後者的70%，核心面積則可以縮小20%。憑藉更為先進的工藝，TeslaV100的計算單元數量增加了43%，但核心面積卻只增加了33%。
身材堪比Nano的TeslaV100
計算單元增加了43%，但理論單精度性能只增加了42%，這說明同Pascal相比，Volta的性能提升靠的就是計算單元的增加，而不像從Maxwell進化到Pascal那樣因工藝提升頻率激增而帶來的性能質的飛躍。說到頻率，從上表可以看出V100的頻率照比P100略有下降，其可能的原因有兩個，一是由於規模大幅增加，為了控制功耗而輕微降頻；二是12nmFFN工藝在性能上照比成熟的16nmFinFETPlus工藝略有差距，所以頻率達不到這麼高的數值。
核心面積高達815平方毫米
此外，TeslaV100的二級緩存及寄存器大小也有所增加，L2緩存由TeslaP100的4MB增加到了6MB，每組SM單元的寄存器文件大小總數從14MB增加到了20MB。顯存方面，使用的HBM2的位寬及容量都沒變化，還是16GB4096-bit，不過頻率有所提升，帶寬從前代的720GB/s提升到了900GB/s，更接近HBM2顯存1024GB/s的理論值。
架構：為AI設計的Tensor單元
從架構整體設計上看，Volta核心同Pascal和Maxwell一樣，採用了6組GPC的設計，只不過是每組GPC內的SM單元呈遞進式增長：Maxwell每組GPC的內部有8組SM單元，Pascal增加到10組，而最新的Volta則是增加到14組。有一點需要說明，由於單雙精度比的不同，GP100核心每組SM單元內的CUDA核心數量與GP102是不同的，前者為64個，後者為128個，所以我們只看GP100。
GV100核心架構圖
GV100同GP100每組SM單元內的CUDA數量一樣，均為64個，而CUDA處理器的總數理應為64*14*6=5376個，但GV100核心的CUDA處理器數量為5120個，少了的256個正是因為NVIDIA關閉了4組SM單元，這一做法同GP100如出一轍。
GP100核心架構圖
前面說到的64是FP32單精度運算單元數量，在單雙精度單元數量比上，GV100同GP100一樣為2:1，也就是說每組SM單元中有32個FP64雙精度單元，理論值應為32*14*6=2688個，但由於關閉了4組SM單元，所以總數為2560個。
Tensor單元工作流程圖
由於NVIDIA現在已經轉型為一家AI公司，因此其GPU產品也開始著力於AI、DP等領域的優化發掘，在Pascal中NVIDIA開始強調FP16半精度，因為深度學習對精度的要求並不高，甚至FP8就夠了，其更需要的是更強大的運算性能。在Volta中，NVIDIA帶來了革命性的Tensor運算單元，該單元是繼FP16和FP8後為AI設計的全新利器。其能夠提供高達120TFLOPS的超強運算性能，而且效率高且非常省電。
V100中SM單元設計
在GV100核心中，每組SM單元中包含8個Tensor單元，其能夠提供高達120TFLOPS的超強運算性能。相比於在P100的FP32單元上，TeslaV100的深度學習訓練能力是前者的12倍，而相比於在P100的FP16單元的深度學習推理能力上，V100是前者的6倍。
性能：DP方面能力提升迅猛
由於Volta同Pascal相比架構僅僅是小幅改動，因此V100的理論性能提升同P100相比僅僅是規格增加而帶來的，但實際運行方面，其提升還是相對可觀的，尤其是人工智慧和深度學習能力。首先我們來看一下在HPC運算方面的性能提升：
VoltaHPC應用性能提升
官方給出了V100與P100在6款HPC應用中的性能對比，其中最低增長了42%左右，最高增長了76%左右，平均提升幅度約為50%，可見提升還是比較明顯的，但我們也能看出，由於V100的頻率與P100基本相當，所以實際性能並沒有從M40到P100那種翻天覆地的提升。接下來我們看看Tensor單元的引入會對V100的深度學習性能帶來怎樣的影響：
ResNet-50深度神經網絡訓練任務中的速度對比
從圖中可以看出，TeslaV100使用Tensor單元在ResNet-50深度神經網絡訓練任務中的速度是TeslaP100使用FP32單元進行運算的2.4倍；如果每張圖像的目標延遲是7ms，那麼TeslaV100使用Tensor核心在ResNet-50深度神經網絡進行推理的速度是使用FP16單元的P100的3.7倍（參與測試的V100為原型卡）。
TeslaV100Tensor單元和CUDA9對GEMM運算的性能提升
矩陣-矩陣乘法運算（BLASGEMM）是神經網絡訓練和推理的核心，被用來獲得輸入數據和權重的大型矩陣的乘積。從上圖我們可以看出，相比於基於Pascal的GP100，TeslaV100中的Tensor單元把這些運算的性能最高提升了8倍多。
不同平臺深度學習訓練時間對比
還是得益於Tensor單元強大的實力，8路V100的深度學習訓練時間僅為8路P100的三分之一左右，而雙路E52699V4的耗時是8路V100的56倍，這種差距是非常懸殊的。
以上就是Volta架構分析的全部內容，其主要特性無非為三點：1、史上最大規模的GPU；2、首款採用12nm工藝的GPU；3、全新加入的Tensor單元讓GV100的DP性能達到了史無前例的新高。在GTC2017大會上，老黃表示NVIDIA在研發TeslaV100的過程中投入了30億美元的巨資，這是迄今為止NVIDIA投資的最大的單個項目，比Pascal還多花了10億刀。這30億刀讓NVIDIA整整領先了AMD一代，AMD這邊甭說Navi，就連Vega也遲遲不見蹤影，正是如此，NVIDIA在下半年還不準備放出消費級的Volta，就讓我們期待明年初的消費級Volta吧，4K被徹底徵服不是夢。