作者：Rahul Agarwal
deephub翻譯組：孟翔傑
您是否知道反向傳播算法是Geoffrey Hinton在1986年的《自然》雜誌上提出的？
同樣的，卷積網絡由Yann le cun於1998年首次提出，並進行了數字分類，他使用了單個卷積層。 直到2012年下半年，Alexnet才通過使用多個卷積層在imagenet上實現最先進的技術來推廣卷積網絡。
那麼，是什麼讓他們直到現在才這麼出名？
只有在我們擁有大量計算資源的情況下，我們才能進行足夠的實驗並充分利用深度學習的潛力。
但是我們真的充分利用了現有的計算資源嗎？ 我們可以做得更好嗎？
這篇文章是關於利用Tensor Cores和自動混合精度來更快地訓練深度學習網絡的。
什麼是Tensor Cores？
根據NVIDIA網站的介紹：
NVIDIA Turing和Volta GPU由Tensor Cores提供支持。Tensor Cores是一項革命性技術，可提供開創性的AI性能。 Tensor Core可以加速AI核心的大型矩陣運算，並在單個運算中執行混合精度矩陣乘法和累加計算。 在一個NVIDIA GPU中並行運行數百個Tensor Core，這可以極大地提高吞吐量和運行效率。
簡單地說; 它們是專用於特定類型矩陣操作的專用內核。
我們可以將兩個FP16矩陣相乘並將其添加到FP16 / FP32矩陣中，從而得到FP16 / FP32矩陣。 Tensor Core支持混合精度數學，即輸入為半精度（FP16），輸出為全精度（FP32）。這樣的操作對於許多深度學習任務具有內在的價值，並且Tensor Core為該操作提供了專用的硬體。
與FP32相比FP16主要有以下兩個好處。
1.FP16需要較少的內存，因此更易於訓練和部署大型神經網絡。 它還減少了數據移動。
2.使用Tensor Core，大大提高了數學運算的速度但降低了精度。 NVIDIA提供的Volta GPU的確切數量是：FP16中為125 TFlops，而FP32中為15.7 TFlops（加速8倍）
但是也有缺點。 從FP32轉到FP16時，必然會降低精度。
FP32與FP16：FP32具有八個指數位和23個小數位，而FP16具有五個指數位和十個小數位。
但是真的需要FP32嗎？
FP16實際上可以很好地表示大多數權重和漸變色。 因此，存儲和使用FP32所需的這些額外數位只是浪費。
那麼，我們應該怎麼使用Tensor Cores呢？
我檢查了我的Titan RTX GPU。它擁有576個Tensor Cores以及4,608個NVIDIA CUDA內核。 但是如何使用這些Tensor Cores？
坦白地說，NVIDIA可以輕鬆地將Tensor Cores與自動混合精度一起使用，並提供了幾行代碼。我們需要在代碼中做兩件事：
1.將FP32所需的操作（如Softmax）分配給FP32，而將FP16可以完成的操作（如卷積）自動分配給FP16。
2.使用損失縮放來保留較小的梯度值。梯度值可能超出FP16的範圍。在這種情況下，將對梯度值進行縮放，使其保持在FP16範圍內。
就算您還不了解背景細節也可以。因為它的代碼實現相對簡單。
使用PyTorch進行混合精度訓練
讓我們從PyTorch中的基本網絡開始
N, D_in, D_out = 64, 1024, 512x = torch.randn(N, D_in, device="cuda")y = torch.randn(N, D_out, device="cuda")model = torch.nn.Linear(D_in, D_out).cuda()optimizer = torch.optim.SGD(model.parameters(), lr=1e-3)for to in range(500):y_pred = model(x)loss = torch.nn.functional.mse_loss(y_pred, y)optimizer.zero_grad()loss.backward()optimizer.step()
想要利用自動混合精度訓練的優勢，我們首先需要安裝apex庫。只需在終端中運行以下命令。
$ git clone https://github.com/NVIDIA/apex$ cd apex$ pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
然後，我們只需在神經網絡代碼中添加幾行即可利用自動混合精度（AMP）。
from apex import ampN, D_in, D_out = 64, 1024, 512x = torch.randn(N, D_in, device="cuda")y = torch.randn(N, D_out, device="cuda")model = torch.nn.Linear(D_in, D_out).cuda()optimizer = torch.optim.SGD(model.parameters(), lr=1e-3)model, optimizer = amp.initialize(model, optimizer, opt_level="O1")for to in range(500):y_pred = model(x)loss = torch.nn.functional.mse_loss(y_pred, y)optimizer.zero_grad()with amp.scale_loss(loss, optimizer) as scaled_loss:scaled_loss.backward()optimizer.step()
在這裡，您可以看到我們使用amp初始化了模型。我們還通過使用amp.scale_loss指定損失縮放比例。
標杆分析法
我們可以使用這個很棒的存儲庫對放大器的性能進行測試，該存儲庫對CIFAR數據集上的VGG16模型進行測試。 我只需要更改幾行代碼即可為我們工作。 您可以在找到修改後的版本。 要自己運行測試代碼，您可能需要：
git clone https://github.com/MLWhiz/data_science_blogscd data_science_blogs/amp/pytorch-apex-experiment/python run_benchmark.pypython make_plot.py --GPU 'RTX' --method 'FP32' 'FP16' 'amp' --batch 128 256 512 1024 2048
這將在主目錄中為您生成以下圖形：
在這裡，我們使用各種精度和批處理大小訓練了同一模型。 我們可以看到，從FP32到amp，內存需求降低了，而精度卻保持大致相同。時間也會減少，但不會減少那麼多。 這可能因為數據集或模型比較簡單。
根據NVIDIA提供的標準，自動混合精度的運行速度比標準FP32快3倍，如下所示。
來源：加速比是指單精度和自動混合精度訓練固定次數下的時間的比例。