2020 年深度學習如何挑選 GPU?這篇 GPU 最全攻略請查收

2021-02-23 AI有道


深度學習是一個對計算有著大量需求的領域，從一定程度上來說，GPU的選擇將從根本上決定深度學習的體驗。因此，選擇購買合適的GPU是一項非常重要的決策。那麼2020年，如何選擇合適的GPU呢？這篇文章整合了網絡上現有的GPU選擇標準和評測信息，希望能作為你的購買決策的參考。

1 是什麼使一個GPU比另一個GPU更快？有一些可靠的性能指標可以作為人們的經驗判斷。以下是針對不同深度學習架構的一些優先準則：Convolutional networks and Transformers: Tensor Cores > FLOPs > Memory Bandwidth > 16-bit capability
Recurrent networks: Memory Bandwidth > 16-bit capability > Tensor Cores > FLOPs2 如何選擇NVIDIA/AMD/GoogleNVIDIA的標準庫使在CUDA中建立第一個深度學習庫變得非常容易。早期的優勢加上NVIDIA強大的社區支持意味著如果使用NVIDIA GPU，則在出現問題時可以輕鬆得到支持。但是NVIDIA現在政策使得只有Tesla GPU能在數據中心使用CUDA，而GTX或RTX則不允許，而Tesla與GTX和RTX相比並沒有真正的優勢，價格卻高達10倍。
AMD功能強大，但缺少足夠的支持。AMD GPU具有16位計算能力，但是跟NVIDIA GPU的Tensor內核相比仍然有差距。Google TPU具備很高的成本效益。由於TPU具有複雜的並行基礎結構，因此如果使用多個雲TPU（相當於4個GPU），TPU將比GPU具有更大的速度優勢。因此，就目前來看，TPU更適合用於訓練卷積神經網絡。3 多GPU並行加速卷積網絡和循環網絡非常容易並行，尤其是在僅使用一臺計算機或4個GPU的情況下。TensorFlow和PyTorch也都非常適合併行遞歸。但是，包括transformer在內的全連接網絡通常在數據並行性方面性能較差，因此需要更高級的算法來加速。如果在多個GPU上運行，應該先嘗試在1個GPU上運行，比較兩者速度。由於單個GPU幾乎可以完成所有任務，因此，在購買多個GPU時，更好的並行性（如PCIe通道數）的質量並不是那麼重要。4 性能評測1）來自Tim Dettmers的成本效益評測[1]https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/卷積網絡（CNN），遞歸網絡（RNN）和transformer的歸一化性能/成本數（越高越好）。RTX 2060的成本效率是Tesla V100的5倍以上。對於長度小於100的短序列，Word RNN表示biLSTM。使用PyTorch 1.0.1和CUDA 10進行基準測試。從這些數據可以看出，RTX 2060比RTX 2070，RTX 2080或RTX 2080 Ti具有更高的成本效益。原因是使用Tensor Cores進行16位計算的能力比僅僅擁有更多Tensor Cores內核要有價值得多。https://lambdalabs.com/blog/best-gpu-tensorflow-2080-ti-vs-v100-vs-titan-v-vs-1080-ti-benchmark/https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/ 以 Quadro RTX 8000 為基準的針對Quadro RTX 8000的圖像模型訓練吞吐量3) 來自知乎@Aero的「在線」GPU評測[4]https://www.zhihu.com/question/299434830/answer/1010987691大家用的最多的可能是Google Colab，畢竟免費，甚至能選TPU免費版主要是K80，有點弱，可以跑比較簡單的模型，有概率分到T4，有歐皇能分到P100。付費就能確保是T4或者P100，一個月10美元，說是僅限美國。Colab畢竟是Google的，那麼你首先要能連得上google，並且得網絡穩定，要是掉線很可能要重新訓練，綜合來看國內使用體驗不太好。免費送V100時長非常良心，以前很多人自己裝tensorflow用，但是現在已經不允許了，實測tensorflow pytorch都不給裝，必須得用paddlepaddle。那麼習慣paddlepaddle的用戶完全可以選這個，其他人不適合。不過似乎GPU不太夠，白天一直提醒高峰期，真到了22點後才有。5 建議

總體最佳GPU：RTX 2070 GPU

避免使用 ：任何Tesla；任何Quadro；任何Founders Edition；Titan RTX，Titan V，Titan XP

高效但價格昂貴：RTX 2070

高效且廉價：RTX 2060，GTX 1060（6GB）

價格實惠：GTX 1060（6GB）

價格低廉：GTX 1050 Ti（4GB）。或者：CPU（原型設計）+ AWS / TPU（培訓）；或Colab。

適合Kaggle比賽：RTX 2070

適合計算機視覺研究人員：GTX 2080 Ti，如果訓練非常大的網絡，建議使用RTX Titans

截至2020年2月，以下GPU可以訓練所有SOTA語言和圖像模型：

RTX 8000：48 GB VRAM

RTX 6000：24 GB VRAM

Titan RTX：24 GB VRAM

RTX 2060（6 GB）：適合業餘時間探索深度學習。

RTX 2070或2080（8 GB）：適合深度學習專業研究者，且預算為4-6k

RTX 2080 Ti（11 GB）：適合深度學習專業研究者，而您的GPU預算約為8-9k。RTX 2080 Ti比RTX 2080快40％。

Titan RTX和Quadro RTX 6000（24 GB）：適合廣泛使用SOTA型號，但沒有用於RTX 8000足夠預算的研究者。

Quadro RTX 8000（48 GB）：價格相對較高，但性能卓越，適合未來投資。

[1] https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/[2] https://lambdalabs.com/blog/best-gpu-tensorflow-2080-ti-vs-v100-vs-titan-v-vs-1080-ti-benchmark/[3] https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/[4] https://www.zhihu.com/question/299434830/answer/1010987691

算法工程師必備！

AI有道年度技術文章電子版PDF來啦！

掃描下方二維碼，添加 AI有道小助手微信，可申請入群，並獲得2020完整技術文章合集PDF（一定要備註：入群 + 地點 + 學校/公司。例如：入群+上海+復旦。 

長按掃碼，申請入群

（添加人數較多，請耐心等待）

 

最新 AI 乾貨，我在看 

相關焦點

  • 2020年深度學習如何挑選 GPU?這篇 GPU 最全攻略請查收
    深度學習是一個對計算有著大量需求的領域，從一定程度上來說，GPU的選擇將從根本上決定深度學習的體驗。
  • 2020年深度學習如何挑選GPU?這篇 GPU 最全攻略請查收
    關注 極市平臺 公眾號 ，回復 加群，立刻申請入群~深度學習是一個對計算有著大量需求的領域，從一定程度上來說，GPU的選擇將從根本上決定深度學習的體驗。因此，選擇購買合適的GPU是一項非常重要的決策。那麼2020年，如何選擇合適的GPU呢？
  • 【經驗】深度學習如何挑選GPU?
    閱讀大概需要9分鐘跟隨小博主，每天進步一丟丟編輯：Sophia計算機視覺聯盟  報導  | 公眾號 CVLianMeng轉載於 ：極市平臺深度學習是一個對計算有著大量需求的領域，從一定程度上來說，GPU的選擇將從根本上決定深度學習的體驗。因此，選擇購買合適的GPU是一項非常重要的決策。
  • 從深度學習gpu選擇來談談gpu的硬體架構
    從深度學習在2012年大放異彩，gpu計算也走入了人們的視線之中，它使得大規模計算神經網絡成為可能。
  • 在深度學習中餵飽GPU
    【新智元導讀】深度學習模型訓練是不是大力出奇蹟前段時間訓練了不少模型，發現並不是大力出奇蹟，顯卡越多越好，有時候 1 張 v100 和 2 張 v100 可能沒有什麼區別，後來發現瓶頸在其他地方，寫篇文章來總結一下自己用過的一些小 trick，最後的效果就是在 cifar 上面跑 vgg 的時間從一天縮到了一個小時，imagenet 上跑 mobilenet 模型只需要 2 分鐘每個 epoch。
  • 在深度學習中餵飽 GPU
    」，選擇加"星標"或「置頂」重磅乾貨，第一時間送達作者：風車車https://zhuanlan.zhihu.com/p/77633542本文已由作者授權，未經允許，不得二次轉載前段時間訓練了不少模型，發現並不是大力出奇蹟，顯卡越多越好，有時候1張v100和2張v100可能沒有什麼區別，後來發現瓶頸在其他地方，寫篇文章來總結一下自己用過的一些小
  • 2020年深度學習最佳GPU一覽,看看哪一款最適合你!
    那麼如果你準備進入深度學習，什麼樣的GPU才是最合適的呢？下面列出了一些適合進行深度學習模型訓練的GPU，並將它們進行了橫向比較，一起來看看吧！截至2020年2月，以下GPU可以訓練所有當今語言和圖像模型：RTX 8000：48GB VRAM，約5500美元RTX 6000：24GB VRAM，約4000美元Titan RTX：24GB VRAM，約2500美元RTX 2080 Ti：
  • 實驗室一塊GPU都沒有!怎麼做深度學習?
    都會遇到一個問題，想要開始玩一下 深度學習，但是硬體條件非常的短缺，沒有GPU，搞個毛線。或者GPU的顯存不足，用自己的電腦跑，聽著顯卡風扇，「呼呼呼」響是真的心痛。教育折扣算下來應該是全網最低了。在知乎上口碑不錯的一家。
  • 啟用Docker虛擬機GPU,加速深度學習
    但我覺得還是有必要記錄一下我最近一次的深度學習環境配置，主要原因在於各種軟體在快速更新，對應的安裝配置方法也會有一些變化。這篇深度學習環境配置有兩個關鍵詞，一個是Docker虛擬機，另一個是GPU加速。開始之前Docker虛擬機首先說一下Docker虛擬機。為什麼需要虛擬機？
  • 【人工智慧&深度學習】Win10安裝tensoflow_gpu詳細教程(1)
    這篇文章仍然很刻板，只教給大家適合很小範圍內電腦配置的Tensorflow_gpu的安裝方法，步驟也相當繁瑣，但我會說明整個安裝邏輯和注意事項，讓大家根據這篇文章操作便可安裝成功。文章選用和總結了目前網上的各種經驗，這裡向各位前輩致敬！
  • 如何使用keras,python和深度學習進行多GPU訓練
    然而，它非常強大，能夠實施和訓練最先進的深度神經網絡。然而，我們對keras最感到受挫的一個原因，是在多GPU環境下使用，因為這是非常重要的。如果你使用Theano，請忽略它——多GPU訓練，這並不會發生。
  • 如何使用 Keras,Python 和深度學習進行多 GPU 訓練
    然而，它非常強大，能夠實施和訓練最先進的深度神經網絡。然而，我們對keras最感到受挫的一個原因，是在多GPU環境下使用，因為這是非常重要的。如果你使用Theano，請忽略它——多GPU訓練，這並不會發生。
  • Win10深度學習GPU開發環境搭建步驟 | 教程
    如果從現在開始決定學習深度學習，寫代碼、搭建自己的模型，那麼準備開發環境將是你艱難的第一步。橘子當時搜必應、查谷歌 忘了度娘吧，安裝攻略沒少看，結果真到自己上手實踐的時候，依然碰到了不少問題。本文將嘗試站在萌新的視角，盡力還原這一過程中可能碰到的種種問題，希望它能指引著你順利完成配置過程、幫你省下一些寶貴的時間。01.
  • 【乾貨】關於GPU編程
    從深度學習選擇什麼樣的gpu來談談gpu的硬體架構從深度學習在2012年大放異彩，gpu計算也走入了人們的視線之中，
  • 居然有免費的GPU可以跑深度學習代碼!
    後臺回復【入門資料】送你十本Python電子書作者：凌逆戰原文：https://www.cnblogs.com/LXP-Never/p/11614053.html從事深度學習的研究者都知道，深度學習代碼需要設計海量的數據，需要很大很大很大(重要的事情說三遍)的計算量，以至於CPU算不過來，需要通過GPU幫忙，但這必不意味著CPU的性能沒GPU強，CPU是那種綜合性的，GPU是專門用來做圖像渲染的，這我們大家都知道，做圖像矩陣的計算GPU更加在行，應該我們一般把深度學習程序讓GPU來計算，事實也證明GPU的計算速度比CPU塊，但是(但是前面的話都是廢話
  • [工作站] 2020 年 10 月的多 GPU 深度學習工作站配置指南
    本文接上一篇《2020 年 10 月的單 GPU 深度學習工作站配置指南》，探討多 GPU 工作站的搭建。很多在單 GPU 工作站中不甚重要的因素在多 GPU 工作站中變得舉足輕重。[4]搭建多 GPU 工作站的要點是避免顯卡過熱與電源過載，其它很多方面與單 GPU 工作站的原則相似，沒有提到的方面（包括顯卡的選擇）請參考《2020 年 10 月的單 GPU 深度學習工作站配置指南》。
  • 如何在CDSW中使用GPU運行深度學習
    Fayson的github：https://github.com/fayson/cdhproject提示：代碼塊部分可以左右滑動查看噢GPU是一種專門的處理器，對於加速高度並行化的計算密集型工作負載效果非常明顯，尤其是在深度學習領域。理想的情況是你將GPU和CPU結合起來用於數據工程和數據科學的工作負載。
  • 【GPU】GPU 顯存不足怎麼辦?
    本文分為兩大部分，第一部分引入一個主題：如何估計模型所需顯存， 第二個主題：GPU顯存不足時的各種 Trick 。監控 GPU監控GPU最常用的當然是 nvidia-smi ，但有一個工具能夠更好的展示信息：gpustat 。
  • 深度學習GPU加速,一文搞定所有Windows問題
    大家都知道，深度學習運行耗時漫長，有些任務在GPU上速度也是非常慢，更別提CPU了。
  • 手把手教你在谷歌雲平臺搭建基於GPU的深度學習
    大數據文摘授權轉載自 數據派THU作者：Saurabh Bodhe編譯：陳振東、車前子我知道，基於GPU的高端的深度學習系統構建起來非常昂貴此外，我還假設你有一個NVIDIA的顯卡,我們在本教程中只討論如何配置TensorFlow,也就是目前最受歡迎的深度學習框架(向谷歌致敬!)CUDA是NVIDIA開發的一個並行計算平臺，是搭建TensorFlow的基本前提。但是我們後面會提到，實際上最好使用逆向工作的方法，所以我們稍後再回到這部分。啟動終端(如果是遠程訪問的話，就使用SSH)。