2020 年深度學習如何挑選 GPU?這篇 GPU 最全攻略請查收

2021-02-13 AI有道


深度學習是一個對計算有著大量需求的領域，從一定程度上來說，GPU的選擇將從根本上決定深度學習的體驗。因此，選擇購買合適的GPU是一項非常重要的決策。那麼2020年，如何選擇合適的GPU呢？這篇文章整合了網絡上現有的GPU選擇標準和評測信息，希望能作為你的購買決策的參考。

1 是什麼使一個GPU比另一個GPU更快？有一些可靠的性能指標可以作為人們的經驗判斷。以下是針對不同深度學習架構的一些優先準則：Convolutional networks and Transformers: Tensor Cores > FLOPs > Memory Bandwidth > 16-bit capability
Recurrent networks: Memory Bandwidth > 16-bit capability > Tensor Cores > FLOPs2 如何選擇NVIDIA/AMD/GoogleNVIDIA的標準庫使在CUDA中建立第一個深度學習庫變得非常容易。早期的優勢加上NVIDIA強大的社區支持意味著如果使用NVIDIA GPU，則在出現問題時可以輕鬆得到支持。但是NVIDIA現在政策使得只有Tesla GPU能在數據中心使用CUDA，而GTX或RTX則不允許，而Tesla與GTX和RTX相比並沒有真正的優勢，價格卻高達10倍。
AMD功能強大，但缺少足夠的支持。AMD GPU具有16位計算能力，但是跟NVIDIA GPU的Tensor內核相比仍然有差距。Google TPU具備很高的成本效益。由於TPU具有複雜的並行基礎結構，因此如果使用多個雲TPU（相當於4個GPU），TPU將比GPU具有更大的速度優勢。因此，就目前來看，TPU更適合用於訓練卷積神經網絡。3 多GPU並行加速卷積網絡和循環網絡非常容易並行，尤其是在僅使用一臺計算機或4個GPU的情況下。TensorFlow和PyTorch也都非常適合併行遞歸。但是，包括transformer在內的全連接網絡通常在數據並行性方面性能較差，因此需要更高級的算法來加速。如果在多個GPU上運行，應該先嘗試在1個GPU上運行，比較兩者速度。由於單個GPU幾乎可以完成所有任務，因此，在購買多個GPU時，更好的並行性（如PCIe通道數）的質量並不是那麼重要。4 性能評測1）來自Tim Dettmers的成本效益評測[1]https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/卷積網絡（CNN），遞歸網絡（RNN）和transformer的歸一化性能/成本數（越高越好）。RTX 2060的成本效率是Tesla V100的5倍以上。對於長度小於100的短序列，Word RNN表示biLSTM。使用PyTorch 1.0.1和CUDA 10進行基準測試。從這些數據可以看出，RTX 2060比RTX 2070，RTX 2080或RTX 2080 Ti具有更高的成本效益。原因是使用Tensor Cores進行16位計算的能力比僅僅擁有更多Tensor Cores內核要有價值得多。https://lambdalabs.com/blog/best-gpu-tensorflow-2080-ti-vs-v100-vs-titan-v-vs-1080-ti-benchmark/https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/ 以 Quadro RTX 8000 為基準的針對Quadro RTX 8000的圖像模型訓練吞吐量3) 來自知乎@Aero的「在線」GPU評測[4]https://www.zhihu.com/question/299434830/answer/1010987691大家用的最多的可能是Google Colab，畢竟免費，甚至能選TPU免費版主要是K80，有點弱，可以跑比較簡單的模型，有概率分到T4，有歐皇能分到P100。付費就能確保是T4或者P100，一個月10美元，說是僅限美國。Colab畢竟是Google的，那麼你首先要能連得上google，並且得網絡穩定，要是掉線很可能要重新訓練，綜合來看國內使用體驗不太好。免費送V100時長非常良心，以前很多人自己裝tensorflow用，但是現在已經不允許了，實測tensorflow pytorch都不給裝，必須得用paddlepaddle。那麼習慣paddlepaddle的用戶完全可以選這個，其他人不適合。不過似乎GPU不太夠，白天一直提醒高峰期，真到了22點後才有。5 建議

總體最佳GPU：RTX 2070 GPU

避免使用 ：任何Tesla；任何Quadro；任何Founders Edition；Titan RTX，Titan V，Titan XP

高效但價格昂貴：RTX 2070

高效且廉價：RTX 2060，GTX 1060（6GB）

價格實惠：GTX 1060（6GB）

價格低廉：GTX 1050 Ti（4GB）。或者：CPU（原型設計）+ AWS / TPU（培訓）；或Colab。

適合Kaggle比賽：RTX 2070

適合計算機視覺研究人員：GTX 2080 Ti，如果訓練非常大的網絡，建議使用RTX Titans

截至2020年2月，以下GPU可以訓練所有SOTA語言和圖像模型：

RTX 8000：48 GB VRAM

RTX 6000：24 GB VRAM

Titan RTX：24 GB VRAM

RTX 2060（6 GB）：適合業餘時間探索深度學習。

RTX 2070或2080（8 GB）：適合深度學習專業研究者，且預算為4-6k

RTX 2080 Ti（11 GB）：適合深度學習專業研究者，而您的GPU預算約為8-9k。RTX 2080 Ti比RTX 2080快40％。

Titan RTX和Quadro RTX 6000（24 GB）：適合廣泛使用SOTA型號，但沒有用於RTX 8000足夠預算的研究者。

Quadro RTX 8000（48 GB）：價格相對較高，但性能卓越，適合未來投資。

[1] https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/[2] https://lambdalabs.com/blog/best-gpu-tensorflow-2080-ti-vs-v100-vs-titan-v-vs-1080-ti-benchmark/[3] https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/[4] https://www.zhihu.com/question/299434830/answer/1010987691

算法工程師必備！

AI有道年度技術文章電子版PDF來啦！

掃描下方二維碼，添加 AI有道小助手微信，可申請入群，並獲得2020完整技術文章合集PDF（一定要備註：入群 + 地點 + 學校/公司。例如：入群+上海+復旦。 

長按掃碼，申請入群

（添加人數較多，請耐心等待）

 

最新 AI 乾貨，我在看 

相關焦點

  • 2020年深度學習如何挑選 GPU?這篇 GPU 最全攻略請查收
    深度學習是一個對計算有著大量需求的領域，從一定程度上來說，GPU的選擇將從根本上決定深度學習的體驗。
  • 2020年深度學習如何挑選GPU?這篇 GPU 最全攻略請查收
    關注 極市平臺 公眾號 ，回復 加群，立刻申請入群~深度學習是一個對計算有著大量需求的領域，從一定程度上來說，GPU的選擇將從根本上決定深度學習的體驗。因此，選擇購買合適的GPU是一項非常重要的決策。那麼2020年，如何選擇合適的GPU呢？
  • 【經驗】深度學習如何挑選GPU?
    深度學習是一個對計算有著大量需求的領域，從一定程度上來說，GPU的選擇將從根本上決定深度學習的體驗。
  • 深度學習訓練時 GPU 溫度過高?輸入這幾行命令就能迅速降溫
    首先得到知乎上一位朋友的文章啟發：從零開始組裝深度學習平臺(GPU散熱)。注，以下設置都是針對linux系統的GPU設置，windows的朋友請搜索相關文章。  一、如果你有顯示器（X server）可以完全按照上面提到的文章《從零開始組裝深度學習平臺》操作，這裡貼出關鍵步驟為：1.
  • 深度學習中GPU和顯存分析
    ，耗資源，在本文，我將來科普一下在深度學習中：何為「資源」不同操作都耗費什麼資源如何充分的利用有限的資源如何合理選擇顯卡並糾正幾個誤區：0 預備知識nvidia-smi是Nvidia顯卡命令行管理套件，基於NVML庫，旨在管理和監控Nvidia GPU設備。
  • 居然有免費的GPU可以跑深度學習代碼!
    後臺回復【入門資料】送你十本Python電子書作者：凌逆戰原文：https://www.cnblogs.com/LXP-Never/p/11614053.html從事深度學習的研究者都知道，深度學習代碼需要設計海量的數據，需要很大很大很大(重要的事情說三遍)的計算量，以至於CPU算不過來，需要通過GPU幫忙，但這必不意味著CPU的性能沒GPU強，CPU是那種綜合性的，GPU是專門用來做圖像渲染的，這我們大家都知道，做圖像矩陣的計算GPU更加在行，應該我們一般把深度學習程序讓GPU來計算，事實也證明GPU的計算速度比CPU塊，但是(但是前面的話都是廢話
  • 實踐經驗分享:在深度學習中餵飽GPU
    關注 極市平臺 公眾號 ，回復 加群，立刻申請入群~前段時間訓練了不少模型，發現並不是大力出奇蹟，顯卡越多越好，有時候 1 張 v100 和 2 張 v100 可能沒有什麼區別，後來發現瓶頸在其他地方，寫篇文章來總結一下自己用過的一些小 trick，最後的效果就是在 cifar 上面跑 vgg
  • 使用GPU和Theano加速深度學習
    摘要：Theano是主流的深度學習Python庫之一，亦支持GPU，然而Theano入門較難，Domino的這篇博文介紹了如何使用
  • [工作站] 2020 年 10 月的多 GPU 深度學習工作站配置指南
    本文接上一篇《2020 年 10 月的單 GPU 深度學習工作站配置指南》，探討多 GPU 工作站的搭建。很多在單 GPU 工作站中不甚重要的因素在多 GPU 工作站中變得舉足輕重。[4]搭建多 GPU 工作站的要點是避免顯卡過熱與電源過載，其它很多方面與單 GPU 工作站的原則相似，沒有提到的方面（包括顯卡的選擇）請參考《2020 年 10 月的單 GPU 深度學習工作站配置指南》。
  • 【CTO講堂】如何用Python一門語言通吃高性能並發、GPU計算和深度...
    本期邀請極驗驗證CTO黃勝藍帶來「如何用Python一門語言通吃高性能並發、GPU計算和深度學習 」的主題分享。歡迎加入CTO講堂微信群與業界大咖零距離溝通，1月7日本期講堂報名方式拖至文末查看。
  • 深度學習環境搭建
    如果要學習如何在Linux作業系統中下載和安裝CUDA9.0、cudnn7.3、tensorflow_gpu1.10，請瀏覽本文作者的另外一篇文章《在谷歌雲伺服器上搭建深度學習平臺》，連結：https://www.jianshu.com/p/893d622d1b5a《在谷歌雲伺服器上搭建深度學習平臺》這篇文章中有部分內容是如何建立和連接雲虛擬機，這部分內容對於擁有Linux主機的讀者是無用的
  • 一文教你如何挑選深度學習GPU
    最近，英偉達在消費級 GPU 領域又推出了 GTX 1070 Ti，如果現在想要組裝一臺深度學習機器，我們用哪塊 GPU 最好呢？本文將詳細解答這一問題。即將進入 2018 年，隨著硬體的更新換代，越來越多的機器學習從業者又開始面臨選擇 GPU 的難題。正如我們所知，機器學習的成功與否很大程度上取決於硬體的承載能力。
  • 使用GPU.js改善JavaScript性能
    以下是使用GPU的一些最值得注意的好處。GPU可用於執行大規模並行GPGPU計算。gpu.createKernel 方法創建了一個從JavaScript函數移植過來的GPU加速內核。與GPU並行運行內核函數會導致更快的計算速度——快1-15倍，這取決於你的硬體。GPU.js入門為了展示如何使用GPU.js更快地計算複雜的計算，讓我們快速啟動一個實際的演示。
  • 基於RTX2060構建TensorFlow-gpu(keras)學習平臺
    一、conda命令1. onda env list 或 conda info -e 查看當前存在哪些虛擬環境2. conda create --name tf36gpu python=3.6 anaconda3. conda remove -n
  • 教程 | 如何使用深度學習硬體的空餘算力自動挖礦
    人工智慧和虛擬貨幣是 2017 年的兩大重要名詞，作為一名開發者，如何充分利用自己昂貴的硬體設備呢？本文將給你一種有趣的解決方案。
  • 如何在GPU上設計高性能的神經網絡
    gpu對於機器學習是必不可少的。可以通過AWS或谷歌cloud輕鬆地啟動這些機器的集群。NVIDIA擁有業內領先的GPU，其張量核心為Volta V100和安培A100加速哪種方法最適合你的神經網絡?為了以最低的成本設計出最快的神經網絡，機器學習架構師必須解決許多問題。此外，僅僅使用帶有GPU和張量核心的機器並不能保證最高性能。
  • Pytorch-GPU1.7.1 和 TensorFlow-GPU1.14.0 安裝指南(基於windows10)
    搭建時間：2021年2月7日環境套餐：win10 + vs2017 Community +  Pytorch-GPU1.7.1（CUDA11.1 + CuDNN8.0.4） + TensorFlow-GPU1.14.0（CUDA10.0.130 + CuDNN7.6.5）一、基礎知識儲備顯卡：（GPU），主流是NVIDIA的GPU，因為深度學習本身需要大量計算。
  • 深度剖析:針對深度學習的GPU共享
    [2]https://github.com/tkestack/vcuda-controller[3]Ting-An Yeh, Hung-Hsin Chen, and Jerry Chou. 2020."AntMan: Dynamic Scaling on {GPU} Clusters for Deep Learning." 14th {USENIX} Symposium on Operating Systems Design and Implementation ({OSDI} 20). 2020.[14]Bai, Zhihao, et al.
  • 自建GPU伺服器:搭建自己的深度學習PC
    搭建自己的GPU伺服器並不困難，這樣做還可以輕鬆地降低在雲中訓練深度學習模型的成本。 很多深度學習的實踐者們渴望在有生之年搭建自己的深度學習機器，擺脫雲的魔掌，這樣的時代就到來了。雲計算是開展深度學習的理想選擇，它往往是訓練大規模深度學習模型的最佳答案。
  • 基於 Kubernetes 的 GPU 類型調度實現
    導讀：3 月 27 日，ACM 宣布深度學習的三位締造者——Yoshua Bengio