雲服務太麻煩,我花9000美元自建深度學習工作站,上雙路泰坦RTX

2021-01-09 機器之心Pro

機器之心報導

編輯:魔王、蛋醬

貴是貴了點兒,但用起來是真香。

創建屬於自己的深度學習工作站大概是很多機器學習從業者的夢想,本文作者 Rahul Agarwal 也不例外。然而創建工作站並非易事,你得有時間,還得有錢。主要是得有錢……

在拖延了很長時間後,Rahul Agarwal 下定決心創建自己的工作站。原因無他,受夠了使用雲服務時,不管多小的項目都要設置伺服器、進行一系列安裝,或者運行時和網絡連接受限。

於是,Rahul 決定行動起來。在創建工作站之前,他閱讀了大量資料,觀看了很多相關的 YouTube 視頻,做足了準備工作。

按照個人需求創建深度學習工作站需要大量研究,Rahul 研究了單個組件、性能、評論甚至外觀,並寫下了整個過程、所有組件以及選擇原因等詳細信息。

如果你也想創建深度學習工作站,Rahul 的這篇文章或許可以作為參考。

為什麼要創建個人工作站?

映入我腦海的第一個答案是:為什麼不呢?

我的工作和深度學習、機器學習應用密切相關,但是每一次開啟新項目都要使用新的伺服器、安裝所有依賴,真是讓人頭禿。

如果有了屬於自己的工作站,你就可以坐在桌邊使用它,根據自己的需求進行大量定製。簡直太棒了!

不過相比於使用雲服務,創建工作站這個主意真的讓我「身無長物」了。

工作站配置

我用了好幾周時間,搞定了所有配置。

從一開始,我就目標明確:擁有大量算力,組件能在未來幾年中進行更新。目前,我的最高優先級是創建一個支持兩塊英偉達 RTX Titan 顯卡(具備 NVLink 橋)的系統。這樣我就可以擁有 48GB 的 GPU 內存了!

PS: 以下配置或許並非最優配置,可能會有價格更低廉的選擇,但我確定該配置會讓我未來不那麼頭大…… 因此,我選擇了它。此外,我還向英偉達尋求了大量建議。

1. 英特爾 i9 9920x 3.5 GHz 12 核處理器

我選擇的是英特爾處理器,而不是 AMD。原因是英特爾擁有更兼容和相關的軟體,如 MKL,它對我使用的大部分 Python 庫有益。

另一個可能也更重要的原因是:英偉達的工作人員建議,如果我想上雙路泰坦 RTX,最好用 i9。這樣以後就不頭痛啦~

那麼,為什麼從英特爾的產品裡選擇了這一款呢?

我最開始考慮了 9820X(10 核)和 9980XE(18 核),但後者超出預算太多。後來,我發現了 12 核的 3.5 GHz 處理器 i9–9920X,既滿足預算,同時它對於中檔解決方案也是更優的選擇。

CPU 決定了其他組件的選擇。例如,如果你選擇 i9 9900X 系列 CPU,你就必須選擇 X299 主板;如果你使用 AMD Threadripper CPU,那麼你將需要一個 X399 主板。

因此,注意選擇合適的 CPU 和主板。

2. MSI X299 SLI PLUS ATX LGA2066 主板

這是一次艱難的選擇,選項實在太多了。我需要一個至少支持 96GB RAM 的主板(這也是為了滿足雙路泰坦 RTX 的需求)。這就意味著,如果我使用 16GB RAM 模塊,我就必須擁有至少 6 個插槽,16x6=96。而這個主板有 8 個插槽,也就是說可以擴展到 128 GB RAM。

我還想讓這個系統以後可以擁有 2 TB NVMe 固態硬碟,也就是說我需要兩個 M.2 埠,而這塊主板恰好具備。

我查看了很多選項,基於 ATX Form factor、4 個 PCI-E x16 插槽、主板價格這些要求,最終選擇了這一款。

3. 貓頭鷹 NH-D15 chromax.BLACK 82.52 CFM CPU 散熱器

現在液體冷卻很流行。最初,我想選擇 AIO 散熱器(液體冷卻)。

但是,與英偉達的工作人員溝通並在論壇上查看兩個選項的利弊之後,我意識到空氣冷卻更符合我的需求。於是選擇了貓頭鷹 NH-D15,這也是市場上最好的空氣冷卻器之一。於是,我就用最好的空氣冷卻器替換掉了平庸的液體冷卻器,而且這款冷卻器很安靜。

4. 追風者 Enthoo Pro Tempered Glass 機箱

接下來要考慮的是機箱了,它需要足夠大能夠裝下所有組件,而且提供所需的冷卻能力。

我想要的工作站具備雙路泰坦 RTX、9920x CPU 和 128 GB RAM,會產生大量的熱。

而且還要考慮到貓頭鷹空氣冷卻器和大量風扇,於是我只剩下兩個選擇:海盜船 Air 540 ATX 和追風者 Enthoo Pro Tempered Glass PH-ES614PTG_SWT。

兩個都是不錯的選擇,但是我最終選擇了後者,因為它上市時間更晚,規格也更大(全塔機箱),為未來更多定製化需求提供了選擇空間。

5. 雙路泰坦 RTX + 三插槽版 NVLink

雙路泰坦 RTX 是目前為止最重要也最昂貴的部分了。單這一項就在所有成本中佔了很大比重,但效果很棒不是嗎?

我想使自己的工作站具備高性能 GPU,英偉達的工作人員給我發過來兩塊泰坦讓我測試。

我愛上了它們:設計、放進工作站後的整體外觀,以及結合三插槽版 NVLink 高效提供 48 GB GPU 內存的能力。

如果預算不夠,兩塊英偉達 GeForce RTX 2080 Ti 也是不錯的選擇。只有一個問題:使用 RTX 2080 Ti 後訓練批大小需要比較小,而且在有些情況下你可能無法訓練大模型,因為 RTX 2080 Ti 的內存只有 11GB。此外,你還無法使用 NVLink,在泰坦中 NVLink 可以結合多個 GPU 的顯存(VRAM)。

6. 固態硬碟:三星 970 Evo Plus 1 TB NVME SSD

那麼,存儲呢?在 SSD 領域中,NVMe SSD 和三星 Evo Plus 毫無疑問是最受歡迎的兩款。

我買了其中一款,不過我的主板上有兩個 M.2 埠,將來我會使用 2TB 的 SSD 存儲。

你也可以多購買幾個 2.5 英寸的 SSD,來獲得更多的存儲空間。

7. 內存:海盜船 Vengeance LPX 128GB (8x16GB) DDR4 3200 MHz

我第一臺計算機的內存是 4MB,沒想到有一天我會用 128G 的內存來搭建計算機。

根據英偉達團隊的建議,我想配至少 96G 的內存。所以我沒在這上面省錢,直接配了 128 GB 的內存。

從圖中可以看出來,這些內存條不是 RGB lit。之所以這樣做,是因為貓頭鷹空氣冷卻器不會為內存插槽提供很大的間隙,而 RGB lit 的高度略高。這一點要記住。

另外,我從未嘗試過 RGB 配置,因為我的心裡只有泰坦。

8. 海盜船 1200W 電源

1200W 算是相當大的電源了,但你需要知道,這些組件在全功率情況下的瓦數估計是 965W 左右。

其實也有其他製造商提供的幾種電源可以選擇,而我選擇這款是因為「海盜船」的名字。本來我想選擇 HX 1200i 的,但買不到,而 AX1200i 又貴得多。它們也都是很好的選擇。

9. 更多風扇

靜音散熱器。

追風者機箱配備了三個風扇,但有人建議我升級一下進風口,並將機箱的排風扇升級為 BeQuiet BL071 PWM 風扇,因為雙泰坦會散發大量的熱量。我注意到這一點,是因為機器開機時,房間溫度比室外溫度高 2 到 3 度。

為了獲得最佳的散熱效果,我購買了五個這樣的風扇。我在機箱的頂部放了兩個風扇,和一個追風者機箱風扇放在一起,另外兩個放在了機箱前面,機箱後面也放了一個。

10. 周邊設備

已經擁有了上述組件,我不想買廉價的周邊設備。所以我買了一臺 LG 27UK650 4k 顯示器用來進行內容創作,一臺 BenQ(明基)EX2780Q 1440p 144hz 遊戲顯示器用來打遊戲,還買了一個海盜船 K68 Cherry MX 紅軸機械鍵盤和海盜船 M65 Pro 滑鼠。

至此,搭建工作全部完成!

帳單

買了這麼多組件,尤其是還配備了雙路泰坦,一共花了多少錢呢?

Rahul Agarwal 展示了購物清單:

清單地址:https://pcpartpicker.com/list/zLVjZf

帳單總價是 9031.74 美元,可以說相當昂貴了。不過這些價格會出現一些浮動空間,你可以選擇價格組合最低的時候入手。

最終成果證明這些努力都是值得的。

原文連結:https://towardsdatascience.com/creating-my-first-deep-learning-data-science-workstation-bd39c2f687e2

相關焦點

  • 從入門到入土:個人深度學習工作站配置指南(保姆級教程)
    作者 | 稚暉@知乎(已授權)  來源丨https://zhuanlan.zhihu.com/p/336429888  本文記錄了稚暉大佬組裝深度學習工作站過程中的超詳細操作流程,可謂是手把手教學  前言  工作原因一直想配置一臺自己的深度學習工作站伺服器,之前自己看完paper想做一些實驗或者復現模型的時候只能用自己的日常PC來跑很麻煩...一方面電腦得裝雙系統,幹活的時候就不能用作其他用途了;另一方面,即使是沒有使用流程的問題,GTX1080的性能也還是弱了一些,更何況我用的是一個A4迷你機箱,長時間高負載的訓練任務也不太可靠。
  • 泰坦RTX顯卡雙路SLI《F1 2018》《戰地3》8K解析度試玩演示公布...
    國外總是會有一些瘋狂的玩家,最近YouTube用戶「Thirty IR」與我們分享了兩段視頻:他用兩塊泰坦RTX顯卡雙路SLI,然後運行8K解析度/最高畫質的《F1 2018》和《戰地3》。我們都知道,泰坦RTX顯卡有著宇宙無敵的超強性能,那麼兩塊泰坦RTX顯卡能否hold得住8K解析度的遊戲呢?結果證明,不但能8K,而且流暢度超過60幀!一起來看看視頻吧!
  • 探尋馬上消費高成長之路:消金公司如何實現技術自建?
    作為一家科技驅動的持牌消費金融公司,馬上消費很早就意識到科技的重要性,選擇自建技術,自組大數據風控團隊。 但自主研發是一條艱難的路,投入周期長、風險大、成本高。據介紹,馬上消費覆蓋獲客、風控、客服、貸後等全流程的核心技術能力都是從0開始自主搭建研發。
  • 泰坦V VS 泰坦RTX、泰坦V VS RTX2060 3D Mark Port Royal跑分結果...
    我們現在已經知道了,那就是英偉達的泰坦V顯卡在《戰地5》中也可以開啟RTX特效,雖然Volta架構的泰坦V並無RT核心,但它還是藉助了DX12(DXR API)實現了對實時光線追蹤的支持。
  • 泰坦RTX到底是不是智商檢測卡?結果驚了!
    不過不得不說,泰坦的性能絕對是頂尖的。那麼今天我們就來看看有著24GB顯存的TITAN RTX究竟有多麼強悍的性能吧。英偉達最近幾款顯卡全部採用的是「煤氣灶」設計,這個外觀我已經無力吐槽了,不過金黃色的外觀還是比較能夠襯託出泰坦的土豪氣息。
  • 泰坦科技:科學服務一站式平臺,國內市場佔有率持續領先
    覽富財經網梳理發現,國內科創板上市企業泰坦科技(688133)是國內領先的科學服務公司,是國內為數不多可提供全流程覆蓋,綜合一站式實驗室服務的內資企業。公司深度聚焦實驗室場景,經過十多年的創新研發和基礎設施建設積累,產品和平臺持續更新換代,建立可充分滿足科研人員複雜需求的一體化服務體系,公司坐擁超60萬SKU產品矩陣直達終端,公司憑藉我國製造優勢和工程師紅利高效實現新產品研發和進口替代。
  • 深度揭密:華為自動駕駛雲服務Octopus,一隻八爪魚的前世今生
    而自動駕駛雲服務Octopus(八爪魚)就位於這張金字塔圖的塔尖,今天,小編今天就帶大家深度探索這隻"八爪魚"的前世今生。Octopus指的是華為自動駕駛雲服務,對應的中文意思是「八爪魚」,它與智能駕駛計算平臺MDC、智能駕駛OS一起,發揮華為雲+AI優勢,共同組成車雲協同的MDC智能駕駛平臺,開放合作,促進智能駕駛快速發展。
  • 臺灣擬明年啟動自建潛艇 初期耗資近9千萬美元
    臺灣軍工近日在臺北防務展上展示了自製最新型海劍羚艦載防空飛彈系統。該系統將被安裝在臺軍最新型沱江號雙體戰艦上。該飛彈號稱具備有防空反飛彈多任務打擊能力。  臺灣軍工展示自製海劍羚艦載防空系統  據中國國防科技信息網報導,臺灣防務部門日前向立法部門提交29億新臺幣(約合8932萬美元)的自建潛艇項目預算提案。
  • ...TikTok與Google達成超8億美元的雲服務合同;阿里雲聯合機械工業...
    17日在華為雲舉辦的「5G+網際網路峰會」上,虎牙聯合華為雲發布了音視頻領域的解決方案——昇騰AI內容審核解決方案。該方案基於昇騰全棧創新的能力,由虎牙研發AI識別引擎,通過讓機器自動學習理解內容,結合人審團隊加強違規內容的審核與過濾。
  • Rubin從谷歌離職時拿到了高達9000萬美元的補償
    因被爆性侵女員工而離職,但在離職谷歌時拿到了9000萬美元的補償。 更不可思議的是,Rubin從谷歌離職時拿到了高達9000萬美元的補償,分月付款,每月200萬美元,而今年11月正好是最後一筆補償付清。 現在,因為Rubin的事情,已經有人要求拉裡·佩奇從谷歌辭職。 2013年被爆性侵女員工,Rubin否認:都是我前妻的誹謗!
  • 雙路泰坦RTX顯卡運行8K解析度/最高畫質《地鐵離去》 試玩演示公布...
    YouTube用戶「Thirty IR」近日與我們分享了一段《地鐵離去(Metro Exodus)》的試玩演示視頻,他用兩塊英偉達的泰坦RTX顯卡SLI,在DirectX 11下運行了8K解析度(7680×4320),最高畫質的
  • 每周劃重點1.8-1.14 | Twitch花9000萬美元買OWL兩年獨家直播權
    【每周劃重點導讀】Twitch花9000萬美元買OWL兩年獨家直播權,目前暴雪和合作夥伴顯現出了雙贏局面;資本市場不再質疑OWL,但長遠來看電子競技的傳統體育之路仍面臨被證偽的危險;《絕地求生》國服預約正式開啟,但如果外掛問題不被解決,國服開啟可能也受到影響;2018年LPL春季賽合作夥伴公布,如何為合作夥伴爭取利益將是下一步要思考的事
  • 微軟申請DeepSpeed商標 考慮為雲服務提供深度學習優化庫
    微軟已經為深度學習優化庫 DeepSpeed 申請了商標保護。該商標於2020年12月8日提交,其中提到「為人工智慧處理和深度學習提供臨時使用的在線不可下載的計算機軟體」,這表明微軟可能在考慮通過在線雲服務提供 DeepSpeed。
  • 騰訊雲、鑫安雲、金蝶軟體等共同構建河南省企業上雲供給資源池!
    近日,河南省工信廳發布第三批企業上雲服務提供商名單,騰訊雲計算(北京)有限責任公司、河南鑫安利安全科技股份有限公司、金蝶軟體(中國)有限公司、北京金山辦公軟體股份有限公司等24家科技企業入圍,與第一、二批企業上雲服務提供商共同構建河南省企業上雲供給資源池。
  • 美國國會通過9000億美元紓困法案
    美國國會通過9000億美元紓困法案,聖誕假期將至,警惕金價下行風險當地時間12月21日,美國眾議院多數議員投票通過一項9000億美元的新冠援助法案以及1.4萬億美元的政府資金議案。北京時間12月22日中午有報導稱,參議院也通過了這兩項法案。不過,值得注意的是,有些經濟學家認為,該援助法案規模不夠大,推出的時間太晚。
  • ...化龍召開第四屆「街坊最滿意網格工作站」暨「網格服務之星...
    會上表彰了化龍鎮第四屆「街坊最滿意網格工作站」和「網格之星」、2020年度來穗人員和出租屋服務管理工作先進工作站和先進個人。化龍鎮黨委副書記欒立軍、黨委委員岑柏林、宣傳辦主任範麗旋、來穗中心全體網格管理員共81人參加了會議。
  • 安康北醫大院士工作站揭牌暨科技創新報告會舉行
    市委副書記、市長趙俊民,中國科學院院士、北京大學教授張禮和共同為工作站揭牌。省科協黨組成員、副主席呂建軍,市委常委、副市長劉建平出席並講話。劉建平首先對張禮和院士心系安康發展表示感謝,並代表市委、市政府對院士工作站的成立表示祝賀。
  • 「9000億美元計劃」對美國經濟有何影響?
    「9000億美元計劃」對美國經濟有何影響? 9000億美元刺激計劃獲美國會通過,但川普拒籤。當地時間12月21日,美國國會通過了總規模為2.3萬億美元的年度財政支出法案,其中包含一項8920億美元的財政刺激計劃,以應對在海外持續至今的疫情大流行。
  • Oracle 15億美元收購雲服務公司RightNow
    Oracle宣布已經完成對雲服務公司RightNow的收購。Oracle去年10月宣布,將以每股43美元的價格收購RightNow旗下價值約15億美元的現金和債務。Oracle表示,當前環境下,科技公司需要在市場營銷、銷售支持和服務階段為客戶提供一體化、個性化的相關體驗,提高客戶的忠誠度,促進他們的重複購買。Oracle稱,RightNow基於雲技術的客戶服務產品在市場上具有領先地位,可以幫助企業通過網站、社交網絡和聯繫中心提供卓越的客戶體驗,其產品將成為Oracle公共雲業務的重要組成部分。
  • ...扔了枚手榴彈威脅炸毀9000億美元新冠紓困法案」後,民眾崩潰
    【文/觀察者網 陶夢】對於許多美國人來說,這或將是一個「噩夢般的聖誕」:拿不到救濟金、交不起房租被驅逐、挨餓受凍……在美國總統川普突然「投擲了一枚手榴彈,威脅要炸毀9000億美元新冠紓困法案」後,於疫情中艱難求生的數千萬美國人可能將再次陷入困境。