MacOS上雲了!AWS還推出機器學習Trainium晶片:萬億次浮點運算,推理...

2020-12-27 騰訊網

新智元報導

編輯：QJP

【新智元導讀】AWS宣布推出AWS Trainium，這是專門用於訓練機器學習模型的下一代定製晶片，同時AWS還承諾通過對 TensorFlow、 PyTorch 和 MXNet 的支持，可以提供比任何競爭對手更高的雲服務性能。

一直以來，機器學習都受到大大小小的限制。

模型的大小、速度以及昂貴的硬體，都是難以突破的瓶頸。

據MIT的一份報告指出，機器學習的相關研究很可能正在接近計算的極限。OpenAI 花費了1200萬美元來訓練它的 GPT-3語言模型，谷歌花費了大約6912美元來訓練BERT。

AWS可能要提供更高的性價比。

在昨日的re:Invent開發者大會上，AWS發布了其設計的第二款定製的機器學習晶片--AWS Trainium。該公司承諾，它可以提供比雲端任何競爭對手更高的性能，同時也支持 TensorFlow、PyTorch 和 MXNet等。

除了提供最具性價比的機器學習訓練方案之外，Trainium 還提供了最高性能的計算能力 ，並支持更廣泛的機器學習應用。

新一代定製晶片AWS Trainium，讓模型推理成本再降45%

這款定製晶片的主要優勢是速度和成本，AWS 承諾與標準 AWS GPU 實例相比，吞吐量提高30% ，每次推斷的成本降低45% 。

Trainium 這款晶片還專門針對深度學習訓練工作負載進行了優化，包括圖像分類、語義搜索、翻譯、語音識別、自然語言處理和推薦引擎等。它將以EC2（亞馬遜彈性計算雲）實例的形式出現在亞馬遜的機器學習平臺 SageMaker 中，基於這些定製晶片的新實例將於明年正式推出。

隨著機器學習領域的加速進展，迫切需要提高性能，降低由推理和訓練驅動的基礎設施成本。就在去年，AWS 推出了AWS Inferentia，為客戶提供低成本高性能的機器學習推理能力。雖然 Inferentia 解決了推理的成本，但許多開發團隊還是受到固定的機器學習訓練預算的限制。

這就限制了改進其模型和應用所需的訓練的範圍和頻率。而新發布的 AWS Trainium 通過為雲端機器學習訓練提供最高的性能和最低的成本來應對這一挑戰。

AWS Trainium 與 AWS Inferentia 有著相同的AWS Neuron SDK，這使得使用 Inferentia 的開發者可以很容易地開始使用 Trainium。

因為 Neuron SDK 集成了流行的機器學習框架，包括 TensorFlow、 PyTorch 和 MXNet，開發人員可以輕鬆地從基於GPU的實例遷移到 AWS Trainium，代碼更改很少。

AWS Trainium 將通過 Amazon EC2實例和 AWS 深度學習 AMIs 以及管理服務(包括 Amazon SageMaker、 Amazon ECS、 EKS 和 AWS Batch)提供。

不過，由於沒有基準測試，目前尚不清楚 Trainium 與谷歌的TPU進行比較結果如何。

谷歌最近也表示，在其即將推出的第四代TPU上，矩陣乘法(矩陣通常被用來表示輸入人工智慧模型的信息)運算速度將是第三代TPU的兩倍以上，同時受益於互連技術的進步，它還提供了一個顯著增強的內存帶寬。

此外，AWS 也正與英特爾合作，推出基於 Habana Gaudi 的 EC2實例，用於機器學習訓練。

明年起，這些實例也將有望提供比當前基於GPU的機器學習EC2實例高出40%的性價比，同時這些晶片也將支持 TensorFlow 和 PyTorch。這些都將於2021年上半年在 AWS 雲中首次亮相。

AWS全球首推基於Mac Mini的EC2計算實例，可在雲端運行MacOS

從今天開始，基於 Mac 作業系統的 Mac Amazon EC2 實例已經正式啟用！

通過基於Mac mini，EC2 Mac實例首次使用戶能夠在 AWS 雲中運行macOS，從而將 AWS 的靈活性、可擴展性和成本效益擴展到所有蘋果開發人員。

通過 EC2 Mac 實例，為 iPhone、 iPad、 Mac、 Apple Watch、 Apple TV 和 Safari 開發應用程式的開發人員現在可以在幾分鐘內訪問 macOS 環境，並根據需要動態擴展容量。

時至今日，已經有數以百萬計的蘋果開發者依靠 macOS 及其創新的工具、框架和 API 為蘋果開發、構建、測試各種應用程式，這些平臺在全球範圍內服務超過10億用戶。

通過 EC2 Mac 實例，開發者現在可以利用 AWS 的靈活性、彈性的優勢，更多地關注核心創新，比如開發有創意和實用的應用程式，進而減少在基礎設施管理上的花費。

EC2 Mac 實例由 Mac mini 提供支持：採用 Intel 的第8代3.2 GHz (4.6 GHz turbo) Core i7處理器、6個物理/12邏輯核心和32GB內存，以及 AWS Nitro System，通過高速 Thunderbolt 3連接提供高達10gbps 的 VPC 網絡帶寬和8gbps 的 EBS 存儲帶寬。

亞馬遜 EC2 Mac 實例由 AWS Nitro System 獨一無二地啟用，，支持 macOS Mojave 10.14和 macOS Catalina 10.15，不久後將支持 macOS Big Sur 11.0。

用戶還可以通過 SSH 連接到 Mac 實例，通過 SSH 連接到命令行界面，通過 VNC 客戶端共享活動遠程屏幕，獲得圖形界面。

EC2 Mac 實例的可用性也將管理基礎設施的重擔給了 AWS，這意味著蘋果開發人員可以完全專注於開發優秀的應用程式。

AWS發言人在接受採訪時說，這些實例是在裸機上運行的，意味著開發人員將獲得Mac的全部功能，而不是由虛擬機提供的功能。

AWS 還透露，配備蘋果基於M1 ARM晶片的Mac Mini實例將於2021年上市。

EC2 Mac實例現已在美國東部（維吉尼亞北部）、美國東部（俄亥俄州），美國西部（俄勒岡州）、歐洲（愛爾蘭）和亞太（新加坡）等地區提供預覽版，很快會覆蓋其他地區。

用戶可以選擇根據需要為實例付費，如果打算經常使用實例，也可以選擇節約資金的方案。

是不是很期待？

參考連結：

https://venturebeat.com/2020/12/01/amazon-debuts-trainium-a-custom-chip-for-machine-learning-training-workloads/

相關焦點

  • 微軟推出機器學習系統Brainwave,超低延遲、堪稱實時AI
    、低延遲機器學習模型的系統，也預示著微軟開始在專用AI硬體領域嶄露頭角。該公司展示的這個名為Brainwave的新系統，允許開發人員將機器學習模型部署到可編程晶片上，並獲得超出CPU或GPU的高性能。研究人員在加利福尼亞州庫比蒂諾熱舉辦的Hot Chips大會上演示了門控重複單元模型，在沒有批量操作的情況下，該模型運行在英特爾最新的Stratix 10現場可編程門陣列（FPGA）晶片上的速度可達到39.5萬億次浮點運算。
  • 亞馬遜自研雲端AI訓練晶片來了!明年下半年投入使用
    從2021年下半年起，Trainium將搭載於EC2實例和亞馬遜完全託管機器學習開發平臺SageMaker上，同時還將支持谷歌的TensorFlow、臉書的PyTorch和MxNet等主流框架。▲在AWS re:Invent 2020大會上，亞馬遜推出了自產晶片AWS Trainium。
  • 蘋果自研Apple M1晶片對機器學習意味著什麼?
    蘋果聲稱這是「世界上最快的個人電腦集成顯卡（最快的集成在PC上的圖像處理器）」，具有每秒2.6萬億次浮點數計算(32位的浮點數)的吞吐量。當然，這對於一個集成的GPU來說是令人印象深刻的，但作為數據科學家，我們更感興趣的是其整體性能。 讓我們來看看和其他GPU的比較。
  • 「AWS後疫新戰略5:通用運算、加速運算」推出多款自行設計晶片...
    關於運算型態的公有雲服務提供，AWS的EC2發展至今已長達14年之久，每年新推出的執行個體（instance）服務，往往反映了當時的運算技術發展重點，而在今年的全球用戶大會上，AWS基於他們自行設計的矽晶片，以及其他廠商最新發表的中央處理器（CPU）、圖形處理器（GPU），也發表新的執行個體服務。
  • 蘋果A13晶片參數:85億個電晶體 每秒可1萬億次運算
    來源：新浪科技相關新聞：直播2019年蘋果發布會(英文原聲+中文字幕)蘋果2019年秋季新品發布會：談色彩 致創新新浪科技訊 北京時間9月11日凌晨消息，蘋果2019秋季發布會今日凌晨舉行，蘋果發布的三款新一代iPhone搭載了A13仿生晶片
  • AMD加速計算方案突破萬億次浮點運算障礙
    AMD公司近日展示了一個突破萬億次浮點計算障礙的單系統加速計算（Accelerated Computing）平臺。眾多機構都期待此項技術能夠被廣泛應用於科學、醫藥、商業和消費類電子等領域。在舊金山的一次新聞活動中，AMD 展示了一個「單盒萬億次浮點計算」（Teraflop-in-a-Box）系統，它運行標準版本的Windows XP Professional系統，利用AMD 雙核皓龍處理器和兩個新一代AMD R600流處理器的超強性能，採用通用的」multiply-add」 (MADD) 計算方法，能夠實現每秒1萬億次以上的浮點計算。
  • 亞馬遜AWS用180分鐘發布十多個新品:含機器學習晶片、AI創新、區塊...
    Amazon Elastic Inference 在EC2實例上輔以圖形加速處理，以實現低成本的快速推斷運算。Amazon Marketplace for Machine Learning 提供上百可直接在Amazon SageMaker 上部署的機器學習算法和模型。
  • 亞馬遜雲服務(AWS) 為機器學習擴圈 觸及每一位AI工作者
    AWS大中華區雲服務產品管理總經理顧凡介紹說，「亞馬遜利用機器學習技術已經有20多年時間，這是AWS機器學習服務的深厚源泉。AWS在2016年開始發力，在雲上提供機器學習服務。當年只發布了三個服務，2017年開始加速，最近三年，每年新增的服務和功能超過200個，為全球人工智慧工作者豐富了他們急需的工具集。」
  • Flex Logix推出高性能、高效率AI 邊緣推理晶片
    這是高質量、高性能的AI推理產品第一次真正走向普羅大眾。原本昂貴的AI推理將不再遙不可及。InferX X1 配套的軟體使其非常易於用戶使用。其中的InferX Compiler可以將TensorFlow Lite 或者 ONNX 的模型直接轉換為可以在InferX X1上運行的程序。
  • 亞馬遜雲服務(AWS) 為機器學習擴圈 觸及每一位AI工作者 | 網際網路...
    」AWS大中華區雲服務產品管理總經理顧凡介紹說，「亞馬遜利用機器學習技術已經有20多年時間，這是AWS機器學習服務的深厚源泉。AWS在2016年開始發力，在雲上提供機器學習服務。AWS支持主流的機器學習框架，客戶還可以通過容器部署的方式，自帶機器學習框架；AWS可以提供基於英偉達、英特爾、AMD、賽靈思等晶片廠商的最新處理器的強大算力，同時還通過自主設計的處理器，極大地降低機器學習的算力成本。
  • 英國發射四顆衛星:僅有鞋盒大小 每秒運算2萬億次
    英國發射四顆衛星：僅有鞋盒大小 每秒運算2萬億次  Winnie Lee • 2020-09-29 09:25:02　來源：前瞻網
  • 亞馬遜雲服務(AWS) 展現出機器學習的四大擴圈舉措
    AWS在2016年開始發力，在雲上提供機器學習服務。AWS支持主流的機器學習框架，客戶還可以通過容器部署的方式，自帶機器學習框架；AWS可以提供基於英偉達、英特爾、AMD、賽靈思等晶片廠商的最新處理器的強大算力，同時還通過自主設計的處理器，極大地降低機器學習的算力成本。工具集的中間層，面向那些技術能力較強的客戶，他們有大量的數據可以進行機器學習模型訓練，有一定的算法人才，不要花精力管理基礎設施，專注於自己的應用和業務創新。
  • 比拼浮點運算速度 超算排行榜是這樣「算」出來的
    6月17日，新一期全球超算500強榜單出爐，入選500強的所有超算浮點運算速度都突破每秒千萬億次，中國超算也在前四佔有兩席位置。普通計算機用指令運算速度衡量計算性能，而超算通常用浮點運算速度來衡量其性能。那麼，什麼是浮點運算速度，超算榜單為什麼會選擇浮點運算速度來進行比較？
  • 人工智慧晶片與傳統晶片有何區別
    谷歌在I／O大會發布了其第三代TPU，並宣稱其性能比去年的TUP 2.0 提升8倍之多，達到每秒1000萬億次浮點計算，同時谷歌展示了其一系列基於TPU的AI應用。 可以說，AI已經成為科技行業除了區塊鏈之外最熱門的話題。AI晶片作為AI時代的基礎設施，也成為目前行業最熱門的領域。
  • AI工作者的福音:AWS推出機器學習四大擴圈舉措
    在人工智慧領域，機器學習是人工智慧領域中核心研究領域之一，據統計大約有89%的人工智慧專利與機器學習有關。而作為機器學習領域中的翹楚，亞馬遜已經利用機器學習有20多年的時間，超過10萬名客戶正在使用亞馬遜雲服務（AWS的）機器學習服務，很多客戶已經將機器學習用於其核心業務，在去年一年AWS就新增了250多項機器學習功能。
  • 晶片問世、Outposts上市、SageMaker大更新,AWS如何成為「規則改變...
    1、發布基於AWS設計的首款機器學習推理晶片，帶來3倍的吞吐量，降低 40% 單次的成本2、機器學習模型SageMaker大更新，「長出」多個新服務3、Outposts正式上市，實現客戶本地部署AWS4、AWS宣布正與 Verizon 合作推出AWS Wavelength 5G
  • 一種越來越多被應用於加速機器學習應用的浮點格式bfloat16
    英特爾也認為該格式在未來AI計算中也有龐大的應用潛力，因此整合到其即將推出的「Cooper Lake」Xeon SP處理器，以及「Spring Crest」神經網絡處理器中，未來的Xe GPU也會支持。而包括Wave Computing、Habana Labs和Flex Logix等AI晶片新創公司也採用了支持該計算格式的定製AI處理器。
  • 仔細研究機器學習晶片製造商Mythic
    其他為Mythic在2019年初投入量產的投資者還包括Sun Microsystems和Arista Networks的聯合創始人Lockheed Martin和Andy Bechtolsheim。 與主導培訓中使用的伺服器晶片的Nvidia不同，Mythic專注於嵌入式推理。例如，訓練算法可以滾動瀏覽數百萬張照片，以教授機器學習模型來識別特定對象，如貓。推理過程涉及使用模型解釋前所未見的圖像。
  • 一文看全:全球99家AI晶片公司全景圖,中國正在崛起
    Snapdragon 855移動平臺 高通的第四代設備上AI引擎驍龍855，其AI是前一代的3倍，每秒執行超過7萬億次操作(TOPS)。
  • 亞馬遜雲服務 (AWS) 為機器學習擴圈,觸及每一位 AI 工作者
    這是亞馬遜 re:Invent 大會上的首次機器學習主題演講。Swami 主題演講中表示，「機器學習是我們這一代人能遇到最具顛覆性的技術之一，目前已經有超過 10 萬客戶在使用 AWS 的機器學習服務，很多客戶已經將機器學習用於其核心業務。」AWS 大中華區雲服務產品管理總經理顧凡介紹說，「亞馬遜利用機器學習技術已經有 20 多年時間，這是 AWS 機器學習服務的深厚源泉。