浪潮AI伺服器NF5488A5的實測數據分享,單機最大推理路數提升88%

2020-12-26 電子發燒友

浪潮AI伺服器NF5488A5的實測數據分享,單機最大推理路數提升88%

美通社 發表於 2020-12-24 15:25:01

近日,在GTC China元腦生態技術論壇上,中科極限元、趨動科技、睿沿科技等元腦生態夥伴分享了多個場景下浪潮AI伺服器NF5488A5的實測數據,結果表明浪潮NF5488A5大幅提升了智能語音、圖像識別等AI模型的訓練和推理性能,促進了產業AI解決方案的開發與應用。

 

NF5488A5是浪潮自研的新一代AI伺服器,在4U空間內支持8顆第三代NVLink全互聯的A100晶片,可為用戶提供高達5 PetaFLOPS的AI計算性能和超高速帶寬,為各類AI應用場景提供強大的計算力支撐。NF5488A5曾屢次打破全球權威AI測試榜單MLPerf的記錄,基於ImageNet的ResNet50基準測試顯示,NF5488A5完成訓練僅需33.37分鐘,單機性能高居第一;推理性能達到每秒54.9萬張圖片,3倍於去年推理榜單的伺服器最好性能。

在本次GTC元腦生態技術論壇上,生態夥伴展示了與浪潮的合作方案並公布了在NF5488A5上的性能實測數據。

中科極限元開發的智能語音交互解決方案在國內處於領先水平,廣泛應用於教育、交通、呼叫中心、智能硬體等多個領域,本次在浪潮NF5488A5進行加速。NF5488A5高性能、高帶寬、易部署的特性極大地促進了智能語音模型訓練及線上推理。測試數據顯示,在相同準確率下,與原有的系統相比,NF5488A5將模型訓練速度提升了50%,單機最大推理路數提升88%,推理延遲提升65%。

趨動科技與浪潮聯合打造了業內領先的一體化GPU資源池化解決方案。本次測試採用TensorFlow框架的Benchmark,測試小模型推理、大模型訓練等多種AI應用場景,驗證趨動科技OrionX AI加速器資源池化方案對浪潮NF5488A5的兼容性和性能。結果表明,NF5488A5伺服器性能優異,部署資源池化方案後,本機性能損耗小於1%,對比以往伺服器的GPU性能,數據提升近50%。

睿沿科技推出的高山雨燕工業視覺平臺是為工業生產場景構建的智能多業務管理安全生產管理平臺,可實現遠程巡檢、作業安全監管、區域安防等功能。該平臺在計算層使用了浪潮NF5488A5加速訓練和推理。實測結果顯示,在圖片視頻解析度相同的情況下,模型原來的訓練時間為140分鐘,使用NF5488A5之後,訓練時間可縮短到105分鐘,速度提升25%。單機最大推理FPS(每秒傳輸幀數)由20800提高到28000,提升35%。

以上實測數據顯示,浪潮NF5488A5可廣泛應用於圖像視頻、語音識別、金融分析、智能客服等典型AI應用場景,幫助AI用戶高效完成AI基礎設施和開發環境的構建,縮短開發周期,顯著提升AI開發和應用效率。

浪潮是全球領先的AI計算領導廠商,其AI伺服器在中國的市場份額已連續三年保持在50%以上。面對產業AI化的趨勢,浪潮提出元腦生態,將聚集左右手夥伴、浪潮AI資源,以更加優質的產品技術能力和整體方案實施能力助力更多用戶實現智能化轉型和升級。在元腦生態中,浪潮將共享AI計算平臺、AI資源平臺和AI算法平臺。目前元腦生態吸引了200+左右手夥伴參與,孵化出6大行業100+解決方案。

責任編輯:gt

打開APP閱讀更多精彩內容

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容圖片侵權或者其他問題,請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 燧原科技進軍AI邊緣領域,攜手浪潮推出邊緣AI推理伺服器
    2020年12月23日,中國上海——燧原科技繼前日發布首款人工智慧推理產品 「雲燧i10」,又宣布攜手浪潮,共同推出基於雲燧i10的浪潮邊緣計算伺服器「NE5260M5」。標誌燧原科技業務向AI邊緣推理的拓展。該伺服器可根據客戶需求支持2-4張雲燧i10,為邊緣AI推理應用如自動駕駛、智慧交通、ETC識別、精密儀器預測性維護、AI工業質檢等場景提供強大算力支持。
  • 浪潮伺服器為韓國最大音樂平臺MelOn提供計算力支持
    【導讀】浪潮雙路伺服器NF5280M5,為韓國最大的音源網站MelOn提供計算力支持,憑藉強勁性能、穩定可靠的品質和AI算力支持MelOn不斷提升用戶體驗,獲得用戶的廣泛認可。聽音樂已經成為人們休閒娛樂的一種重要方式,尤其是隨著數位技術和智慧型手機的不斷發展,音樂市場已被網際網路音樂平臺重新洗牌。
  • 超越英偉達的,不會是另一款GPU——鯤雲數據流架構AI晶片利用率...
    第三方測試數據顯示僅用1/3的峰值算力,CAISA晶片可以實現英偉達T4最高3.91倍的實測性能。鯤雲科技的定製數據流技術不依靠更大的晶片面積和製程工藝,通過數據流動控制計算順序來提升實測性能,為用戶提供了更高的算力性價比。
  • 當你在糾結1U還是2U伺服器時,先來看看這些
    當供電能力超過6kW,提升伺服器密度就成為必然選擇隨著更多新技術的應用(比如超融合基礎設施、微服務和容器等),外加Intel CPU的TDP逐漸提升(新一代Purley平臺的CPU單顆功耗最高達到205W),單機櫃的實際用電需求正在不斷提升。
  • a&s 功能實測 比特大陸算豐SC5+雲端AI計算加速卡
    另外,該加速卡還可適配各類x86 伺服器,國產CPU系統如飛騰、申威、兆芯等;適配各類主流Linux作業系統(CentOS/Ubuntu /Debian),包括國產麒麟、Deepin;同時算豐SC系列加速卡產品也是國內首批支持百度PaddlePaddle深度學習開源框架的硬體產品之一。在 2020 年 3 月,百度的Paddle Lite推理開源框架宣布和比特大陸實現全面適配。
  • 浪潮伺服器沈榮:數位化轉型在切實改變著我們整個世界
    浪潮伺服器產品線總經理沈榮在浪潮伺服器&英特爾傲騰持久內存 媒體溝通會上說道。疫情期間,在線辦公、快速測溫等數位化應用成為常態,企業也通過數位化轉型降低了疫情影響的程度。傳統的生產生活方式正在重構,無人駕駛、智慧工廠、智能零售、遠程醫療、智慧教育等場景無處不在,智慧時代已然來臨。
  • 國內品牌成為市場主導者,AI伺服器國產替代進程提速
    近段時間,與AI伺服器相關的重磅消息屢屢見諸報端:中移動AI伺服器招標結果出爐,國內品牌拿下大單;浪潮宣布全新發布5款AI伺服器,應對多種人工智慧計算場景……而IDC最新數據顯示,浪潮/華為/曙光已經佔據中國AI伺服器市場74%份額,國內品牌已經成為市場的主導者,國產替代進程在提速。
  • 浪潮AI資源平臺再度升級 提升與企業業務的適配度
    浪潮作為全球領先的人工智慧計算領導品牌,不僅在AI伺服器領域佔據很大的市場份額,而且還與多個技術領先的科技公司保持合作,幫助AI客戶在語音、語義、圖像、視頻、搜索、網絡等方面取得數量級的應用性能提升。   近日,浪潮又重磅推出了人工智慧開發平臺AIStation3.0。
  • 七夕節脫單「神助攻」,AI教你寫情話
    與傳統的Seq2Seq做法相比,該模型實際使用效果具備更強的泛化能力,即使是微調使用的數據集中沒見過的詞彙或句子,模型也能夠理解。例如輸入「小編帶大家了解一下程式設計師情人節」,將會輸出:實際上「程式設計師」「資料庫」這些詞是從未出現在情話數據集中的,但是得益於知識增強的語義表示模型ERNIE帶來的泛化能力,使模型仍然能夠領悟到二者之間的關係。
  • 面向雲端數據中心 燧原科技發布首款人工智慧推理產品
    人工智慧早已影響了人們工作生活的各個方面,人工智慧需要數據的支持,而大數據處理早已進入需要雲端支持的時代。因此面向雲端數據中心的人工智慧加速卡為數據處理提供了強大的算力。燧原科技創始人兼CEO趙立東繼去年12月發布了首款面向數據中心的人工智慧訓練加速卡「雲燧T10」後,今天燧原科技發布首款人工智慧推理產品「雲燧i10」,這正是一款面向雲端數據中心的高性能推理卡,用以滿足由於AI應用和落地場景迅速擴大,市場和客戶對更高性價比以及國產化和差異化雲端推理產品的需求。
  • ...雲智能一體化融合計費系統架構 浪潮商用機器助力中國聯通領跑...
    浪潮K1 Power Linux築基底層架構 分布式加容器雲提升用戶體驗   運營商傳統計費系統不支持橫向擴展,在部署方式上按區域獨立,僅支持按地區拆分進行擴容,其能夠支撐的最大用戶數量只有2000萬左右,能夠支撐的最大話務量約為20億/天,且系統CPU利用率過高。
  • 築基5G雲智能一體化融合計費系統架構 浪潮商用機器助力中國聯通...
    浪潮K1 Power Linux築基底層架構 分布式加容器雲提升用戶體驗   運營商傳統計費系統不支持橫向擴展,在部署方式上按區域獨立,僅支持按地區拆分進行擴容,其能夠支撐的最大用戶數量只有2000萬左右,能夠支撐的最大話務量約為20億/天,且系統CPU利用率過高。
  • 浪潮助力海外Top直播平臺升級
    新數字經濟時代,視頻直播需求爆發——購物直播、在線教育、在線會議、演唱會……眾多公司開始涉足在線視頻領域,視頻成為網際網路數據流量的主要來源。 視頻直播平臺為用戶帶來更多優質的視頻、音樂體驗的同時,其視頻畫質、流暢度、轉碼效率需求也在不斷提升。
  • 夏日專刊AI產品上新升級集錦,50餘項軟硬能力加速場景落地
    >飛槳目標檢測套件 PaddleDetection 的研發團隊為了讓 YOLOv3 模型在工業實際應用場景擁有更優異的精度與推理速度,以儘量不增加模型計算量和推理開銷為前提,探索出了一整套更深度的算法優化秘籍,將原先 YOLOv3 模型的精度(在 COCO test-dev2017 數據集)從33.0%提升了12.9個絕對百分點,達到45.9%,處於業界領先行列!
  • 英偉達扔出20枚「AI核彈」!540億個電晶體的GPU,一個機櫃秒數據中心
    3、發布全球最強AI和HPC伺服器平臺HGX A100,最大可組成AI算力達10PFLOPS的超大型8-GPU伺服器。A100利用了英偉達安培架構的設計突破——成為首個內置彈性計算技術的多實例GPU,提供了NVIDIA迄今為止最大的性能飛躍——統一了數據分析、訓練和推理,將AI訓練和推理性能提高到上一代的20倍,將HPC性能提升到上一代的2.5倍。
  • 實測數據有一點略悲觀!
    今天基哥就拿國外網友的星鏈實測數據,以及自家的100M移動寬帶進行一次實際對比,簡單分析一下,目前600顆左右的星鏈衛星能夠帶來什麼樣的寬帶體驗!首先放出這張國外網友對星鏈的實測結果圖:熟悉測速網站的朋友對上圖應該很熟悉,這位網友是通過SpeedTest網站進行的在線寬帶測速,測試時連接的伺服器位於美國密西根州的馬凱特(Marquette)市,該市位於美國和加拿大的交界處,正好也印證了星鏈優先服務於加拿大和美國北部的計劃。
  • 浪潮沈榮:需求引領開放,開放走向未來
    2020年9月中旬,浪潮信息副總裁、浪潮伺服器產品線總經理沈榮出席了由ODCC舉辦的「ODCC 2020開放數據中心峰會」,進行了題為《釋放計算力開放即未來》為題的精彩分享,並在會後接受了媒體的採訪,以開放的心態向業界展現了浪潮開放計算的理念和對未來的探索。
  • 浪潮大數據分析平臺專題及常見問題 - CSDN
    近年來,大數據處理與分析已經成為全球性問題,引起歐美各國政府和產業界高度重視,美國政府於2012年3月率先發布了《大數據研究與發展計劃》,Google, Amazon、Facebook、IBM、EMC、SAP等國際領先網際網路和仃公司都在相關技術領域和應用進行布局,力圖在大數據產業浪潮中搶得先機。
  • 挺進雲端AI訓練&推理雙賽道,獨家對話燧原科技COO張亞林:揭秘超高...
    通過對雲端推理市場進行廣泛調研和用戶畫像,燧原針對性地進行了極致能效提升、多用戶虛擬化、工藝良率優化、散熱方案增強等全方位產品打造,並完全獨立重新設計了推理軟體全棧和板卡系統,使雲燧i10擁有出色的用戶價值特性。從燧原公布的基準測試表現來看,雲燧i10可以說是不負所托。