在2020年的線上浪潮雲數據中心合作夥伴大會上,浪潮發布了業界首款智算中心算力調度軟體產品,全新的AIStation人工智慧推理服務平臺,這個平臺主要是為了讓企業實現AI生產環境而打造的。通過這個控制平臺可以實現推理服務資源的敏捷調配,並且支持多源模型的統一調度,大大的縮短了模型部署的時間,企業可以輕鬆部署AI推理服務,並且提升企業的AI交付以及生產效率。
企業對AI的需求是發展的動力
當前,AI模型開發進入到生產部署階段面臨著多重困難和挑戰:AI模型需要經過大量的調試和測試才能部署上線,這一過程通常需要2-3天;AI線上服務計算資源一般較固定,對於突發需求資源響應慢,業務擴展難;AI模型來源不同,統一管理也很困難。企業希望可以無縫銜接AI模型訓練開發與推理部署,進行高效的資源調度和模型管理,縮短業務上線周期。
浪潮AIStation推理平臺
最新發布的浪潮AIStation推理平臺是企業級AI推理服務平臺,通過彈性可伸縮架構、低延遲輕量化設計、A/B測試滾動發布、多模型加權評估等重要技術創新,幫助企業高效利用AI計算資源,快速部署推理服務。AIStaion推理平臺具有一鍵部署、快速響應、日誌監控、資源管控、數據處理等功能,是功能全面強大的AI資源平臺。
AIStation推理平臺支持本地On-Premise和雲端Cloud部署,保證服務的可獲得性和業務連續性,實現了AI模型從開發環境到生產部署繁雜過程的自動化快捷操作,將模型部署時間從兩三天降低到幾分鐘。
AIStation推理平臺能夠敏捷調配服務資源
在資源調度方面,AIStation推理平臺能夠敏捷調配服務資源。採用創新的彈性可伸縮架構,可根據推理服務資源需求的變化及時調整資源配給,將響應突發需求的實例部署時間從幾小時縮短到幾分鐘。並且支持新模型發布前A/B測試,在實際業務場景中驗證模型有效性,保證推理業務的安全、可靠,同時避免了流量切換所導致的集群負載壓力。
AIStation推理平臺實現了多源模型統一調度
在模型管理方面,AIStation推理平臺實現了多源模型統一調度。通過統一平臺管理多源、多場景模型的推理服務,實時掌控全局資源,對模型服務實現綜合調度和動態部署。同一資源池可同時支持多家模型服務,將資源利用率從40% 提高到80%。並且可實現多模型加權評估,通過對不同預訓練模型的計算結果進行自定義權值設置,有效提升實際業務場景中預測結果的可靠性,構建可靠可信的智能系統,有效降低誤判率。
AIStation推理平臺
之前浪潮推出的AIStation訓練平臺已經獲得廣泛應用,該平臺通過計算資源細粒度調度、訓練數據緩存加速、分布式訓練自動編排等策略,使用戶的AI計算資源利用率提高到90%以上,大幅縮短了模型開發周期。隨著本次浪潮AIStation推理平臺的面世,AIStation資源平臺全面支持訓練與推理兩大場景,實現從模型開發、訓練、部署、測試、發布、服務的全流程一站式高效交付。
智算中心成為AI新基建
浪潮AI&HPC總經理劉軍表示:「智算中心是人工智慧新基建,它生產和供應人工智慧計算力,是社會經濟運行的智慧基礎設施。而要讓智算中心充分釋放算力,就需要按需靈活調度算力。AIStation對於智算中心新基建的意義,就相當於電廠和電網的核心調度系統,它能夠根據AI應用需求高效調度AI算力資源,幫助企業加速AI研發創新、提速AI生產交付,讓企業更專注於AI開發本身,從而賦力更多創新可能,加速AI落地應用。」
浪潮幫助企業快速將AI智能落地實行
浪潮的主要發展目標就是為了和合作夥伴建立元腦生態,通過對ai計算,資源與算法這三大核心平臺能力的共享來實現發展目標,幫助行業用戶將自己的行業大腦成功部署出來,並且推進各個產業的AI智能化落地實行。在我國,浪潮在人工智慧計算領域中是具有領先價值的,在發展的過程中,通過與人工智慧智能領先的科技公司保持長期的深入合作,提升了用戶在語音,語義,圖像,視頻,搜索,網絡上的應用性能。
免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。