雲端AI推理需求將在2022年迎來爆發。繼去年底發布首款面向數據中心的AI訓練晶片「邃思」及加速卡「雲燧T10」後，燧原科技又發布了首款面向雲端的高性能推理卡。
疫情加快了數據中心建設步伐和AI應用的速度。「傳統數據中心和AI沒有直接關係，就是X86+GPU加一堆存儲和數據搬運，但現在數據中心越來越多引入AI加速平臺。AI的滲透率會越來越高，我們預計滲透率會從5%到25%-30%，市場非常龐大。」燧原科技CEO趙立東在接受第一財經專訪時表示。
12月21日，燧原科技發布首款面向數據中心的AI推理產品 「雲燧i10」。該公司是騰訊投資的國內AI晶片初創企業。2018年8月，燧原科技由騰訊領投獲得Pre-A輪融資3.4億元人民幣。今年5月，燧原科技宣布完成B輪融資7億元人民幣，由半導體產業基金武嶽峰資本領投，騰訊、上海雙創等跟投。
按使用場景劃分，AI晶片主要分為雲端和終端晶片。目前主流的神經網絡深度學習包括訓練和推斷兩個部分。雲端追求高性能，開發成本更大，終端更側重低成本和低功耗。目前中國AI初創企業主要布局在終端和邊緣側。
趙立東認為，面向數據中心的高性能AI計算晶片及分布式集群作為人工智慧產業的基礎設施，從架構升級到應用場景的落地，都蘊含了巨大的市場空間和機遇。
除了訓練側，雲端AI推理的需求也不斷攀升。研究機構賽迪顧問報告顯示，從2019年到2021年三年中國AI晶片市場規模仍將保持50%以上的增長速度，到2021年，市場規模將達到305.7億元。其中，隨著大規模地方性數據中心的建設陸續完成，雲端訓練晶片增長速度放緩；而隨著各領域市場需求的釋放，雲端推斷晶片、終端推斷晶片市場增長速度將持續呈上升趨勢。
數據顯示，從2019年到2024年，雲端訓練晶片的年複合增長率為32%，而雲端推理的增長率將達69%。到2022年，中國雲端推理晶片市場規模將達到189億元，首次超過雲端訓練市場規模。
趙立東表示，AI真正起步在過去五六年，國內更晚，BAT等大企業從2018、2019年才開始大量採購英偉達V100訓練晶片，「訓練跟推理的關係是——訓練出來的模型被部署到推理產品上使用。當模型、算法不成熟，你需要不斷訓練、迭代，成熟了才能被部署到推理上去真正應用。從2018年開始到2022年，很多場景的算法和模型經過這幾年開始逐漸成熟，真正規模化應用。當推理晶片銷售收入超過訓練晶片，很多算法、模型已經開始被廣泛應用了。對AI領域來講，2022年是個重要的節點。」
在生態合作方面，燧原科技COO張亞林稱：「雲燧i10已完成與浪潮、新華三及Supermicro等伺服器廠商推理伺服器的適配。可適用於視頻圖像、語音、自然語言處理、知識圖譜等多種應用場景，並針對內容理解、推薦、識別等高精度場景做了優化。」
據悉，雲燧i10是單槽位標準卡，支持PCIe 4.0，FP32算力達17.6TFLOPS，BF16/FP16算力70.4TFLOPS，將於明年第一季度上市。同時，燧原科技發布了推理引擎「鑑算TopsInference」。
燧原科技的雲端訓練產品已實現商業落地。今年9月，燧原科技稱，「雲燧T10」和由其組成的多卡分布式訓練集群已在雲數據中心落地，正式進入商用階段。騰訊是燧原科技的重要合作夥伴，趙立東告訴第一財經，雙方將進一步加強合作的廣度和深度。不過，他指出，「騰訊是我們起步期（破冰）的重要夥伴，起步是最難的，從0到1。騰訊給我們很大幫助，是我們第一個具有戰略意義的重要客戶，但絕對不是唯一的。」
據介紹，燧原科技有三大目標市場，一是雲服務提供商，包括公有雲、私有雲、混合雲等，這類企業有大量的流量和數據，需要訓練算法加速AI相關應用；二是專注於金融、保險、醫療、交通等領域的行業服務商；三是AI超算中心和智慧城市等領域。