來源:PingWest品玩
一款高度通用和算力普惠的AI晶片。
2019年9月25日,在阿里巴巴的雲棲大會上,阿里旗下半導體公司平頭哥正式發布了第一顆自研晶片——含光800,這是繼玄鐵和無劍之後阿里在晶片領域的又一重大布局。
一組數據表明,含光800的發布標誌著AI晶片性能史再度被改寫。在業界標準的ResNet-50測試中,含光800推理性能達到78563 IPS,比目前業界最好的AI晶片性能高4倍;能效比500 IPS/W,是第二名的3.3倍。
同時,對比公開數據(針對ResNet50模型一秒能夠處理圖片的數量)得知,含光800展現的性能是是NVIDIA Tesla V100的10倍,NVIDIA Tesla T4的15倍,是應用最廣的NVIDIA Tesla P4的46倍。
不過,阿里巴巴方面表示,「含光800並不會售賣,旨在通過阿里AI雲服務提供算力,可以看作『雲端售賣』。平頭哥致力於做普惠晶片,無劍SoC平臺和玄鐵處理器IP來幫助企業降低晶片設計門檻;含光800通過阿里雲AI雲服務的形式讓企業隨時隨地可以享受高性能計算服務。」
含光800的發布標誌著平頭哥端雲一體全棧產品系列初步成型,其涵蓋處理器IP、一站式晶片設計平臺、以及AI晶片,實現了晶片設計鏈路的全覆蓋。
「在全球晶片領域,阿里巴巴是一個新人,玄鐵和含光800是平頭哥的萬裡長徵第一步,我們還有很長的路要走」,達摩院院長張建鋒這樣評價。
「無形卻強勁」的算力
「平頭哥很硬,含光很強」,這句話從命名方式便顯露無疑。
平頭哥,本名蜜罐,原本是生活在非洲等地區的一種動物,被金氏世界紀錄譽為「世界上最無所畏懼的動物」,其「不要慫就是幹」的性格被馬雲一眼相中,從此平頭哥便成為了阿里晶片公司的代名詞。
而含光則是上古三大神劍之一,該劍含而不露,光而不耀,代表著含光800帶來的無形卻強勁的算力。
含光800採用12nm工藝,擁有170萬電晶體數量,推理性能達78563 IPS,比目前業界最好的AI晶片性能高4倍;能效比500 IPS/W,是第二名的3.3倍,主要應用於雲端視覺處理場景,能夠在1秒內處理7.8萬張圖片。
在杭州城市大腦的業務測試中,1顆含光800的算力相當於10顆GPU,這對於未來智慧城市交通等AI應用落地場景來說,無疑是巨大的源動力。
據悉,平頭哥在非常短的時間內便完成了晶片的設計和流片整個過程,7個月完成前端設計,隨後僅用3個月便成功流片。
要知道晶片設計是一個複雜的系統工程,單純完成設計並不意味著就可以流片成功,這是行業的深水區。而流片失敗就意味著硬體設計需要推倒重來,這比軟體出BUG問題更加嚴重。一般晶片公司需要做兩次(engineering sample、production sample)或多次才能流片成功。
然而,流片成功也並不代表就可以直接商用了,它還需要經過複雜的測試驗證,當各項指標都符合實際場景需求後才能真正商用。
PingWest品玩了解到,平頭哥之所以能夠如此快速研發出如此高性能的AI晶片,可以總結為以下兩方面。
第一,相比基於馮諾依曼結構的傳統通用處理器(比如x86 CPU和GPU),針對某種特定的需求而專門定製的ASIC架構NPU專用加速器對於應用場景更具有針對性。
針對特定場景和算法的定製意味著執行特定算法時能獲得更高的效率和性能,然而這種較為單一的算法也同時意味著打造AI晶片理論上要比打造傳統CPU和GPU門檻低得多,但這並不意味著每個晶片廠商都能像平頭哥一樣做到最強。
目前,市面上很多ASIC架構NPU通常只在非常明確的場景下才能夠表現優異,而在場景的遷移性和算法通用性方面大打折扣。
相比之下,含光800不僅實現了同時兼容海量的圖像搜索、城市大腦領域的視頻識別、以及智慧醫療領域的醫療影像識別等不同計算需求環境,還針對這些豐富的場景挖掘出了極大的計算優化潛能。
值得一提的是,傳統半導體巨頭打造AI晶片,會有開發者生態的包袱,但平頭哥團隊目標專一,即實現最強算力,把硬體能力完全釋放。
第二,儘管這是阿里平頭哥的第一款自主研發的晶片,但是事實上平頭哥研發晶片並非從0開始。
「在阿里達摩院的算法以及阿里巴巴集團硬體基礎設施多年技術沉澱之上,含光800重構了晶片的軟硬體技術棧」,阿里巴巴方面介紹。
「AI晶片的差異化設計主要體現在硬體架構和軟體算法上,二者需要高度適配才能發揮晶片的最大價值」,有業內分析人士指出。
「目前,傳統CPU、GPU在深度學習推理任務上並沒有完全發揮硬體能力,例如GPU架構主要針對圖像處理設計,其硬體結構和軟體生態幾乎固化,因此對AI任務很難有深度優化。」
PingWest品玩發現,含光800的性能突破便是得益於軟硬體的協同創新,突破了硬體架構和軟體算法之間的鴻溝。
具體來看,含光800硬體層面採用自研晶片架構,通過推理加速等技術有效解決晶片性能瓶頸問題;軟體層面則集成了達摩院先進算法,針對CNN及視覺類算法深度優化計算、存儲密度,可實現大網絡模型在一顆NPU上完成計算。
以晶片能耗為例,能耗是AI晶片的行業通病,而平頭哥自研架構可大幅減少對內存的訪問,在保證極致性能的情況下,把晶片功耗降到最低水平。
平頭哥首席科學家、阿里巴巴高級研究員元尊則將平頭哥研發AI晶片的具體優勢歸結為「ABCDE」五方面,即Algorithm 算法、Big Data 大數據、Computing 安全穩定的計算力、Domain knowledge 專業領域知識、以及Ecosystem 生態。
「擁有ABCDE的阿里,比只有C的其他晶片公司,自然更容易更快速站上AI晶片C位」,元尊坦言。
已應用於阿里核心業務
對於阿里AI生態而言,含光800絕不是單純的做晶片,而是為全球排名前三、亞太排名第一的阿里雲提供強大的算力支持,以滿足阿里巴巴集團內部場景的需求,同時含光800也將利用阿里雲對外(企業)輸出其強大的AI算力。
據悉,基於含光800的AI雲服務在發布會當天便正式上線,相比傳統GPU算力,含光800性價比提升100%。
根據云棲大會的現場演示,含光800已經開始應用於阿里巴巴的內部核心業務中,比如城市大腦處理杭州主城區交通視頻、拍立淘商品庫圖片識別、以及優酷視頻修復和分析等。
PingWest品玩了解到,如果使用傳統GPU,城市大腦實時處理杭州主城區交通視頻所需GPU數量約為40顆,延時為300ms;而如果使用含光800,則只需4顆,同時延時降至150ms。
另一方面,阿里電商平臺拍立淘商品庫每天會新增10億商品圖片,如果使用傳統GPU,其識別時間需要1小時;而如果使用含光800,則只需5分鐘,效率提升12倍。
未來,含光800的算力也將滲透至醫療、自動駕駛、智慧城市等各個垂直行業。
含光800將幫助企業以更低的成本獲取高性能算力,推動企業業務創新。對於受限於算力瓶頸的企業而言,含光800可以更高效地運行更複雜、更先進的算法,讓企業再也不會為基礎算力發愁。
PingWest品玩獲悉,為了給應用場景提供更好的算力晶片,平頭哥團隊在過去一年做了很多事情,不斷探索晶片與應用場景之間的融合。
作為全球涉足AI應用最豐富的科技廠商之一,阿里巴巴擁有豐富的AI應用場景,圖像視頻分析、搜索、推薦等業務場景都需要AI專用晶片提供更強大的算力,其中圖像、視頻對算力的需求量最大。
圍繞這一目標,平頭哥針對場景深度定製了晶片的軟硬體,例如自研了架構、軟體編譯器、框架、工具鏈等。
同時,後期也針對INT8數據類型做了大量優化,最終在性能、良率、功耗等指標上均表現良好。
算力也要普惠
含光800的發布標誌著阿里巴巴計算版圖中鐵三角的正式形成,AI+晶片+雲計算將幫助阿里在未來AI行業應用落地奠定夯實的基礎,而這對於阿里來說只是一個開始。
PingWest品玩了解到,作為AI行業的領軍企業,阿里目前正在打造完善的行業生態和開發者生態。
在雲端,全球排名前三、亞太排名第一的阿里云為平頭哥服務企業提供了絕佳平臺,未來企業可以通過阿里雲輕鬆獲取含光800的強悍算力。
在端側,平頭哥已擁有成熟的生態體系, CK801、CK802、CK803、CK805、CK807、CK810、CK860等7款自研嵌入式CPU IP核均已得到大規模量產的驗證,授權客戶超100家,累計銷售超十億顆,廣泛應用於機器視覺、工業控制、車載終端、移動通信和信息安全等領域。
此外,基於RISC-V架構的玄鐵處理器以及無劍SoC平臺也已服務各行業企業,例如人工智慧企業雲天勵飛和老牌晶片商炬芯科技等。
另一方面,平頭哥還將成立晶片開放社區,進一步為晶片產業提供開放協作的平臺。
同時,隨著含光800的發布,平頭哥端雲一體全棧晶片產品家族也已初現雛形,實現了晶片設計鏈路的全覆蓋。
其中基礎單元處理器IP,C-Sky系列、玄鐵系列為AIoT終端晶片提供高性價比IP;一站式晶片設計平臺無劍SoC平臺集成CPU、GPU、NPU等,降低晶片設計門檻;而AI晶片含光800則通過AI雲服務為人工智慧場景提供極致算力。
這三大產品系列將構建端雲一體的晶片生態,將會為企業提供普惠算力。
PingWest品玩了解到,在AIoT時代,由於強應用驅動和場景碎片化等特點,晶片公司按照傳統方式設計晶片很難適應未來的需求,平頭哥希望通過端雲一體晶片生態為行業提供普惠算力。
AIoT場景需要新的計算架構,需要安全、在線和智能等新特性,所有晶片都在面臨升級,這必將在晶片行業引起一波全新技術革命和產業浪潮。
不同於絕大多數晶片商,平頭哥研發晶片的目的絕非賣晶片,而延續了阿里巴巴集團「讓天下沒有難做生意」的願景,開闢了全新的商業模式——平頭哥模式,致力於為企業提供普惠算力,成為了阿里巴巴獨具特色的商業模式。
目前,平頭哥還在研發應用於阿里雲神龍伺服器的SoC專用晶片,以滿足更多場景的算力需求。未來,平頭哥晶片產品形態還將進一步完善,例如雲上AI訓練晶片和端上AI推理晶片。
「阿里在晶片上的定位是端上做晶片基礎設施,雲上為企業提供普惠算力。例如,處理器是所有高端系統晶片都需要的基礎產品,AI晶片是AI場景最高效的算力單元,阿里將投入重金打造好這些技術,同時構建應用生態」,阿里方面告訴PingWest品玩。
「此外,平頭哥還將繼續開發作業系統、軟硬體融合的算法、以及核心的IP等,並把這些共性的技術能夠做好做精做出競爭力,並形成生態,然後開放給晶片廠商設計產品,讓他們基於高質量的基礎設施打造晶片產品,有助於提升整體的產業競爭力」,阿里隨即補充道。