一顆AI視覺SoC是由哪幾部分組成的?簡析瓴盛JA310晶片

作為一家在成立之初就頗具爭議的企業，瓴盛科技上周在成都舉辦了一場「2020 AIoT生態峰會暨瓴盛『芯視覺』產品發布會」。瓴盛科技CEO肖小毛在會上說：「瓴盛科技在高通、大唐、智路資本、建廣資產非常有遠見有前瞻的視野下，在2018年經過商務部審批正式成立了，在2019年經過四川省政府、成都市政府的支持落地雙流，同一年又成為發改委第二批重點合資企業之一，而且我們瓴盛是四川唯一的一家。」X4wEETC-電子工程專輯

這席話基本已經概括了其背景。即便資方令其話題性十足，這家公司還是在去年9月正式入駐成都雙流的。X4wEETC-電子工程專輯

這次發布會主要發布的是JLQ JA310這顆AIoT SoC（以及定位相對更低的JA308）——瓴盛科技表示這是其首顆自主研發的晶片。我們恰好能夠藉助這顆JLQ JA310晶片，去理解、明晰如今主流的AIoT晶片究竟具備哪些特點以及如何構成，畢竟JA310在其中還是極具代表性的。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

重在AI視覺計算的晶片

先來看看這顆晶片整體配置與參數情況。瓴盛對於這顆晶片透露的細節是比較少的，我們可以結合當天發布會上，三星Foundry的主題演講，來看看這顆晶片的大致構成。X4wEETC-電子工程專輯

JA310的基本參數如下表所示：X4wEETC-電子工程專輯

• CPU：Arm Cortex-A55 @1.5GHz x4
• ISP：單路4K@30fps；雙路2K+2K@30fps
• 視頻編碼：4K/1080p/720p @30fps
• 視頻解碼：4K @30fps
• 顯示：1080p @60fps
• NPU：2 TOPS（1152 INT8 MAC操作？）
• 內存：支持DDR3/L/4/LP4（32bit）
• 快閃記憶體：支持SPI NOR/NAND/eMMC
• I/O：Ethernet（RGMII&RMII/MII）/I2S x5/USB2.0 x2/MIPI/LVDS/PWM/GPIO/UART/I2C/SPI/SDIO
• 無線外設：適配主流Wi-Fi/4G/5G模組/其他外設完成BSP級別整合
• 製造工藝：三星11LPP
• 封裝：15x15mm 493 Ball

另外一顆JA308配置上的主要差別在視頻編碼支持降至最高2K，ISP部分配置稍低，電池管理單元可能會有差異。其餘組成部分是類似的。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

雖然缺了很關鍵的功耗數據（只是提到11nm工藝相比28nm工藝功耗降低70%），但看起來這仍是主要應用於視覺計算的典型AIoT SoC，尤其其中的ISP（影像處理單元）和視頻編解碼處理能力，而且還有專門的NPU單元——也就是AI處理單元。X4wEETC-電子工程專輯

現在市場上會將AI專核稱作「NPU」的主要也就是華為、Arm和三星，瓴盛並未提及這裡NPU的IP來源，我們猜測可能是Arm。（高通的AI引擎並沒有構成一個專核；聯發科則將AI專核稱作APU；蘋果的AI專核叫NE）X4wEETC-電子工程專輯

我們去年曾經撰文分析過Arm的NPU IP，NPU本質上是專用的CNN卷積神經網絡（與RNN遞歸神經網絡）處理單元，很大程度上也是為了提升視覺計算的效率存在的。所以JA310/JA308的定位還是一目了然的。X4wEETC-電子工程專輯

瓴盛在列舉其應用場景時也提到了智能安防、機器視覺（機器人/工業相機/ADAS輔助駕駛）、人臉識別、視頻直播、智能顯示（智能交互終端）；另外蜻蜓點水式地提到了對NLP自然語言處理的支持。我們在展廳現場看到了不少立體視覺（stereoscopy）解決方案，這類的確對算力有要求的視覺感知能力應用上，後文還會詳述。X4wEETC-電子工程專輯

視覺與AI能力

有關這顆SoC，能探究的細節其實是很少的，畢竟官方給出的信息的確有限。我們嘗試從有限的資料中，給出一些推測和信息量。X4wEETC-電子工程專輯

JA310的核心組成應該就是ISP、NPU與VPU（視頻編解碼）了。ISP部分前文已經提到，「雙引擎」，支持雙路2K+2K@30fps，或者單路4K@30fps的視頻記錄。瓴盛科技首席營銷官成飛給出的PPT中，提到這顆ISP的一些功能，包括AWB（自動白平衡）、ANR（主動降噪）、3DNR（3D降噪，一種將空間與時間過濾器做結合的抑噪技術）、AI ROI（Region of Interest）、BLC（黑電平校正）、HDR等。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

這些其實都算是ISP pipeline上比較常見的特性，包括其中列舉的視頻寬動態範圍處理；也是當代提供高保真影像數據，為視覺計算做服務的保障。三星應用於手機市場的Exynos以及高通驍龍SoC的ISP就基本都包含上述功能，也有「雙引擎」的選擇。或許在AIoT應用上，這樣的ISP的確稱得上是高規格。X4wEETC-電子工程專輯

將圖像數據應用於AI算法，就要靠AI單元了。瓴盛稱其為NPU，如前文所述，這可能是Arm的IP。市面上的某些AIoT晶片的產品實則沒有AI專核，像高通這類廠商，更傾向於採用加強現有處理器（如為DSP加tensor核心），並結合GPU、CPU等單元做協同計算，而不是採用AI專核。X4wEETC-電子工程專輯

瓴盛在標稱的數據上提到了這顆NPU的最高算力為2 TOPS。Arm現有的Ethos系列NPU產品中，雖然也有Int8算力達到2 TOP/s的一款：即Ethos-N57。不過Arm的NPU支持的數據類型普遍為Int8和Int16（而且MAC並行操作能力似乎也不大一樣）。瓴盛JA310的NPU除了Int8和Int16外，似乎還支持FP16——看起來在影像處理能力上有更高的追求。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

海思的NPU應該是現在為數不多為FP16提供支持的AI專核。高通的AI引擎，在DSP層面也並未對FP16數據類型提供支持，FP16運算靠的是GPU；三星與Arm的NPU亦如是。不過成飛也提到了這顆SoC在AI算力上，通過NPU+CPU+GPU協同的方式進行——Arm NN框架就支持這種能力（雖然Arm NN其實也支持第三方NPU IP），這裡的FP16也可能是GPU提供的能力。瓴盛在資料中並未給出JA310的GPU規格。X4wEETC-電子工程專輯

另外，對高層神經網絡框架，如TensorFlow、ONNX、Caffe2等提供支持也算是當代AI開發環境的必然了。只不過這顆NPU的效率、功耗各方面數據均未知。其中的「系統/算法OTA升級」也算是當代具備弱編程特性的「通用型」AI處理器普遍具備的能力。X4wEETC-電子工程專輯

值得一提的是，成飛有特別提到CPU部分的四核Cortex-A55的ML能力有「6倍」提升，對比對象是Cortex-A53。A55有開始引入新的NEON指令，用於機器學習，這應該是其作為CPU部分的ML能力提升所在。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

VPU即視頻編解碼單元部分，著重於4K編解碼、「高品質低延時」。成飛給出了JA310的4K HEVC（即H.265）編碼質量，與其他友商產品在不同碼率下的PSNR（峰值信噪比）比較（HM16測試模型）。成飛表示，其中橙色那條是「完美曲線」，「310在測試過程中，取得了最接近完美曲線的效果。」X4wEETC-電子工程專輯

以上這些都是JA310在AI視覺計算方面的努力，包括所謂的「專業安防級別ISP」、「高品質低延時VPU」、支持機器學習指令的四核CPU，以及專用NPU單元。從較少的參數信息來看，這應該是AIoT領域在圖形處理能力上比較出色的一款SoC。X4wEETC-電子工程專輯

有關三星的11nm工藝

事實上，除性能之外，這樣一顆AIoT晶片的功耗和效率也非常重要，不過瓴盛並未給出功耗方面的具體數據；只是在提晶片製造工藝時，略提了一嘴11nm相比28nm，功耗下降了70%。這裡的11nm也就是三星的11LPP工藝。而JLQ JA310與三星的淵源也不只是晶片製造這麼簡單。X4wEETC-電子工程專輯

瓴盛科技CEO肖小毛在接受採訪時說：「可能很多朋友關心我們為什麼選擇三星。我們做第一個產品是證明團隊的能力，其次是為第二個產品打下基礎。因為我們一些IP主要是在三星，內部供應商已經將其調到最優......工藝和IP捆綁很緊，當IP與工藝調整到最優時，強行切換（為臺積電）的成本會比較大。」X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

JA310的12英寸晶圓X4wEETC-電子工程專輯

Samsung Foundry中國區銷售總監李寧在會上提到，三星有個名為SAFE（Samsung Advanced Foundry Ecosystem）的生態。這是三星構建的、與合作夥伴合作的「一站式商店」解決方案，能夠「把客戶創意很快變成電子產品」；畢竟現如今的IP設計，已經和工藝存在越來越大的強關聯了。整個生態內包含了諸多EDA、DSP、IP以及雲合作夥伴。X4wEETC-電子工程專輯

成飛在介紹JA310時也提到了：「團隊歷時2年，剛剛說1年——其實是方案開發1年，前期晶片還有更漫長的路在走。」所以JA310是在1-2年間開發完成，與此同時「一次流片成功」。這個成績可能與瓴盛科技本身的背景也有關，包括資方的合作關係，以及三星foundry的SAFE生態本身。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

從李寧展示的這張圖來看，JA310產出的合作方至少包括了Arm、芯原、Synopsys、eSilicon、Alpha Holdings，應當都與IP相關。不僅包括了CPU、NPU、ISP等核心部件的IP，也包括連接相關的IP。肖小毛並未透露是否有IP是來自瓴盛科技本身，他只是提到：「我們做的是大型SoC，一方面把自己有特點的小IP做進去，另一方面也是集成一些先進IP，公用的IP做起來。」「有些IP不一定滿足需求，所以我們會進行改良，改成我們想要的IP。將來我們在集成大的IP的情況下，我們一定會去做差異化，在關鍵IP上投入資源，這個是基本能力的體現。」X4wEETC-電子工程專輯

三星Foundry串起這些IP之後，自然在對應工藝的生產上做到了相對的高效。恰好藉此機會，我們也可以稍微聊一聊三星的11nm工藝。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

從李寧提供的三星Foundry工藝路線圖來看，11LPP工藝實則是14nm工藝的延續，比較類似於三星8LPP與10LPP的關係——有關三星8LPP，我們在先前的文章中也曾提到過，它實則更像是個10nm+工藝，與7LPP略有差距。X4wEETC-電子工程專輯

從三星自己公布的數據來看，11LPP相比14LPP的進化幅度似乎還是比較大的。三星早在2017年9月就宣布了11LPP工藝的存在性，2018年10月首顆採用11LPP的高通驍龍675問世。在2018年的Symposia on VLSI Technology and Circuits會議上曾詳述過這個工藝節點。X4wEETC-電子工程專輯

11LPP在生產設備上主要採用14nm工藝時期的設備，另外配合10nm的BEOL（back end of line）互聯，最終可以實現更高的電晶體密度。從Wikichip的分析文章來看，兩者結合之後三星引入了一種新型的UHD（超高密度）標準單元庫，主要面向低功耗應用。這種標準單元庫高6.75T，相比14LPP標準單元的9T縮減25%（gate pitch也有差異）。如此一來，11LPP UHD單元在密度上可與10nm比肩，當然性能肯定是不及的。[1]X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

14LPP與11LPP的fin剖面（注意，左右兩張圖並非等比例），來源：Wikichip[1]X4wEETC-電子工程專輯

另外電晶體的fin部分，11LPP相比14LPP也更高、更窄——fin高度與寬度的縮減原本也是FinFET工藝進化的表現：更高的fin嵌入到gate（柵）的部分就越多，另外fin的這種變化也可更大程度降低，短溝道DIBL問題的影響。電晶體部分還有另外一些優化方案，如外延工藝等。從Wikichip的消息來看，三星11LPP另外還引入了一種新型的ULP超低功耗單元庫（未知與UHD單元差異）。X4wEETC-電子工程專輯

簡單來說，11LPP相比14LPP能夠在相同面積內容納更多電晶體，進一步提升頻率，以及實現功耗的降低。三星最初的數據提到，在相同電晶體數量和功耗的前提下，相比14LPP提供至多15%的性能提升；相同電晶體數量，面積減少至多10%。看起來還是比10LPP與8LPP的遞進關係更有誠意的。X4wEETC-電子工程專輯

另外，11LPP FEOL與14LPP在設計規則上也實現了兼容。三星和Arm都將11LPP作為汽車、IoT這類市場的長期節點對待。所以瓴盛的JA310選擇11nm作為其生產工藝，也不失為一個比較明智的決定。這代工藝原本就是為成本敏感、功耗敏感的應用準備的。X4wEETC-電子工程專輯

生態與應用

實際上當代AIoT晶片的另一個核心在無線連接上，肖小毛在接受採訪時也說：「未來邊緣計算、AIoT重大方向就是無線連接。無線替代有線是未來的趨勢，而5G+AI，AIoT就是我們比較大的布局，也是我們的方向。」X4wEETC-電子工程專輯

成飛也提到，「除了開放的趨勢和第三方無線連接技術之外，還得到了產業股東的支持，讓AI視覺從有線到無線無縫的跨越。所以合作夥伴，整個生態圈裡的朋友，可以從瓴盛獲得AI+WiFi，AI+5G一站式的服務。」X4wEETC-電子工程專輯

「AIoT市場，大家的產品大同小異。對我們來說，一方面我們用了先進的工藝，功耗表現更好；另一方面是要把連接加上——將連接能力加上，是我們跟其他友商相比最大的優勢。未來我們把無線連接集成到晶片上，對於可靠性、功耗、成本還會有更大的改善。我們的重要優勢就是把連接加進去。」肖小毛說。瓴盛科技的WiFi與5G連接技術出處應該是不言自明的，這可以認為是瓴盛的技術優勢，包括未來將modem與RF系統集成進SoC的技術能力。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

無論其中是否具爭議，這的確體現了瓴盛AIoT晶片的生態構建能力，包括軟硬體兩方面——針對JA310的無線外設，以及對存儲系統的支持都是硬體生態。而在軟體方面，「我們不僅是一家晶片公司，我們更是一個解決方案的提供商。這部分也是為了應對更加多樣化和差異化的IoT應用。我們有選擇性地打造行業解決方案，包括智能監控、機器人系列、視頻會議系統。基於這些產品開發的新品，有效減少合作夥伴的開發人數，讓產品的上市更快。」X4wEETC-電子工程專輯

這部分我們從採訪展區的幾個展商大致能體會。比如說專門做雙目立體視覺的元橡科技，在瓴盛的生態中就扮演AI算法，以及更多軟硬體方案供應商的角色。現場展示了元橡的多種雙目視覺產品，如面向機器人的，面向車載領域的。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

元橡科技應用於不同領域的雙目立體視覺產品X4wEETC-電子工程專輯

這是比較典型的面向具體應用場景的、「針對性」的解決方案。而除了這種針對性的解決方案，現場的好幾名發言人都談到了AI生態構建的協同合作，連同合作夥伴共同搭建「開放式的平臺」。X4wEETC-電子工程專輯

在開發生態構建上，我們就在現場看到了Josh開發板，用Java語言開發做到開發過程的簡化。這是開放式生態的一部分。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

Josh AI開發套裝X4wEETC-電子工程專輯

成飛所說的開放式平臺包含了4個層面：X4wEETC-電子工程專輯

1. 軟硬體解耦合，「讓應用軟體，基於軟體模擬器並行開發，加速開發進程」；
2. 可靠性和安全性，其中安全性表現在「讓AI視覺應用，得到國密級的安全保障」；
3. 豐富的生態，「從軟硬體解耦合，到解決方案，積極導入應用軟體，包括AI算法等，整合行業資源」；
4. 可持續發展，「結合前面3點，引入更多的軟體、算法，與合作夥伴之間通力合作，讓瓴盛科技搭建的平臺生根發芽」。

而在JA310的具體應用上，比較具有代表性的是銀光軟體面向學校的食品安全方案。通過AI視覺來監督學校食堂各方面的食品安全。比如說廚房工勤人員的穿戴分析：是否穿廚師服、做麵食是否戴手套、日常是否戴口罩等；再比如明火預警、老鼠等病原體攜帶者預警、摔倒預警等；以及教師配餐抓拍，事物留樣監管，杜絕糧食浪費等。X4wEETC-電子工程專輯

演示區展示了這套方案中的幾個設備。其一是一臺秤，專門用於「AI智能收貨」。這臺秤也加裝了攝像頭，通過AI視覺來識別過稱的食材，並自動將食材入庫。而後端給予AI算力的則是一臺算法伺服器。方案中另外還包括了用於食品安全檢測的「AI黑匣子」，包含農殘快速檢測儀（AI小分子光譜對比，15分鐘出結果）以及AI毒鼠強檢測等。這套方案似乎也有應用5G連接方案。X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

銀光軟體的AI智能秤以及算法伺服器X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

智能晨檢儀，將手放入其中可檢測手溫、檢查是否塗指甲油、是否有傷口，以及考勤等X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

安威士的智能安防X4wEETC-電子工程專輯

X4wEETC-電子工程專輯

博觀的人臉門禁終端演示與人臉面板機模組X4wEETC-電子工程專輯

江蘇樂眾信息技術有限公司還將JA310應用到了衛星物聯網、寬帶衛星通信終端、C-V2X智能網聯、寬帶自組網終端、鐵道專網終端等方案。上面這些應用及生態內的一眾解決方案，都表明JA310這顆AIoT晶片的落地還是比較迅速的。X4wEETC-電子工程專輯

在此之外，「移動計算、手機平臺跟AIoT同質化比較多，所以我們決定先做AIoT產品，把IP流程、工藝走完，把團隊工程開發流程、團隊能力建立起來。」 肖小毛表示，「在完成AIoT產品的研發以後，我們也早就啟動了下一步移動產品的開發。細節現在不能透露。但是我希望明年或者後年，我們可以再坐在一起看看移動產品的情況。」 智能物聯網和移動通信作為瓴盛科技的兩個發力點，預計很快我們就能看到瓴盛科技推出的手機SoC了。X4wEETC-電子工程專輯

參考來源：X4wEETC-電子工程專輯

[1] VLSI 2018: Samsung’s 11nm nodelet, 11LPP – WikiChip FuseX4wEETC-電子工程專輯

（https://fuse.wikichip.org/news/1425/vlsi-2018-samsungs-11nm-11lpp/）X4wEETC-電子工程專輯

責編：Luffy LiuX4wEETC-電子工程專輯