安謀中國推首款ISP處理器!公布全新「玲瓏」多媒體產品線

作者 | 心緣

編輯 | 漠影

芯東西12月3日報導，今日，安謀中國（Arm中國）公布全新「玲瓏」多媒體產品線，並推出由其本土團隊自研的首款「玲瓏」i3/i5 ISP處理器。

這款新處理器歷時2年多研發而成，特別針對安防監控場景對圖像的需求進行優化，提升了降噪、動態範圍、清晰度等主要指標，具有高畫質、低延時、高兼容性、擴展兼容性高等特點，可廣泛適用於安防監控、AIoT及智能汽車等領域的視頻、圖像處理工作。

期間，安謀中國產品研發常務副總裁劉澍接受芯東西等媒體的採訪，並分享了關於「玲瓏」ISP處理器的主要技術特點、落地進程以及安謀中國IP產品的整體研發邏輯。

一、針對不同場景需求，打造多系列產品

「玲瓏」ISP處理器是由安謀中國定義和研發的首款ISP IP，目前已申請超過10項專利申請，其中5項已獲批准。

依照不同場景的數據處理需求，「玲瓏」ISP處理器可劃分為多個系列產品。

「玲瓏」i3系列主要針對低功耗的輕量級應用場景，能達到500萬像素、60fps性能效果，在臺積電16nm工藝水平上綜合時鐘頻率能跑到400MHz，支持2K視頻處理及單路視頻信號接入處理。

「玲瓏」i5系列主打中高端市場應用，能達到800萬像素、60fps的性能效果，在臺積電16nm工藝水平上綜合時鐘頻率能跑到600MHz，支持4K視頻及多路視頻信號接入處理。

未來，「玲瓏」ISP處理器還將推出更多差異化的產品系列，全面覆蓋不同場景的多樣化要求。 「玲瓏」ISP處理器優異的信號處理能力也可以與AI處理器相結合，在智能安防等領域達成AI+ISP的強大效果。

除了ISP外，「玲瓏」多媒體IP中未來還會包含VPU，將與Arm及安謀中國的CPU、GPU、AI、Display等IP產品系列形成系統協同的解決方案。

考慮到從一個視頻流輸入，到經過ISP、CPU、GPU、VPU、AI等一系列處理單元的運算和最終輸出，數據流會經歷一個複雜的過程，而如果僅僅考慮單點產品的優化，難以對視頻流做出最佳的處理效果。

因此，劉澍介紹說，安謀中國定義整個系統產品時，考慮的不僅是單點技術，更多是如何通過系統整合，提供完整的優化方案。

近年安謀中國的IP產品陣列日益豐富，如今已包括周易AIPU、星辰CPU、山海安全平臺、玲瓏ISP及VPU，既考慮整體圖像處理流程的IP產品設計，同時疊加了廣大應用所關心的安全性、隱私性、內容管理性等方面的特色。

同時，劉澍提到，安謀中國作為IP提供商，不會觸碰最後的晶片設計和生產，而是永遠作為基礎技術研究公司而存在。

對於安謀中國是否聚焦雲端的IP產品研發計劃，劉澍回應說，安謀中國已經在與客戶合作，把剛才所提及的產品應用到雲端，如周易Z2最高算力可達到128TOPS即在雲端場景有一定合作。

二、靈活可配置，「玲瓏」i3/i5的五大技術亮點

ISP（圖像信號處理器）主要用於處理前端圖像信號，可將光信號轉換為電信號，能補償因鏡頭、傳感器的物理缺陷所導致的圖像問題，對圖像質量至為重要。

當前ISP面臨很多挑戰，過去ISP僅供人眼看，大家更關注拍照效果，而未來攝像頭無處不在，不僅是手機、車載、安防監控，也將出現在各種家居場景中，這就帶來了場景性問題。此外，由於圖像效果需要鏡頭、ISP、AI等很多不同技術的協同融合，不同技術搭配也會產生不同的效果。這使得如果想設計一款能適配各種不同場景需求的ISP，是非常困難的。

因此安謀中國將其IP產品打造成具備高可配置的特性，能針對不同場景、不同搭配，均體現相對優化的效果，也會通過包括GPU、AI、視頻編解碼、顯示技術在內的整體系統方案，給未來開發者和業界客戶提供更大的靈活度。

劉澍強調說，安謀中國的每一款產品都會強調可定製化，給客戶選擇和定製的空間，幫客戶在特定領域實現更好的差異化產品。

▲「玲瓏」ISP 處理器概覽

聚焦到今日發布的「玲瓏」i3/i5 ISP處理器來看，該產品主要具有五大技術亮點：

1、硬體架構靈活可配置，客戶可自行選配可選模塊進行集成；

2、多元的工作模式，可兼容線性、原始/壓縮的HDR數據，單路及多路攝像頭輸入，支持超高解析度分屏處理；

3、DMA接口數據輸入輸出模式可配，可在ISP多個節點輸出不同格式的數據；

4、軟體API接口豐富，圖像效果調試流程簡易清晰；

5、提供豐富的軟硬體參考設計，如標定工具、調優工具和MIPI轉DVP數字電路等。

相較其他廠商推出的ISP產品，劉澍認為，安謀中國「玲瓏」ISP的優勢既體現在獨特技術方面，也能體現在商業合作方面。

作為一家IP供應商，安謀中國可以開放式地與各類不同需求的公司合作，可以滿足沒有該技術積累的公司的需求，對於已有相關技術的公司，也可以憑藉「玲瓏」ISP設計的獨特和領先性，通過合作開發達到更好的產品效果。

三、出色寬動態效果和信噪比，已向客戶交付

劉澍提到，目前「玲瓏」i3/i5 ISP處理器均已可向客戶交付，得到的反饋非常正面。該處理器已在28nm、16nm、7nm等很多主流工藝做了實現，會將實現效果提供給客戶作為參考。

在前期市場反饋中，「玲瓏」i3/i5 ISP處理器在業界十分看重的寬動態處理效果和信噪比處理水平上表現優異。

通過採用安謀中國領先的數字寬動態與融合寬動態結合的算法技術，「玲瓏」i3/i5 ISP處理器達到了像素級的局部寬動態自適應提升，併兼容常見傳感器廠商的融合寬動態格式。

當前影像世界主要由前端圖像傳感器、中端圖像信號處理器（ISP）和後端顯示部分組成，普通線性圖像傳感器只有12bit，只能提供72dB動態效果，往往在一些高動態範圍場景中，無法很好地展示出整張圖片的所有細節。

▲WDR效果

如圖，左側是一個普通12bit線性圖像傳感器的輸出效果，右側是經過「玲瓏」ISP獨有的算法技術提升後，明顯可見前景樹葉、背景天空以及陽光的細節都更加豐富，整張圖動態範圍顯著提升。

▲高光抑制

黑暗場景中的高光突現，是各行業很難解決的一個痛點。上圖左側是普通12bit圖像傳感器直出的效果，右側經過「玲瓏」ISP算法處理，主要高光亮度範圍得以抑制。

降噪是ISP永恆的主題，「玲瓏」ISP處理器採用多尺度、多級降噪技術和多級細節增強提升技術，以支持2D/3D自適應降噪，從而達到業界領先的信噪比表現。

▲降噪效果

上圖左側是普通圖像傳感器直出效果，中間是「玲瓏」ISP一級降噪效果，右側是「玲瓏」ISP二級降噪效果，可以看到右側圖像中背景和木紋紋理的噪聲基本已經消除。

▲去紫邊效果

當圖像明暗反差大，由於色彩效應，明暗交替邊緣會出現紫邊效應。上圖左側是普通圖像傳感器直出效果，右側是經過「玲瓏」ISP去紫邊模塊處理的效果，基本將紫邊完全消除，同時沒有損傷圖像的任何細節。

▲動態範圍調整效果（關）

普通12bit線性圖像傳感器動態範圍僅達72dB，而人眼可見動態範圍往往在100dB以上。上圖左側是所有燈光關閉且外部有強烈光源進入的情況下，普通12bit線性圖像傳感器所感知的世界；右側是逆光場景，通常不能既得到前端人物清晰的面孔，又得到背景豐富的細節。

而經過「玲瓏」ISP獨有的Local Tone Mapping技術，可以使左圖中普通線性圖像傳感器既能展示暗區細節，又不會損失亮區細節，也能使得右圖中的人物和背景細節均變得更加豐富，效果如下圖所示。

▲動態範圍調整效果（開）

下圖展示的是低光降噪效果，如果室內關閉所有光源，人眼只能看到微光源流動。

▲關閉所有光源的視野

而打開ISP處理後，下圖左側是打開ISP、關閉3DNR的效果，右側是打開ISP和3DNR的效果。經過3DNR處理，在沒有任何光源的情況下，也能看清所有運動物體的任何細節。

▲打開ISP情況下，開關3DNR的效果對比

「玲瓏」i3/i5 ISP處理器同時設置了豐富的系統中斷和調試接口，包含多個AE/AWB/AF統計輸出，以及友好的系統狀態及異常調試中斷設計。

由於具備實時在線視頻信息處理、支持DVP輸入輸出等功能，該處理器具有低系統延時、低系統帶寬的特點，可對圖像質量進行調優技術支持。

為滿足不同行業客戶複雜多變的需求，「玲瓏」i3/i5 ISP處理器將為客戶提供從先期評估到最終量產的全方位技術支持。

安謀中國不僅為客戶提供豐富的ISP圖像效果評估手段，詳細的設計文檔和培訓支持，還將提供IP集成及後端的參考流程、詳細的設計文檔和培訓等深入的訂製服務。

結語：本土IP發展將加速國產化晶片進程

新的計算浪潮正將算力從雲端推向邊緣與終端，而Arm計算平臺在這些領域正展現著強大的生態優勢。作為Arm在中國IP業務的唯一授權運營平臺，安謀中國授權客戶超過200家，截至目前，基於Arm處理器技術的中國客戶出貨量已累計超過190億。

過去兩年間，結合中國市場需求，安謀科技已陸續自主研發並推出「周易」AIPU、「星辰」CPU「和」山海」安全平臺等IP產品，已有數十家授權客戶，很多相關項目現已流片，並陸續衍生出迭代產品。

對於被廣泛關心的國際技術管制話題，劉澍提到，其產品會經過詳盡的法律分析，在目前進出口管制規則情況下，不受美國進出口規則的控制。由於規則不斷變化，安謀中國也將持續跟蹤法規變化進展。

憑藉安謀中國的本土生態資源和技術優勢，我們期待看到隨著安謀中國打造更為完整的IP布局和軟體生態，為促進更為繁榮的國產晶片生態提供助力。