阿里開源MNNKit:基於MNN的移動端深度學習SDK,支持安卓和iOS

機器之心報導

參與：一鳴、Jamin

近來，有越來越多的深度學習框架開始面向移動端進行發展。近日，阿里也基於其 MNN 推理引擎開源了最新的 MNNKit 深度學習 SDK，安卓和 iOS 開發者都可以方便地進行調用。

近年來，很多企業都在研發麵向移動端的深度學習框架。在國內有 小米的 Mace、騰訊的 FeatherCNN（騰訊 AI）和 ncnn（騰訊優圖）、百度的 Paddle-moblie 等。而阿里也開發了自己的移動端深度學習框架 MNN。近日，阿里開源了基於 MNN 引擎的項目 MNNKit，面向安卓和 iOS，以 SDK 的方式提供 AI 端側推理能力。開發者不需要了解算法細節就可以直接使用。項目地址：https://github.com/alibaba/MNNKit目前，MNNKit 已經有人臉檢測、手勢識別、人像分割等，後續可能有更多 API 接入。MNNKit：基於 MNN 的深度學習工具MNN 是基於阿里的 MNN 端上推理引擎所開發的應用解決方案，主要面向安卓和 iOS 系統，幫助將 AI 能力應用在實際的移動端場景中。MNNKit 架構MNNKit 提供了一個 SDK 供開發者使用，以下為 SDK 的架構。

從圖中可以看出，MNNKit 可以分為三層結構，從底向上分別為：

MNN 引擎層，是 MNN (https://github.com/alibaba/MNN) 庫在 Android/iOS 上編譯好的包的二進位 Release 版本，提供端側運行環境。Core 基礎層，這主要抽象和封裝與 MNN c++接口調用粒度基本一致的上層 API，iOS 通過 OC 接口提供，Android 通過 Java 接口提供（TODO）。這一層同時也為上層 SDK 提供一些公共服務類或結構定義。業務 Kit 層，包括了人臉檢測、手勢識別封裝的 API。據項目介紹，之後的業務 Kit 層會不斷擴展。內部原理因為 MNNKit 主要提供阿里的端側 AI 能力，因此封裝了很多相關應用的 API。調用如下：

例如，當用戶需要調用 API 的時候，需要首先創建實例，然後將圖像、視頻或其他結構化數據輸入，進行 AI 模型的推理工作。工作完成後釋放實例即可。目前 MNNKit 已支持的 API 有：

人臉檢測 API手勢識別 API人像分割 API以人臉檢測為例，檢測內容主要分為三大板塊：

人臉基本信息人臉位置的矩形坐標106 個關鍵點坐標（區分被遮擋的和未被遮擋的）置信度

106 個關鍵點的分布（來自官方開源 github）

人臉各區域關鍵點分布對應表

歐拉角度

搖頭（Yaw）、點頭（Pitch）、歪頭（Roll）三個角度值

人臉動作（包含 5 個人臉的動作）眨眼張嘴搖頭點頭揚眉處理過程我們知道了人臉檢測需要檢測的數據後，接下來看看處理過程：

如圖所示，該流程是 iOS 和安卓設備後置攝像頭正向拍攝後，在移動端上的整體處理過程。首先，系統從攝像頭獲取數據，作為 SDK 的輸入。接著，SDK 會進行如下操作：

在 MNN 引擎執行推理之前，對原始的輸入進行預處理，保證輸入數據中的人臉為正向使用 AI 模型進行推理；推理後，產生基於輸入圖像（預處理之後的）坐標系的關鍵點結果；。把關鍵點坐標變換到和屏幕渲染坐標系相同的方向，方便渲染。程應用中，最後的結果關鍵點要顯示在用戶屏幕上，前端會使用一個用來渲染的"畫布"。畫布的坐標系被稱為渲染坐標系，在 SDK 檢測的最後一步，我們將關鍵點變換到和渲染坐標系相同的方向，然後等比例映射關鍵點坐標到渲染坐標系的坐標即可。映射後可以直接渲染到畫布上代碼示例MNNKit 提供了包括人臉檢測、手勢識別等方面的示例代碼。接下來我們以人臉檢測為例，看看怎樣可以在安卓或 iOS 中調用 API 進行推理工作。安卓代碼前文提到，調用 API 需要首先創建一個實例，以下為異步創建 FaceDetector 實例，主線程中回調的代碼。

publicstaticvoidcreateInstanceAsync(Contextcontext,FaceDetectorCreateConfigcreateConfig,InstanceCreatedListener<FaceDetector>listener)

在這裡，人臉檢測 API 會進行檢測和跟蹤兩個動作。檢測會遭到人臉位置和關鍵點，而跟蹤是在人臉移動時重新定位關鍵點的位置。在視頻模式下，系統默認每 20 幀檢測一次，其餘幀只跟蹤。圖片模式下則每一次調用都檢測。創建實例後，可以將數據輸入模型進行推理。MNNKit 現在已支持多種數據格式輸入。在視頻流檢測場景中，我們可以使用攝像頭的回調數據作為接口的輸入。輸入數據的代碼如下：

publicsynchronizedFaceDetectionReport[]inference(byte[]data,intwidth,intheight,MNNCVImageFormatformat,longdetectConfig,intinAngle,intoutAngle,MNNFlipTypeoutputFlip)

使用輸入數據為 bitmap 的推理代碼如下：

publicsynchronizedFaceDetectionReport[]inference(Bitmapbitmap,longdetectConfig,intinAngle,intoutAngle,MNNFlipTypeoutputFlip)

當 FaceDetector 實例用完之後，我們需要手動釋放實例，否則會產生 native 的內存洩露。

publicsynchronizedvoidrelease()

iOS 代碼和安卓代碼類似，首先需要創建人臉檢測實例：

+(void)createInstanceAsync:(MNNFaceDetectorCreateConfig*)configCallback:(void(^)(NSError*error,MNNFaceDetector*faceDetector))blockCallbackQueue:(dispatch_queue_t)callbackQueue;

默認主線程回調：

+(void)createInstanceAsync:(MNNFaceDetectorCreateConfig*)configCallback:(void(^)(NSError*error,MNNFaceDetector*faceDetector))block;

PixelBuffer 輸入進行推理的代碼如下：

-(NSArray<MNNFaceDetectionReport*>*)inference:(CVPixelBufferRef)pixelBufferConfig:(MNNFaceDetectConfig)detectConfigAngle:(float)inAngleOutAngle:(float)outAngleFlipType:(MNNFlipType)flipTypeerror:(NSError*__autoreleasing*)error;

UIImage 輸入進行推理的代碼如下：

-(NSArray<MNNFaceDetectionReport*>*)inferenceImage:(UIImage*)imageConfig:(MNNFaceDetectConfig)detectConfigAngle:(float)inAngleOutAngle:(float)outAngleFlipType:(MNNFlipType)flipTypeerror:(NSError*__autoreleasing*)error;

使用通用 buffer 數組輸入的代碼如下：

-(NSArray<MNNFaceDetectionReport*>*)inference:(unsignedchar*)dataWidth:(float)wHeight:(float)hFormat:(MNNCVImageFormat)formatConfig:(MNNFaceDetectConfig)detectConfigAngle:(float)inAngleOutAngle:(float)outAngleFlipType:(MNNFlipType)flipTypeerror:(NSError*__autoreleasing*)error;

實例生命周期結束後，會自動觸發相關內存的釋放，無需調用方手動釋放。據悉，MNNKit 是 MNN 團隊在阿里系應用大規模業務實踐後的成熟解決方案，歷經雙十一等項目考驗，在不依賴於後端的情況下進行高性能推理，使用起來穩定方便。