AR SDK深度評測:亮風臺HiAR SDK有這些優勢

2020-12-13 極客公園

  6月,蘋果發布了面向iOS的增強現實(AR)開發工具ARKit,正式進入AR領域。近日,在Project Tango深耕三年的谷歌,同樣推出面向Android設備的增強現實(AR)應用開發工具ARCore。這一消息意味著谷歌、蘋果這兩大智慧型手機作業系統巨頭在AR領域展開了正式較量。

  其實國內外早有一批優秀的AR SDK出現,在ARKit發布之前,就已經積累了大量內容和開發者。例如國外的Vuforia、ARToolkit、Wikitude,和國內的亮風臺HiAR SDK、太虛Void AR、視辰EasyAR等。

  根據筆者了解,國外的AR SDK在易用性、費用、功能、甚至語言等方面,並不能滿足很多AR開發者的需求,反而國內團隊的快速響應、內容製作和技術積累,甚至會比國外更勝一籌。如HiAR SDK從底層到性能的都比較突出,服務了營銷、教育、工業等不少領域的眾多「標杆」客戶,EasyAR團隊製作了大量的AR營銷內容。這可能也和團隊基因有關係,亮風臺的首席科學家是國際知名的CV科學家凌海濱,團隊中技術大咖眾多,視辰的初創團隊多在偏內容領域有經驗,如商業展示、影樓婚慶、廣告營銷等。

  不久前,筆者了解到亮風臺在CV國際頂會與期刊有較多的研究成果發布。例如亮風臺AR跟蹤算法被IEEE人工智慧頂級期刊《PAMI》收錄,可在強幹擾的場景下實現快速且準確的平面跟蹤。

  所以筆者想著重關注一下亮風臺的HiAR SDK,以它為例,為大家就AR SDK的重要參數進行評測分析,以供學習參考。

  AR SDK技術概述

  目前來看,2D圖像識別和跟蹤技術是市場上的主流應用,包括支付寶、QQ等在內的公司推出的AR應用案例多基於2D,也就是平面圖像的識別與跟蹤技術,並與IMU數據進行融合,以保證用戶體驗。而2D之外,單目SLAM(實時定位與建圖)是去年下半年到目前AR公司的主打研發方向,蘋果ARKit的核心技術VIO,其實是SLAM的一個變種注。

  註:VIO(Visual Inertial Odometry)跟SLAM的區別主要有兩點:

  1 VIO在硬體上需要融合傳感器,包括相機和IMU。

  2 VIO側重的是快速姿態跟蹤,不需要維護全局地圖。

  然而,市場主流AR SDK主要基於2D圖像識別與跟蹤技術,僅少數公司具有基礎SLAM。

  HiAR SDK主要包括2D圖像識別和跟蹤、SLAM、人臉識別與檢測(為美圖等人臉識別與檢測需求的公司提供底層技術支持)、以及3D物體識別和手勢識別。其中2D技術免費開放給開發者,其他技術和平臺方案,聯繫商務可進行定製服務。

  HiAR SDK支持Android、iOS、Unity 3D的跨平臺開發,除智慧型手機之外,也支持PC、AR智能終端(如亮風臺自主研發的AR智能眼鏡HiAR Glasses)、無人機、機器人、智能家具等終端,是通用開發工具。

  此外,HiAR SDK另一主打功能為雲識別,目前,支持本地識別、雲識別、以及本地和雲混合識別。前不久,亮風臺公布B輪融資,消息提到「雲+端」是重要戰略,可以預見,下一步,HiAR SDK的雲能力也會再次提升。

  2D識別與跟蹤

  既然大部分AR SDK還是基於2D圖像識別,故首先對HiAR SDK的2D的識別與跟蹤能力進行一個測評。

  筆者使用iPhone 7 Plus,製作一個簡單的圖像跟蹤Demo,感覺跟得很穩,幾乎沒有延遲。經過詳細測試,發現HiAR SDK的跟蹤速度最高可超過120幀每秒,遠超過人眼的可識別速度25幀每秒,跟蹤精度約為0.5像素。

  據了解,這一數據是在2016年里約奧運會期間,亮風臺與騰訊合作QQ-AR傳火炬,騰訊QQ對AR技術提供方亮風臺提出的要求。

  那在大傾角、光照影響、遠距離識別等某些極端情況下,HiAR SDK的表現會是如何呢?

  大傾角情況下的識別與跟蹤

  大傾角實驗中,筆者將識別圖緩緩傾斜到極限,直到某方模型丟失。

  左:市場主流AR SDK 右:HiAR SDK

  目測HiAR SDK支持的識別圖最大可識別傾角在50度左右,而最大可跟蹤傾斜角度可能超過80度,接近垂直。而市場主流AR SDK在同樣的傾角下出現了目標丟失,不穩定的情況。

  遠距離識別與跟蹤

  我們在攝像頭位置不動的情況下,讓識別圖從遠至近緩緩靠近,效果如下:

  左:市場主流AR SDK 右:HiAR SDK

  可以看出,HiAR SDK遠距離識別與跟蹤能力同樣表現不俗,在攝像頭與識別圖距離不斷拉遠,識別圖片佔據屏幕的1/20左右時,同樣能做到穩定、快速的識別速度與跟蹤穩定性。比市場主流AR SDK具有更遠的識別距離閾值。但是HiAR依然要求識別目標佔攝像頭的最小面積為5%。

  抗光線幹擾

  再來看下光照環境變化對AR SDK性能的影響,如暗光、局部亮光、過曝等情況。HiAR SDK與市場主流SDK的表現對比結果如下:

  左:市場主流AR SDK 右:HiAR SDK

  在測試過程中,弱光情況下穩定識別後,再調暗光線,HiAR SDK的虛擬物體穩定地疊加在識別圖上,且幾乎無抖動,表現比較出色。

  快速運動

  AR的使用場景變化多端,能夠抵抗快速運動帶來的幹擾,會是AR SDK優良的重要參考參數。在攝像頭如手機快速、劇烈運動,或者識別物做相似變化時,需要穩定的識別跟蹤技術,目標快速重建等技術的支持。下面就來看一下對比效果:

  左:市場主流AR SDK 右:HiAR SDK

  抗遮擋能力

  有時候做AR識別時候,識別圖會不小心被其他物體所遮擋,模型容易丟失,影響用戶體驗。

  左:市場主流AR SDK 右:HiAR SDK

  通過實驗,當識別圖被物體遮擋時,HiAR SDK可以更穩定地表現出AR顯示效果,模型不容易抖動甚至丟失:

  多目標識別與跟蹤

  具有多目標識別能力,廣泛應用於AR教學等需要呈現多種內容的場景中。HiAR SDK可以同時識別多張圖片,並加載不同的模型數據。

  如下圖所示,HiAR SDK一次性識別9個圖片,且支持大角度、遠距離等極端條件下的多圖識別。

  本地K級別圖像識別

  如果需要識別的圖像很多,那麼AR SDK的表現將會如何呢?筆者特意做了一個實驗,結果如下。

  本地K級別圖像識別對比參數

  由上面的對比參數可以得知:

  Vuforia在識別速度和精度方面做到了最好的水平;

  EasyAR的識別速度也比較快,但是加載時間會比較長;

  HiAR SDK的識別速度和精度一般,但是加載時間和內存消耗有顯著優勢。同等量級下加載時間為市場主流AR SDK的1/10 – 1/100。

  同樣機型,HiAR SDK的可識別圖像數量為市場主流AR SDK的6-7倍,甚至在某些機型上支持10k級別的本地識別。

  包體大小

  很多開發者在抱怨嵌入AR的應用太大,不利於推廣,也容易讓已有客戶產生厭煩情緒。的確,對於智慧型手機來說,受限於內存等因素AR SDK 包大小是關鍵決定因素。

  在筆者測試中發現,HiAR SDK最新版本包大小為2.5M,和官方宣傳的小於3M一致,這可能也是在AR營銷活動中,不少大型合作夥伴,如騰訊QQ選用HiAR SDK的原因。

  SLAM

  雖然SLAM技術並未在HiAR SDK中開放,但筆者注意到,在不少商業合作中,已經用到了亮風臺研發的SLAM。在CES 2017 Asia中,亮風臺開放了SLAM體驗。在CES 2017 Asia中,亮風臺展現的HiAR SLAM具有以下特點:

  支持單幀、多幀、圖片、點雲多種初始化方式,毫秒級完成初始化;

  穩定精準,移動背景魯棒;

  運行流暢,毫秒級重定位;

  優化使用單目SLAM場景,支持場景存儲,保持穩定表現,提升運算速度。

  總結

  經過測試,發現HiAR SDK不僅在2D識別與跟蹤方面具有自己的優勢,而且很好地控制了包的大小。經過進一步的了解,亮風臺不僅研發基於自身核心算法的AR SDK並推出商用,也發布了AR智能眼鏡HiAR Glasses等產品。

  其官方人員曾表示,開發硬體的原因之一也在於優化自身的技術,2D圖像識別與跟蹤、SLAM、手勢、人臉等技術已經或正在向眼鏡端部署。

  作為一枚小小的開發者,筆者看好國內自主研發的HiAR SDK,也期待HiAR Glasses能夠帶來更多驚喜。


來源:比特網

相關焦點

  • Qualcomm年度十大SDK盤點:Hexagon SDK
    眾所周知CPU的整數運算能力很強,GPU的浮點計算能力更強,而DSP在計算方面的特性和GPU還是有一些差別。DSP更傾向於處理有時間序列的任務。比如多媒體編解碼任務,這是DSP最擅長做的。在視頻編解碼過程中的通常算法,是會根據前後兩幀之間的差值來進行計算。因此DSP更適合去做一些機械的、簡單的計算工作。它最大的特點就是功耗低,使用它處理計算任務可以更加省電。
  • Tizen 2.0 Magnolia SDK 以及原始碼發布
    在https://www.tizen.org/blogs/tsg/2013/tizen-2.0-magnolia-sdk-and-source-code-release
  • aapt問題,compileSdkVersion、buildToolsVersion、v7版本問題
    compileSdkVersion、buildToolsVersion、buildToolsVersion、com.android.support:appcompat-v7這些最好保持一致,compileSdkVersion 所在項目使用的sdk庫版本buildToolsVersion 構建工具的版本buildToolsVersion
  • CocosCreator | Android集成穿山甲SDK(ts和java互調注意事項)
    AppActivity activity;     @Override protected void onCreate(Bundle savedInstanceState) {        super.onCreate(savedInstanceState);        activity = this; }ts調用java:必須是static函數,如果有任何
  • Android-support-v4 v7 v8 v13 v17,Android SDK目錄結構
    項目中minsdkversion、compilesdkversion、targetsdkversion的區別!!Android Support v4: 這個包是為了照顧1.6及更高版本而設計的,這個包是使用最廣泛的,eclipse新建工程時,都默認帶有了。
  • 瞄準CES 面向2018,亮風臺HiAR G100 體驗
    (定製版本配置):雙目 IR 攝像頭、雙增效補光器、獨立深度圖像處理器續航:連續 AR 體驗 4 小時,待機時間超過 48 小時系統:HiAR UI(基於 Android 6.0,為 AR 眼鏡定製)HiAR G100 的設計元素非常簡約,左側僅配備有指示燈以及電源按鍵。右側則集成了一塊觸摸板以及音量鍵,用於日常使用的操作。
  • Proxy-Go SDK v8.4 發布,新增內網穿透 P2P、TCP 指定出口 IP!
    Proxy-Go全平臺SDK是proxy使用gombile實現了一份go代碼編譯為android和ios平臺下面可以直接調用的sdk
  • Google Android SDK 2.1正式發布 - OSCHINA - 中文開源技術交流社區
    1月12日,來自Google Android開發團隊博客的消息,之前有報導說無限期推遲發布的Android 2.1原始碼已經發布,可以到這裡了解更多詳情:http://developer.android.com
  • 新突破:亮風臺投影AR新成果入選CVPR 2019 oral presentation
    數據顯示,今年有超過 5165 篇的大會論文投稿,最終錄取1299 篇,而oral presentation的入選率只有提交論文的5%左右。可以預見,該成果將成為投影AR技術應用落地提供重要的技術基礎。新成果的貢獻主要有以下幾點:1.
  • hiar glass
    hiarglass 本專題為雷鋒網的hiar glass專題,內容全部來自雷鋒網精心選擇與hiar glass相關的最近資訊,雷鋒網讀懂智能與未來,擁有hiar glass資訊的信息,在這裡你能看到未來的世界。
  • Vuforia sdk 4.0之物體識別
    Vuforia sdk 4.0的新功能就是物體識別Object Recognition和物體掃描器 vuforia object scanner,製作一個手錶掃描案例簡單說一下使用流程。Vuforia 對象掃描儀使用有四個階段 設置-應用於設置環境。
  • Immersion 助攻安卓開發者,發布新版TouchSense SDK
    欲了解更多關於移動APP新款ToucheSense SDK的信息,敬請訪問: http://www.immersion.com/products-services/touchsense-sdk-mobile-apps (責編:楊虞波羅、沈光倩)
  • 開發者福利:小i推智慧機器人SDK工具包
    (SDK地址http://cloud.xiaoi.com/help/tool_sdk.jsp)。相對於市場現有的聊天對話機器人,iBot Cloud擁有諸多優勢,如數據及資源海量,語料聊天庫龐大,功能服務完備等。
  • 用科學創造生活,央視《焦點訪談》重點報導亮風臺HiAR
    4月18日,浦東開發開放三十周年之際,《焦點訪談》推出最新一期內容《浦東:前進的步伐》,其中,重點報導了以亮風臺為代表的張江創企、「張江男」。4月20日,《科技日報》頭版頭條聚焦浦東開發開放,亮風臺是代表性創企,也是浦東黑科技戰「疫」的典型。
  • 三六零天御為開發者打造SDK加固服務
    日前,三六零天御首家免費推出SDK加固服務,通過三大技術優勢實現針對第三方SDK的專業原始碼保護和防非法調用,移動應用開發者再不必為第三方SDK的安全性擔憂。第三方SDK對於開發者來說是不是萬金油?這些SDK是由廣告、數據、社交網絡、地圖和推送平臺等第三方服務提供商所開發的工具包,可以提供專業的服務,其中封裝了複雜的邏輯實現以及請求響應的過程。引入這些SDK,可以大大縮短移動應用的開發周期,豐富移動應用的功能。凡事皆有兩面。由於第三方SDK開發者的安全能力水平參差不齊,很多第三方SDK開發者把關注的焦點放在功能的實現上,而忽視了其安全性。
  • 6萬頭獎徵集剛結束,iTownSDK又出百萬獎金預告
    網易iTownSDK所舉辦的頭獎6萬元的開發作品徵集活動剛在6月19日結束了提交,6月20日官方網站(http://itown.163.com/sdk/)馬上出現了「1,000,000獎金等待開啟」的倒數頁面。
  • 乾貨|SpringBoot集成極光推送Java-SDK(建議收藏)
    jpush的自定義消息, // sdk默認不做任何處理,不會有通知提示。建議看文檔http://docs.jpush.io/guideline/faq/的 // [通知與自定義消息有什麼區別?]
  • iTownSDK召開CC語音交流會 上百開發者踴躍參與
    目前,網易iTownSDK頭獎6萬元的開發作品徵集活動正在火熱進行,不少開發者對徵集活動及遊戲開發也提出了很多新的問題,為解答這些困惑與疑問,網易iTownSDK研發團隊其中的8名成員在4月26日晚上與開發者在網易CC平臺上進行了一次網上交流
  • 2018年食品飲料公司扎堆玩支付寶AR
    這是首次有品牌商參與到支付寶AR掃福活動中,這些食品公司也借支付寶AR 強勢刷了一波「存在感」。下面小食代帶大家來看一下。2018支付寶味全乳品家族瓶身圖片大全 讓你掃除AR現金紅包2018味全乳品家族瓶身ar掃圖片,即可得現金紅包的活動火爆了,畢竟也不可能每天去買味全的乳品,因此,特意提供了一份最新的味全乳品家族瓶身圖片大全,可以免費掃出來多多的現金紅包,每天都有大紅包,比集齊五福更加的划算呢
  • 亮風臺發布「HiAR Workspace」閉環AR產品平臺
    工作場景中有「執行」、「協作」、「管理」三大角色,當每一代計算時代來臨,首先被廣泛應用的均是解決這些問題的工具,如office之於Windows,通訊軟體之於智慧型手機,AR時代同樣如此。這也是亮風臺「HiAR Workspace」平臺的目標所在,成為普適工作空間、工作場景中的「基礎設施」以及「核心工具」。