國際計算機學會訪談芮勇:多媒體計算、AR和智慧型手機的未來

智東西（公眾號：zhidxcom）
文 | 國際計算機學會

日前，國際計算機學會(ACM)對聯想集團首席技術官、高級副總裁、ACM Fellow芮勇博士進行了專訪。在專訪中，芮博士講述了自己的學術研究生涯，並對行業未來的技術發展，如智慧型手機、AR，多媒體計算等進行了分析和解讀。以下是專訪的中文譯文版。

Q1、您是怎樣進入多媒體計算研究領域的？

在我讀本科和碩士的時候，我的方向是控制理論和大規模系統優化。這些專業知識對我後來在多媒體領域的研究工作，比如「相關性反饋(relevance feedback)」，神經網絡和深度學習等，都發揮了重要的作用。

在伊利諾伊大學厄巴納-香檳分校讀博期間，我開始從事多媒體分析和檢索的研究。那時，網際網路還處於幼年時期，Web瀏覽器剛剛出現，而搜尋引擎還沒有誕生。在那個時代，圖像搜索的概念相當超前。

當時我遇到了一個很好的機會。美國國家自然科學基金會設立並資助了 「數字圖書館」項目。我有幸參與其中。我把控制理論，信息檢索和計算機視覺這三個領域融合起來，進行了深入的跨學科研究，最終，我成為第一批基於相關性反饋實現圖像搜索的研究者，為圖像搜索創造了一種全新的模式。「相關性反饋」是一種通過用戶先前的搜索結果和行為模式分析而優化搜索結果的方法。

獲得博士學位後，我開始了在微軟18年的職業生涯。在那裡，我繼續從事多媒體分析、理解和檢索，機器學習，計算機視覺和模式識別等領域的研究工作。

現在，作為聯想的首席技術官和聯想研究院的領導者，我將繼續帶領團隊推進多媒體計算的發展，並將最前沿的多媒體研究成果融入到聯想的產品和服務中去。

Q2、如今這個時代，每天都會產生大量的多媒體數據，那麼在未來，多媒體分析和檢索有什麼能為社會帶來重要價值的新興應用？

從技術的角度來說，以深度學習為代表的人工智慧算法正在並將繼續促進多媒體研究，尤其近期深度學習較好構建了基於多模態(multi-modality)的算法框架，使得跨領域的多媒體數據的有效融合、利用/檢索成為可能。

比如圖像和視頻的描述(captioning)。幾年前，描述能做的只是給圖像或視頻自動打上標籤(tag)。而深度學習建立了計算機視覺和自然語言處理之間的連接，可以將零散的標籤變成一句基於視覺內容並且通順連貫的自然語言描述。

隨著相關領域和硬體設備的進一步發展，圖像/視頻描述甚至將支持一段（多句）關於內容的自然語言描述，也將支持更自然的用戶交互系統；支持的模態(modality)也會超越計算機視覺和自然語言處理的範圍，例如，可以導入語音特徵(voice features), 空間深度信息(depth feature), 文本特徵(text features)等。

Q3、智慧型手機是人們消費多媒體內容的主要渠道之一，聯想也是智慧型手機製造商。根據現有研究和產品開發的進展，您認為未來的智慧型手機會是怎樣的？

從技術的角度來看，未來，像人工智慧、VR/AR, 5G, 實時翻譯，新電池技術以及全息技術的發展，將深刻改變智慧型手機和用戶的體驗。

具體而言，無邊框屏(infinity screen)，神經網絡處理器(NPU)，以及更多的傳感器可能會出現在智慧型手機上。在傳感器方面，手機將會融合生物特徵傳感器、深度攝像頭，多攝像頭以及更好的計算機視覺技術。此外，5G的發展將為智慧型手機用戶帶來10倍帶寬和零延遲。

智慧型手機的形態也可能會發生大的變化。其中一個可能性是可摺疊手機。比如，2016年，聯想研究院研發出業界第一個真正的可摺疊手機原型CPlus和Folio。CPlus可以在手機和腕錶之間轉換形態，而Folio則可以在平板和手機之間隨意切換。

Q4、聯想正在進軍AR/VR領域，比如聯想VR Classroom以及迪斯尼和聯想合作推出的《星球大戰：絕地挑戰》AR設備Lenovo Mirage。AR/VR技術已存在了幾十年，為什麼現在這些技術正在走向主流？

是的，AR/VR技術已經存在了幾十年。但近年來的技術突破，比如光學鏡頭，計算機視覺以及slam(simultaneous localization and mapping, 即時定位與地圖構建)，讓AR/VR技術開始加速發展，巨大潛力開始顯現。另外，AR/VR可以幫助解決很多行業上的痛點問題，也能夠給用戶帶來全新的娛樂體驗。

我個人認為，與VR相比，未來AR很可能會成為一個更大的、更有前景的平臺。尤其是當AR與垂直行業結合時，比如教育，培訓以及工業維護等。在聯想2017Tech World上，我們展示了聯想研究院研發的晨星AR(daystAR)眼鏡原型以及我們的AR平臺。一位工程師在現場展示了如何利用這些AR設備和平臺維修出現故障的飛機發動機，生動地詮釋了AR技術在垂直領域的廣闊應用前景。