人機互動新體驗,全新AR界面讓你輕鬆控制畫中物

2020-12-16 鈦媒體APP

文丨學術頭條，編審丨王新凱

你是否曾渴望成為畫中人？或者是控制畫中物？增強現實（AR）作為新一代人機互動平臺，或許可以幫你實現這一願望。

近日，卡爾加裡大學、Adobe 研究中心和科羅拉多大學博爾德分校的研究人員創建了一個增強現實（AR）界面 RealitySketch，該界面可用於繪製交互式圖形和可視化、可響應的草圖。

相關研究以 「RealitySketch: Embedding Responsive Graphics and Visualizations in AR through Dynamic Sketching」 為題，發表在預印本平臺 arXiv 上。

該創新成果還在 ACM 用戶界面軟體和技術研討會（ACM Symposium on User Interface Software and Technology, UIST』20）上，獲得了最佳論文榮譽獎（Best Paper Honorable Mention）和最佳演示榮譽獎（Best Demo Honorable Mention）。

研究初衷：向學生解釋物理現象

近年來，交互式動態草圖一直是人機互動研究領域的核心主題之一，它通過對用戶進行交互式響應，使人們能夠通過一個動態的視覺媒介進行思考和交流。

儘管目前市場上基於 AR 的草繪界面不計其數，但迄今為止開發的大多數解決方案都專注於研究如何將靜態圖形嵌入到現實世界中。例如 Pronto、SybiosisSketch 和 PintAR，以及 Google 的 Just a Line 或 DoodleLens 等商業平臺。

如今，該研究團隊開發出了更加豐富的動態素描技術詞彙，可以動態地實時創建交互式的動畫內容。RealitySketch 平臺不僅允許用戶創建靜態草圖，還可以嵌入動態圖形和交互式圖形，這些圖形可以與用戶周圍的真實對象進行綁定，並對用戶的動作做出反應。

圖 | RealitySketch 可以使用戶通過實時草圖繪製實現鐘擺運動等物理現象的可視化

想像一下，當我們在鐘擺上畫一條線，這條線隨著鐘擺的擺動而移動，這種交互式操作將鐘擺的運動進行可視化處理。就如上圖中右側曲線圖，形象地將鐘擺下方的位置進行了實時的繪製，這種抽象與現實的完美結合，幫助人們更好地理解物理現象。

該研究的作者之一 Ryo Suzuki 表示：「我們的項目初衷很簡單，就是通過 AR 交互式草圖繪製，使用戶能夠將現實世界進行可視化描繪。而這個想法最初來源於我們對物理課堂教育的觀察，在物理課堂中，老師指導的實驗課通常是物理學習的一個組成部分。」

向學生解釋物理現象有時是相當具有挑戰性的，因為要充分理解這些物理現象，需要學生們想像這些現象是如何發生的，以及它們是什麼樣子的，而不是僅僅學習與之相關的理論知識。

而由 Suzuki 及其研究團隊共同創建的 AR 平臺 RealitySketch，允許用戶製作動態和響應式的圖形，這些圖形可以在黑板、牆壁或現實世界中的其他物體上進行可視化展現。

該平臺為學生們的物理學習提供了一個全新的窗口，可以幫助物理老師以動感十足的方式，讓學生直接觀察運動中的物理現象，從而可以幫助學生對課程所涵蓋的主題有更深的理解。

動態交互式可響應的圖形創建

RealitySketch 基於蘋果公司的 AR 開發平臺 Apple ARKit 研發，它可以將繪製的動態草圖嵌入到真實環境中。用戶首先通過手指或數碼筆在觸控螢幕上繪圖，然後將他們繪製的草圖中的元素疊加到真實世界的攝影機視圖上。

Suzuki 說：「在過去，創建這樣的可視化場景會經歷很多耗時的環節，需要視頻編輯、後期製作等獨立的步驟。相比之下，我們想弄明白：當現實世界發生變化時，如果這些草圖元素能夠動態地做出反應，會怎麼樣呢？"

圖 | 嵌入式和響應式草圖的潛在示例(綠色元素表示虛擬世界中的對象，黑色元素表示現實世界中的對象)

RealitySketch 最獨特的功能是：它利用交互技術，根據真實世界運動的草繪元素進行實時的動畫製作。該方法可以保障用戶以用戶以實時和即興的方式，按照以下 4 個步驟來實現圖形的創建：

對象跟蹤：用戶首先要在真實世界的場景中，指定要跟蹤的視覺實體（例如，一個物理對象或一個骨骼關節）；參數化：然後，用戶通過繪製直線或弧線來定義感興趣的特定變量，從而對跟蹤的實體進行參數化；參數綁定：用戶將這些變量綁定到草圖元素的圖形屬性上（例如，長度、角度等），如此一來，當現實世界的變量發生變化時，就可以實時跟蹤其動態行為；可視化：用戶還可以通過幾種可視化效果來對現實世界的運動進行交互、分析和可視化處理。

Suzuki 解釋道：「RealitySketch 集成了物體追蹤和基於 AR 的可視化。首先，它利用計算機視覺技術來跟蹤物理對象。當用戶在 iPad 上點擊一個對象時，系統會根據物體的顏色來跟蹤該對象。所有的草繪元素都被綁定到了這些被追蹤的物體上，因此用戶對物體進行移動、拋出等操作時，草繪的元素也會根據預期表現出的運動進行動畫處理。」

AR 作為動態計算媒介，潛力巨大

為調查這一平臺的滿意度，研究人員招募卡爾加裡大學的學生和老師參與評估調研，這些師生對 RealitySketch 非常滿意，並且似乎對其增強物理實驗的潛力感到特別興奮。

現在由於 COVID-19 在全球的大流行，很多學生都在網上上課，而 RealitySketch 界面的創建可能價值非凡。實際上，RealitySketch 可以使遠程教學更具吸引力，例如，它允許教師錄製動態的物理實驗視頻，並與學生進行分享，這樣他們就可以更好地理解老師在講課中描述的物理概念和現象。

除了在課堂環境中測試他們的平臺，研究人員還展示了 RealitySketch 在與教育無關的其他應用領域中的潛力。例如，他們展示了體育教練可以使用它來生成與健身有關的數據，並對其進行實時的可視化處理和分析。

圖 | 為 RealitySketch 提議的應用場景的草圖

研究人員向籃球運動員展示了籃球的實時運動軌跡，通過對特定的身體姿勢製作可視化界面，使他們更加清晰的看到得分過程，也讓課堂更加引人入勝。

Suzuki 表示：「我們有興趣在將來進一步開發該項目，這是 Adobe Research（Rubaiat Habib Kazi，Wei-Yi，Stephen DiVerdi，Wilmot Li）與卡爾加裡大學（我）、科羅拉多博爾德大學（我的博士博士生導師 Daniel Leithinger 教授）共同合作的成果。我們相信這項工作將激發更多支持沉浸式創意的研究和產品，並將充分實現 AR 作為動態計算媒介的潛力。」

參考資料：https://arxiv.org/pdf/2008.08688.pdfhttps://techxplore.com/news/2020-12-realitysketch-ar-interface-responsive.htmlhttps://www.youtube.com/watch?v=S5ouToPJyeM&feature=emb_err_woyt&ab_channel=ACMSIGCHIhttps://dl.acm.org/doi/10.1145/3379337.3415892

相關焦點

  • 視聽整合:人機互動界面的新方向
    近年來，隨著人工智慧的蓬勃發展，機器智能在不斷進步，機器視覺、語音識別、動作控制等領域實現了重大突破，並開始廣泛滲透到金融、客服、醫療、無人駕駛等行業。當前，雖然有許多關於大腦對多模態信號敏感性的研究，但視聽整合視角下人機互動的相關研究相對較少。本文試探索視聽整合新方法，開發人機互動界面的新潛能。
  • 嵌入式人機互動界面研究與實現
    需要特殊指出的是蘋果公司IOS系統屬於封閉系統，開發者僅能針對應用程式界面進行開發，無法修改系統界面。目前，嵌入式人機互動界面開發可以選擇作業系統主要分為WinCE和Linux兩大陣營，隨著2012年底微軟公司宣布Wince停止更新，越來越多的開發人員在選擇作業系統時轉而選擇Linux以及Linux衍生出的Android等作業系統。
  • 人工智慧推動人機互動創新 三星Bixby中文(普通話)版發布
    （三星電子大中華區總裁 權桂賢）　　不同以往的人機互動體驗　　隨著科技的發展，新的智能設備層出不窮，每個設備都有自己獨特的界面和操作邏輯因此人們已經很難體驗到科技在智能時代本應帶來的便捷，這也使得人機互動面臨窘境，亟待變革。　　如今，隨著人工智慧產業的發展，以自然語音處理技術為主的多模交互為此次變革提供可能。三星電子推出的Bixby人工智慧多模交互平臺將推動新一次人機互動變革，我們不再需要去學習如何與機器進行互動，而是讓機器去學習如何適應我們的世界。
  • 人機互動的內容有哪些_人機互動主要研究什麼
    人機互動的內容有哪些 　　機交互界面表示模型與設計方法（Model and Methodology） 　　一個交互界面的好壞，直接影響到軟體開發的成敗。友好人機互動界面的開發離不開好的交互模型與設計方法。因此，研究人機互動界面的表示模型與設計方法，是人機互動的重要研究內容之一。 　　可用性分析與評估（Usability and Evaluation） 　　可用性是人機互動系統的重要內容，它關係到人機互動能否達到用戶期待的目標，以及實現這一目標的效率與便捷性。
  • HMI掃盲貼:人機互動,從安全到智能
    其中我們通常所說的「人機互動界面」是指用戶可見的部分。通過人機互動界面與系統交流並進行操作。小如收音機的播放按鍵，大至飛機上的儀錶板、或是發電廠的控制室。因此，人機互動界面的設計要包含用戶對系統的理解（即心智模型），這是為了系統的可用性或者用戶友好性。 HMI目前大量運用在工業與商業上，簡單的區分為「輸入」與「輸出」兩種。
  • 人機界面設計原則及設計思想
    人機界面(HumanComputerInterface，簡稱HCI)也可以稱為用戶界面或使用者界面，它是系統和用戶之間進行交互和信息交換的媒介。利用人機界面可以實現信息的內部形式與人類可以接受形式之間的轉換(伺服控制系統)。在實際生活中，凡參與人機信息交流的領域都存在著人機界面。那麼什麼是人機界面設計呢，人機界面設計原則有哪些呢?
  • 人機互動簡述,一起來了解人機互動的世界!
    一、HCI綜述HCI（WIKI）是一門研究系統和用戶之間交互的學問。系統可以是各種各樣的不同的機器，也可以是計算機化的系統和軟體。人機互動界面通常是指用戶可見的部分。用戶通過人機互動界面與系統交流，並進行操作。通俗的講就是研究各種通過交互系統、交互體驗的學科。Physical的交互界面比如收音機的播放按鍵，virtual的界面比如網站、app界面。
  • 百度發布AI互動設計新成果:人機互動越來越「有意思」
    在人工智慧技術中，互動設計被認為是至關重要的一環。在這一領域，百度每年發布的新成果，被視為行業的風向標而備受矚目。並真正實現利用AI互動設計助推自動駕駛、智能硬體及智慧零售等領域的發展。」人工智慧互動設計院目前已在18個人因研究和設計的專業或行業平臺上發表或錄用了23篇論文，並對外界輸出了68篇有關人因工程研究的文章。在過去的一年裡，人工智慧互動設計院發布了智能汽車人機互動設計趨勢白皮書、2019AI人機互動趨勢研究，為行業指出了人工智慧時代下的互動設計趨勢。
  • Vision BMW i Interaction EASE自動駕駛人機互動概念座艙全球首發
    日前，Vision BMW i Interaction EASE自動駕駛人機互動概念座艙在2020北美消費電子展上全球首發。其超越現實的人機互動理念，前瞻性地展示了寶馬的自然交互未來，讓人們超前感受自動駕駛時代妙不可言的出行樂趣。寶馬堅信個人移動出行是充滿魅力且富有情感力量的。
  • 下一場革命性的人機互動方式會是什麼?
    今晚這堂課咱們來講一講近幾年大火的人機互動技術，以及未來可能會出現的革命性人機互動新方式。體感交互技術近些年發展勢頭很迅猛，很多場景都用到了此項技術，例如在一些遊戲體驗中，可以偵測你身體的動作，從而同步到遊戲中的虛擬人物。這就是一種很直接地以體感操控周邊裝置的例子，用戶通過體感交互技術可達到身臨其境的感覺。
  • 未來已來(一):語音交互,人機互動的新時代
    寫在前面：語音交互指的是與電子設備進行對話，讓它們能按照你的要求替你做事情。如今，語音界面無處不在，我們可以在智慧型手機、電視、智能家居和其他一系列產品中接觸到它。語音交互功能正快速的滲入我們的日常生活中，它的高速發展表明這項技術即將成為傳統圖形界面交互方式之外的另一種選擇，甚至有可能完全代替後者。
  • 汽車人機界面(HMI)的發展趨勢-第1部分
    我們在人機界面（HMI）上的體驗將會有很大不同——人機界面確保所有駕車上路的人都能理解和操作每一代新汽車所採用的不斷進步的技術。汽車人機界面在不斷發展，因此我們已經開始記錄汽車製造商和供應商正在探索的重要趨勢，這些趨勢指向2.0版乘客體驗。當有重大進展時，我們將更新這篇文章。
  • 人機界面HMI的8大知識點匯總
    一、HMI簡介 　　HMI是HumanMachineInterface的縮寫，「人機接口」，也叫人機界面。人機界面（又稱用戶界面或使用者界面）是系統和用戶之間進行交互和信息交換的媒介，它實現信息的內部形式與人類可以接受形式之間的轉換。凡參與人機信息交流的領域都存在著人機界面。
  • 組態軟體人機界面設計六大步驟_行業動態_人機界面資訊_HMI人機...
    用一級按鈕控制二級按鈕的彈出和隱藏保證了界面的簡潔。分層是把不同級別的按鈕縱向展開在不同的區域，區域之間有明顯的分界線。在使用某個按鈕彈出下級按鈕的同時對其他同級的按鈕實現隱藏，使邏輯關係更清晰。    通常要由3個層面組成。層面1是總覽界面。該層面要包含不同系統部分在系統所顯示的信息，以及如何使這些系統部分協同工作。層面2是過程界面。
  • 人機互動更便捷 魅族mBack鍵使用體驗
    當然是國內知名度較高的魅族品牌，從去年起魅族就開始對HOME鍵進行大刀闊斧的改革，經過長時間研究推出集輕觸返回、按下返回主界面、長按喚醒助手/關閉屏幕的mBack鍵，並且這顆按鍵還與指紋模塊相結合，給用戶帶來更便捷的人機互動體驗。
  • 「觸摸」未來:人機互動HMI為我們搭建通向新時代的橋梁
    而作為機器與人類之間「溝通」的橋梁，人機互動HMI在當下所扮演的角色正變得日益複雜起來。隨著智能化技術逐漸滲透到各行各業，大到社會層面的工業生產、醫療衛生，小到個人層面的工作生活、交通出行，處處我們都不難發現人機互動的影子。
  • 阿里聯合清華大學共建自然交互體驗實驗室,要讓機器懂感情
    阿里巴巴聯合清華大學，成立了「自然交互體驗聯合實驗室」。為了讓機器更「自然」地與人交流，阿里巴巴聯合清華大學，成立了「自然交互體驗聯合實驗室」（下稱「清華-阿里巴巴自然交互體驗實驗室」），探索「下一代人機互動」。
  • 推出全新AR交互系統Rhino X
    這裡有一處亮點不得不提到，那就是曾與聯想、迪士尼在VR領域有過深度合作的國內頂尖AR/VR技術公司Ximmerse又來了，而且這次還帶來了新產品，在AR/VR行業內引起不小關注。一、獲高通投資，Ximmerse推出全新交互系統Rhino X本次與高通聯合出展的Ximmerse與高通「關係匪淺」。
  • 人機互動新技術:超聲波成像感知手部動作!
    導讀最近英國布裡斯託大學的最新研究成果顯示：未來智能手錶等可穿戴設備可採用超聲波成像感知手部動作，這為智能設備的人機互動又增添了一種新方法。然而，為了讓用戶有一個良好的體驗，人機互動技術顯得十分關鍵。可是，相對於智慧型手機等大顯示屏的設備，智能手錶的顯示屏面積較小，這就為用戶的人機交體驗帶來很大障礙，交互的舒適度顯著降低，操作難度也大大增加。
  • 軟硬兼施領跑人機互動 驀然認知多維度解決交互難題
    驀然認知CEO戴帥湘認為，在全新的AI歷史機遇下，驀然認知要主動承擔起兩個使命：通過一系列AI核心技術讓機器更好地認識世界；利用AI創造更自然、高效的交互方式，助力傳統產業智能化升級。戴帥湘認為，新的交互方式會讓更多硬體設備變得智能，車裡、家裡、辦公區內的設備都會變的智能。讓一切更智能，這也是驀然認知的使命。眾裡尋他千百度，驀然回首，那人卻在燈火闌珊處。「我們之所以叫『驀然』，和『百度』是有關係的。百度是搜素引擎，搜索一個東西你自己挑選，而我們做的是決策引擎，幫你找到信息並篩選出來。」戴帥湘說，決策引擎可以通過對話的方式和人交互，任何設備都可以互相連接起來。