查看引用/信息源請點擊：映維網
SIGGRAPH 2020大會收錄的論文匯總
（映維網 2020年09月07日）成立於1967年的SIGGRAPH大會一直致力於推廣和發展計算機繪圖和動畫製作的軟硬體技術，並已經成為一個集科學、藝術、商業於一身的權威性學術研討會。今年的大會已經結束，而來自世界各地的研究者和工程師都在這裡分享了最新的工作進展。
對於SIGGRAPH 2020大會收錄的論文，其中不乏或許可用於虛擬實境/增強現實領域的內容。下面是映維網整理的部分收錄論文：
1. MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality
我們主要提出了用於驅動虛擬實境和增強現實體驗的實時手部追蹤系統。利用四個魚眼單色攝像頭，系統能夠生成精確和低抖動的三維手部。我們主要是通過用於檢測手部和估計手部關鍵點位置的神經網絡架構來實現這一點。
手部檢測網絡能夠可靠地處理各種真實世界的環境，而關鍵點估計網絡則利用追蹤歷史來產生時空一致的姿態。團隊同時設計了可擴展的半自動機制，通過手動注釋和自動追蹤相結合的方式來收集大量不同的ground truth數據。
另外，我們引入了一種追蹤檢測的方法，在降低計算成本的同時提高了平滑度。優化後的系統在PC端能夠以60Hz的速度運行，而移動處理器則是30Hz。
相關論文：
MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality
https://paper.nweon.com/5527
2. XNect: Real-time Multi-Person 3D Motion Capture with a Single RGB Camera
我們提出了一種使用單個RGB攝像頭，並以超過30 fps的速度實時捕捉多人3D運動的方法。它可以成功地在一般場景中運行。我們的方法包含多個階段。第一階段是一個卷積神經網絡（CNN），它估計二維和三維姿態特徵。我們為這個CNN貢獻一個新的架構：SelecSLS Net，它使用新穎的選擇性長距離和短距離跳轉連接來改進信息流，從而在不影響準確性的前提下實現更快的網絡；在第二階段，一個完全連接的神經網絡將每個被試的二維姿態和三維姿態特徵轉化為每個個體的完整三維姿態估計；第三階段應用時空骨骼模型擬合每個被試的預測二維和三維姿態，進一步協調二維和三維姿態，並加強時間一致性。我們將在一系列具有挑戰性的真實場景中演示系統，而它能夠以超過30 fps的速度運行，並且達到最先進的精度。
相關論文：
XNect: Real-time Multi-Person 3D Motion Capture with a Single RGB Camera
https://paper.nweon.com/650
3. Neural Supersampling for Real-time Rendering
我們介紹了一種可以將低解析度輸入圖像轉換為高解析度輸出的機器學習方法。這種upsampling（上採樣）過程利用了神經網絡並以場景統計進行訓練，從而能夠恢復清晰的細節，同時節省在實時應用程式中直接渲染所述細節的計算開銷。
對於神經超採樣，由運動矢量提供的附加輔助信息特別有效。運動矢量定義了序列幀中像素之間的幾何對應關係。換言之，每個運動矢量指向一個亞像素位置，其中在一幀中可見的曲面點可能已經出現在上一幀中。所述值通常是利用計算機視覺方法進行估計，但這種光流估計算法容易出錯。相比之下，渲染引擎可以直接生成密集運動矢量，從而為應用於渲染內容的神經超採樣提供可靠的、豐富的輸入。
相關論文：
Neural Supersampling for Real-time Rendering
https://paper.nweon.com/3261
4. Gaze-Contingent Ocular Parallax Rendering for Virtual Reality
沉浸式計算機圖形系統致力於產生真實的用戶體驗。當前的虛擬實境顯示技術成功地實現了眾多感知方面的重要效果，包括透視、視差、運動視差和其他深度線索。在這篇論文中，我們介紹了一種能夠精確渲染視差的視覺感知技術。眼睛視差描述了視網膜隨眼睛旋轉而產生的圖像偏移。這種效果是因為眼睛的旋轉中心和投影中心不一樣。通過設計和進行一系列的用戶實驗，我們研究了視覺視差渲染的感知含義。具體地說，我們估計了這種效應的感知檢測和辨別閾值，並證明在大多數虛擬實境應用中它是清晰可見。另外，我們發現視覺視差渲染提供了一個有效的有序深度提示，並改善了虛擬實境中真實感印象。
相關論文：
Gaze-Contingent Ocular Parallax Rendering for Virtual Reality
https://paper.nweon.com/4828
5. The Eyes Have It: An Integrated Eye and Face Model for Photorealistic Facial Animation
這項研究的主要貢獻包括：一個可共同學習，並能夠更好地表示注視方向和上面部表情的3D人臉和眼球模型；一種將左右眼注視從彼此和面部其他部分分離開來的方法，從而令模型能夠代表前所未見的眼神和表情組合；以及一個用於支持頭顯攝像頭構建精確動畫的注視感知模型。定量實驗表明，這一方法可以獲得更高的重建質量，而定性結果顯示所述方法可以大大改善VR虛擬化身的臨場感。
相關論文：
The Eyes Have It: An Integrated Eye and Face Model for Photorealistic Facial Animation
https://paper.nweon.com/2968
6. N-dimensional rigid body dynamics
我提出了一個與空間維度無關的剛體動力學公式。我用幾何代數來描述剛體的狀態和運動方程。使用擴展到nD的碰撞檢測算法，我解析了對象之間的碰撞和接觸問題。我的實現是4D，但這裡描述的技術適用於任何數量的維度。我用一個三維切片來展示這些四維剛體。我允許用戶實時操縱這些剛體。
相關論文：
N-dimensional rigid body dynamics
https://paper.nweon.com/5643
7. Data-driven extraction and composition of secondary dynamics in facial performance capture
表達性對象的表達捕捉，特別是高空間解析度獲得的面部表現，其不可避免地會包含一些由於慣性效應和彈道運動而產生的次級動態效果。在大多數自然捕捉環境中，演員在表演時能夠自由移動，而不是固定在特定的位置。通常，所述的次級動態效果並不需要，因為捕捉到的面部表情通常會重新定位到不同的頭部運動，有時甚至是完全不同的角色。在這兩種情況下，我們應該移除捕捉到的動態效果，並添加新的二級效果。本文提出了這樣一個假設：對於一個高度約束的彈性介質（如人臉），這些次級慣性效果主要是由於骨結構（頭骨和下頜骨）運動產生。我們的研究旨在計算和描述捕捉到的動態面部表現之間的差異。這可以用來減去在捕捉過程中由於無意運動而產生的次級動力，或者在準靜態表演的基礎上合成這樣的效果，從而模擬演員身體和頭骨的動態運動。
相關論文：
Data-driven extraction and composition of secondary dynamics in facial performance capture
https://paper.nweon.com/5641
8. ARAnimator: in-situ character animation in mobile AR with user-defined motion gestures
創建與真實環境緊密交互的虛擬AR角色動畫十分有趣，但非常困難。現有的系統採用視頻透視的方式來間接控制移動AR中的虛擬角色，而這使得與真實環境的緊密交互變得不太直觀。在這項研究中，我們使用一個具有AR功能的行動裝置來直接控制位於真實環境中的虛擬角色位置和運動。我們發現，基於SVM的學習方法可以從行動裝置的運動數據中獲得相當高的手勢分類精度。我們提出了一個ARAnimator，它允許新手用戶和休閒用戶通過一個支持AR的手機直接表示一個虛擬角色，並使用設備的運動手勢來控制其在AR場景中的動畫，然後通過視頻透視界面進行動畫預覽和交互式編輯。實驗結果表明，利用ARAnimator，用戶可以輕鬆地創建與不同真實環境緊密交互的角色動畫。
相關論文：
ARAnimator: in-situ character animation in mobile AR with user-defined motion gestures
https://paper.nweon.com/5639/
9. The design and evolution of the UberBake light baking system
我們描述了UberBake的設計和發展。UberBake是一個由動視開發的全局照明系統，它支持有限的照明變化以響應特定的玩家交互。我們不依賴完全動態的解決方案，而是使用傳統的靜態照明烘焙管道，並通過一組小功能對其進行擴展，從而使得我們能夠在運行時以最小的性能和內存開銷動態更新預計算的照明。這意味著我們的系統能夠支持從高端PC到前代遊戲機的各種系統。特別地，我們展示了如何有效地預計算由於單個照明的啟用和禁用，以及大門打開和關閉而引起的照明變化。
相關論文：
The design and evolution of the UberBake light baking system
https://paper.nweon.com/5653
10. Tactile Rendering Based on Skin Stress Optimization
我們提出了一種呈現虛擬觸摸的方法，從而使得位於用戶皮膚的觸覺設備所產生的刺激與虛擬環境模擬中的計算刺激相匹配。為了實現這一點，我們採用了一種新的優化算法來解決從皮膚刺激到設備配置的逆映射問題。在所述算法中，我們使用設備皮膚模擬模型來估計渲染的刺激，通過將摩擦狀態的計算與設備配置的優化解耦而有效地考慮了軌跡相關的影響，同時使用設備皮膚模型的神經網絡近似來加速計算。概括而言，我們可以實時觸覺渲染豐富的交互。
相關論文：
Tactile Rendering Based on Skin Stress Optimization
https://paper.nweon.com/1361
11. Directional sources and listeners in interactive sound propagation using reciprocal wave field coding
常見的聲源會表現出強烈的頻率和方向依賴性。當在複雜的環境中傳輸時，它們的各向異性輻射場在到達方向敏感的聽者之前會經歷散射、衍射和遮擋。我們提出了第一個基于波的交互式聽覺化系統，它可以對一般場景中的聲波場進行編碼和呈現。我們的方法在自由移動和旋轉的聲源呈現方向效應，並且支持任何列表的源方向性函數和頭相關傳遞函數。對於各種環境和源類型，我們演示了依賴於詳細場景幾何體的令人信服的效果。
相關論文：
Directional sources and listeners in interactive sound propagation using reciprocal wave field coding
https://paper.nweon.com/5645
12. A Scalable Approach to Control Diverse Behaviors for Physically Simulated Characters
具有廣泛自然外觀和實際行為的人類角色將有助於構建引人入勝的交互式體驗。在這篇論文中，我們提出了一種旨在適應大量異類行為的技術。通過將一個運動參考庫劃分為類似運動的簇，我們可以構造能夠在所述簇中再現運動的模擬版本。我們的系統通過由8小時動捕數據構建的運動圖所產生的運動進行訓練，並包含了一系列不同的行為，如跳舞、空手道動作、手勢、行走和跑步。
相關論文：
A Scalable Approach to Control Diverse Behaviors for Physically Simulated Characters
https://paper.nweon.com/5529
13. High Resolution tendue Expansion for Holographic Displays
全息顯示器可以創建高質量的三維圖像，同時保持適合頭戴式虛擬實境和增強現實系統的小尺寸。然而，基於空間光調製器中像素的數量，全息顯示器的光通量有限，從而就造成了視窗和視場之間的折衷。
我們在這項研究中引入了新的算法，以空間光調製器的固有解析度支持密集的、真實的圖像。與基線方法相比，峰值信噪比提高了20dB。我們提出空間和頻率約束來優化人的感知性能，並通過仿真和初步的臺式樣機對性能進行了表徵。我們進一步展示了在多個深度生成內容的能力，並提供了一種將臺式原型小型化為類似太陽鏡的外形的途徑。
相關論文：
High Resolution tendue Expansion for Holographic Displays
https://paper.nweon.com/5533
14. Exertion-aware path generation
我們提出了一種新的路徑生成方法，而所述方法可以用來實現高度逼真的沉浸式虛擬實境應用。在給定一個地形作為輸入，我們基於優化的方法能夠自動生成可行的路徑，並允許用戶在虛擬實境中進行自行車騎行鍛鍊。所述方法考慮了路徑生成過程中的總工作量和路徑難度的感知程度等特性。為了驗證我們的方法，我們將其應用於在各種地形上生成具有不同施加目標和約束的路徑。為了進行我們的用戶研究，我們建造了一輛運動自行車。我們的用戶研究結果顯示，與傳統的鍛鍊方法相比，用戶在使用我們生成的路徑進行鍛鍊時更令人愉快。他們在自行車道上的能量消耗同時符合指定的目標，從而驗證了我們方法的有效性。
相關論文：
Exertion-aware path generation
https://paper.nweon.com/5647
15. Holographic Optics for Thin and Lightweight Virtual Reality
我們提出了一種結合了全息光學元件和基於偏振的光學摺疊的全新近眼顯示器，而這一方法可用於開發未來的太陽鏡式VR硬體。兩種方法的結合有助於實現儘可能細薄的光學元件，同時最有效地利用空間。具體而言，設備僅採用細薄平面薄膜作為光學元件，並實現了小於9毫米的顯示器厚度，同時支持與當今消費類虛擬實境產品相當的視場。這項研究同時展示了更優視覺性能的前景：雷射照明用於為虛擬實境顯示器提供更廣泛的顏色範圍，並且在將解析度擴展到人類視覺極限方面取得了進展。
相關論文：
Holographic Optics for Thin and Lightweight Virtual Reality
https://paper.nweon.com/3067
16. Towards occlusion-aware multifocal displays
人類視覺系統使用大量線索來感知深度，包括視差、調節、運動視差和遮擋。多焦點顯示器是滿足視覺調節提示的經典方法之一，它將虛擬內容放置在多個焦平面之上，而每個焦平面的深度不同。然而，靠近眼睛的焦平面上的內容不會遮擋遠處的內容，這會惡化遮擋線索，並且由於散焦模糊洩漏而降低深度不連續處的對比度。本文使用了新的ConeTilt算子來實現了遮擋感知的多焦點顯示。我們發現，對於具有相對簡單遮擋配置的場景，ConeTilt可以提供與物理遮擋相同的效果。我們證明了ConeTilt可以很容易地用純相位空間光調製器來實現。使用一個實驗室原型，我們展示的結果證明了遮擋線索的存在和深度邊緣顯示對比度的增加。
相關論文：
Towards occlusion-aware multifocal displays
https://paper.nweon.com/5649/
17. Immersive light field video with a layered mesh representation
我們研發了一個低成本的裝置來錄製沉浸式光場視頻。所述裝置由46個安裝在輕質亞克力圓頂的運動相機組成。利用由同一谷歌研究小組成員在2019年開發的機器學習算法DeepView，我們將來自每臺相機的視頻流組合成一個場景的3D表示。論文同時介紹了一種全新的「分層網格」表示，它由一系列具有半透明紋理的同心層組成。通過從後到前地渲染所述層，場景將能變得生動逼真。在以前，合成相機一開始未能捕獲的視點是一個非常困難的問題，但所述新方法解決了這一痛點，並允許用戶在探索光場視頻內容時自由地轉動頭部。另外，所述系統能夠在壓縮光場視頻的同時保持原始的視覺質量，並使用傳統的紋理貼圖和廣泛支持的視頻編解碼器來實現。
相關論文：
Immersive light field video with a layered mesh representation
https://paper.nweon.com/2680
18. HeadBlaster: a wearable approach to simulating motion perception using head-mounted air propulsion jets
我們介紹了一種新穎的可穿戴技術HeadBlaster，它可以對頭部施力並刺激前庭和本體感感覺系統，從而創造運動知覺。與傾斜身體的運動平臺相比，HeadBlaster更接近真實運動中橫向慣性力和離心力的感受，從而提供更持久的運動感受。另外，由於HeadBlaster只驅動頭部而不是整個身體，它消除了約束用戶運動的機械運動平臺，從而提高了用戶的移動性，並可以房間規模VR體驗。我們設計了一個可穿戴的頭部噴射系統：6個空氣噴嘴集成到一個虛擬實境頭顯中，並使用壓縮空氣射流提供持久的橫向推進力。通過控制多個空氣噴射，它能夠在360度內產生橫向加速度的感覺。為了量化頭部運動、感知加速度的持續性和可檢測力的最小水平，我們進行了一系列的感知和人為因素研究。然後，我們通過兩個虛擬實境應用程式探索了HeadBlaster的用戶體驗。研究結果表明，與運動平臺相比，HeadBlaster提供了更長的感知加速度持續時間。它同時顯著提高了真實感和沉浸感。另外，它可以與運動平臺結合使用，從而進一步增強用戶體驗。
相關論文：
HeadBlaster: a wearable approach to simulating motion perception using head-mounted air propulsion jets
https://paper.nweon.com/5651