Karl Guttag:微軟HoloLens 2雷射顯示解析(一)|hololens2|微軟holo...

2021-01-10 騰訊網

圖形和圖像顯示領域的知名科技博客Karl Guttag一直以來都在關注報導各個品牌的AR產品,而其中更是以HoloLens、Magic Leap、蘋果等頭部公司專利和產品居多。

關於微軟HoloLens 2更是Karl Guttag常年的關注對象,HoloLens 2採用了全新的LBS與MEMS光學方案,對AR光學行業都有著積極的影響。而Karl Guttag在去年更是多次直面報導了HoloLens 2的優勢與劣勢,包括LBS解析度、衍射波導色散、均勻性等方面進行了重點關注。

而近期,隨著HoloLens 2在美國等地向個人用戶開放購買,Karl個人購買了一臺,並已體驗了幾周時間。他表示:體驗之後推翻自己關於MicroLED的相關論斷,由於HoloLens 2的LBS被部分人看做是MicroLED的有力競爭技術,因此Karl再次對LBS工作方式等進行分析。

一,LBS無「彩虹」效應

經過測試,Karl已經通過相機拍攝了幾千張HoloLens 2顯示模組的照片,顯示圖像為測試圖片,目的是更好的展示畫面細節和肉眼不可見的細節。

結果發現,他本人購買的HoloLens 2的彩虹效應問題的確沒有網絡上流傳的圖片那麼嚴重,並猜測其中可能的一個原因是難以找到代表性的畫面。

二,場周期和刷新率

對於掃描顯示設備而言,精度意味著圖像從上到下一次掃描,而幀則表示一個時間點的整幅圖像。目前關於幀的定義並不明確,因為有些系統會從下一幀切換場周期(域)。

據悉,HoloLens 2擁有四個場周期均為120Hz,而最終合成可能是60Hz或120Hz。

三,掃描線和像素的關係

對於掃描顯示設備而言,掃描線和像素行是不相等的,對於HoloLens 2,它的像素行數量小於掃描線的數量。

四,HoloLens 2的成像原理

HoloLens 2的成像是一個極為複雜的過程。

1,120Hz頻率

據報導,HoloLens 2的場頻是120Hz,Karl的測試也印證了數據的準確性。為了拍攝單個場景/掃描,可以把相機快門設為1/125秒。

2,單色有2個VCSEL

根據微軟光學架構師Bernard Kress此前的演講公布的信息,HoloLens 2共為RGB每種顏色配備2個雷射發射器。採用垂直堆疊,間隔1個像素。

上圖是雙雷射發射器的結果,這張圖片是水平線和垂直線放大後的圖像,左側是經過Photoshop過濾紅藍雙色後的結果,右側是源輸入圖像。

從上圖中可以了解到,圖片左側為雙像素線條排列,右側是單像素線條排列,而其中的紅色方塊是單像素排列。

其中,左側雙像素的垂直紋理線每隔兩個像素也發生像素偏移,而且像素偏移也是成對出現,上下不對齊的像素約半個像素。同時,每2個像素像素偏移原因是單個場周期中掃描的不同方向,雷射在水平掃描的兩個方向被分散開。

五,開啟雷射雙向掃描

這是本文中最為複雜的驗證部分。經過上面的驗證,雷射掃描顯示僅在水平線上可以「像素對齊」的方式顯示,垂直線會有鋸齒狀。

上圖展示了同一張圖(顯示區域)中,不同區域的不同情況。其中,左側會有明顯的水平方向上的像素重疊導致的明暗條紋,中間區域則明顯更為均勻。

而這個明暗條紋效應就是因為雷射雙向掃描引起的。為了進一步驗證,在HoloLens 2紅色雷射器打開比較遲滯,有時需要10多個像素才能開啟。通過上圖中青色區域實際上對應著測試圖片中的白色,而這青色條紋實際上就是對應著雷射顯示從黑色到白色的過渡。其中,左側的的虛線為雷射掃描線的寬度。

1,單個場周期有854條掃描線(不代表像素)

在HoloLens 2中顯示像素和實際的掃描線並不相同,通過查看明顯的測試圖可以測出單個場周期共有854行掃描線,結合雙VCSEL堆疊堆疊排列,以及雙向掃描,意味著最大化的方式是四倍的數量,也意味著LBS有效垂直解析度(像素)是小於掃描線的數量的。

2,完全、重疊、4行隔行掃描

HoloLens 2雷射掃描是一個複雜的過程,在此前的推斷中LBS中微型反光鏡的速度還是不夠快,達不到微軟理想中的解析度值,至少和微軟宣稱HoloLens 2解析度的四倍還相差很遠。雖然HoloLens 2每個顏色有兩個雷射發射器,好處是可以讓掃描線數量翻倍,但實際運行的速度僅有宣稱水平掃描速度的一半。

2-1,不均勻「弓形」掃描

微軟在uspto中2018/0255278號專利也明確講述了雙雷射掃描器的隔行掃描工作原理。

上圖是專利圖6的彩色版,從中我們可以看出雙雷射發射器在重疊部分就出現右圖中明暗條紋出現。單雷射掃描曲線是以正弦波(弓形)出現,而這個正弦波發生畸變是因為單個或多個反射鏡。其中,當掃描水平翻轉時就會出現光路重疊部分。

結合右上角圖片來看,左邊黃色橢圓形對應著「亮、暗、亮」的顯示。而圖片右上角也包括一個裁切的圖像,其中顯示器掃描線比圖中距離更近,由此判斷雙雷射發射器會在每側明顯會有1/3以上的重疊區域。

圖片中左下角分別增加了紅色和品紅色兩個隔行掃描場,隔行掃描向下移動了2個像素,這會在一定程度上填充第一個場周期的左側和右側間隙。

2-2,4路隔行掃描

Karl談到:有些意外的是HoloLens 2沒有採用常見的2個場耦合方式,而是採用了4個變體場。目前來看像是通過雙堆疊雷射器進行4路隔行掃描來實現,而使用正玄波式的掃描如果沒有沒有四個場,則會出現明顯的明暗條紋。

如上圖,Karl找到四個場的最左側並進行裁切放大,並加入4條白色水平參考線,而圖中的綠色線條為一組掃描線的合成,在回掃過程中就會形成更大的雷射器。

2-3,弓形掃描的程度

上圖展示的是一整幅圖片的實拍圖(僅通過綠色展示),而在圖片中也加入了三條輔助對比線條(紅藍色),藍色為水平,紅色為整個掃描的曲線程度。

上圖展示了黑白雙色圖片上的9個目標區域,這裡面可以看出掃描上的不同。

3,4路隔行掃描

首先Karl介紹了一種至今投影儀行業仍然使用的一種像素偏移方式:Faux-K,上圖是4向的像素移動的思路。

HoloLens 2使用了4向像素移動的方式,在四個區域中拍攝了變化形式。

下圖場周期1和3每隔一個垂直像素就會出現向左/向右移動1或2個像素,形成鋸齒狀的效果;場周期2和場4呈現鋸齒狀,與1和3的方向相反。

上圖中下方還出現了區域相疊加後(通過Photoshop進行處理)的結果,其中1+3、2+4的結果還算比較合理。

在一幅白色背景圖片中,再次展示不同四個區域的圖像以及圖像重疊後的效果,甚至將以往各個區域融合後的30Hz視覺效果。

通過上面的兩組圖的4個場周期疊加後的圖對比來看,你會看到這個效果仍然不是很理想,這時你仍能看到一些水平向的明暗紋理等。

為了驗證上面的平均過程,Karl通過不同快門速度拍攝了一組照片,並由此區分場周期,其中1/30分鐘秒正好對應著四個場周期,1/120秒對應著1個場周期,1/8秒對應著15個場周期。

上圖中,1/30秒快門下的圖片仍然存在使用Photoshop多個場重疊後的條紋,再將快門調慢到1/8秒後這些條紋才明顯不可見。

對相同場周期的樣本進行篩查後可以看出,HoloLens 2在相同場周期下的變化並不大,例如上圖中那樣。不過仔細看還會有細微差別,例如紅色箭頭處像素寬度不同。其中還有一些次像素的變化(目前還不確定,後續進行討論)。

簡單來說,像素移動的好處是「隱藏」式的改善了部分拖影情況,改善了「紗窗效應」同時也銳利的邊緣進行模糊化。在HoloLens 2中,就是通過像素移動的方式實現雙向掃描。

4,60Hz與30Hz閃爍現象

像素移動是因為它隨著時間變化而呈現整幅圖像,因此我們眼鏡去觀察時就會產生短暫偽影,也就是「閃爍現象」,經過4個場周期,然後通過4幀獲得完整的圖像。在120Hz的基準刷新率下,會存在60Hz或30Hz的閃爍成分。

在1990年代,CRT顯示器往往有200nit、約85Hz的非隔行刷新率,而HoloLens 2據表明有500ni最大亮度,下圖是它的刷新率和亮度的示意圖,可以其建議HoloLens 2在95Hz以上的非隔行刷新。

HoloLens 2的另一個問題是人眼的周圍視覺更容易產生閃爍,在隔行交錯的過程,當黑色出現和消失時,閃爍為最明顯。

較慢的短暫偽影會形成波紋狀的視覺效果。特別是在用戶移動頭部或眼睛時看到的實心區域會產生條紋,以至於文本閱讀更為困難。

5,紅色雷射束的問題

如上文提到,紅色雷射從全黑場景開啟時會存在一些問題,就是背景中的白色會產生青色的偏色,而在HoloLens 2中亮度較低的情況下會更為明顯。

上圖是全彩圖片實拍圖,右側是處理過後的單紅色圖像。其中,左側黃色橢圓形內中間區域比中間左側區域的青色要更為明顯,在右側紅色處理圖像的中間區域才切圖則沒有明顯的紅色。

造成這種影響是因為掃描過程中,外部速度較慢,而中心的光則以最大速度移動。因此,如顯示相同的像素寬度就需要雷射器更快速的切換。

6,反射鏡頻率為27000Hz,而非54000Hz

根據The Verge在HoloLens 2上市時的報導,其從微軟獲得的信息是HoloLens 2中的雷射反射鏡會以54000/秒的速度擺動。

而根據微軟2018/0255278專利來看,當前MEMS技術的限制了反射鏡的擺動速度,也就會影響解析度。其中,27000Hz的水平掃描速率與60Hz顯示對應,圖像的解析度可達720p。而在近眼顯示設備中,720p會導致模糊。

這似乎也表明了HoloLens 2中發射鏡工作頻率要大於27000Hz才行,因此採用雙雷射器堆疊的設計。而在HoloLens 2中720p解析度或更低時就會顯得很模糊。

其中,HoloLens 2每秒會產生120個場周期,根據實拍的圖像來看,每場中有854(±4)次雷射掃描,將2個堆疊的雷射發射器,進行雙向掃描,因此反射鏡的工作頻率為854÷4=213.5個場周期,213.5×120Hz≈256000Hz或27000Hz,包含5%的垂直折回。

7,視場角約43×29度

通過Karl使用的奧林巴斯 25mm焦段四三系統鏡頭的視場角約37.6×28.2度,而HoloLens 2的顯示圖像正好超出相機水平視場角的5%左右。

六,結論:技術先進,結果糟糕

雖然微軟HoloLens 2中採用的技術的確令人興奮,尤其是雷射發射器以及整個模組的精度。而Karl本人也已自在研究LBS雷射掃描顯示方案,包括Cynic的方案,以及Celluon投影機使用的Microvision與索尼LBS引擎方案。

而經過上述測試,Karl表明:HoloLens 2是一款採用了「先進的」、「驚人的」技術,比此前他本人測試的Microvision設備的雷射對準要表現好很多倍。雖然花費了大量的時間和經費,但LBS雷射掃描方案的最終效果目前仍然難能達到令人滿意。雖然經過了重新採樣,但很難給出一個明確的解析度,他認為一塊800×600解析度的屏幕表現可能會比HoloLens 2的顯示效果更好、更清晰。

參考:Karl Guttag

相關焦點

  • MRTK V2 演示視頻中展示了微軟HoloLens 2神奇的手動交互
    上周末,微軟首席用戶體驗設計師Dong Yoon Park錄製了一段HoloLens 2視頻,並在YouTube MRTK頻道上分享。給我留下了深刻的印象,展示了HoloLens 2有多麼的強大。Park的視頻並沒有在工作中展示該設備及其軟體的商業化演示,而是給了我們一個令人耳目 一新的第一人稱視角,通過微軟的開源混合現實工具包(MRTK)手動交互組件來了解該系統 的真正性能。視頻的一部分展示了我今年早些時候描述的邊界框交互。
  • 微軟推出HoloLens 2開發版 提供免費的Unity Pro和PiXYZ插件試用
    為了把更多的開發者帶到HoloLens平臺,微軟今天推出了HoloLens 2開發版,旨在讓開發者和企業更容易訪問增強現實頭盔和軟體。HoloLens 2開發版現在每個用戶每月99美元起。提供HoloLens 2頭顯,500美元的Azure credits用於該公司的Azure混合現實服務,以及為期三個月的免費試用Unity Pro和Unity PiXYZ CAD數據插件。微軟還宣布了一套新的Azure AI技術,旨在幫助開發人員和數據科學家將AI應用於任何解決方案。
  • 吊打Magic Leap,微軟HoloLens 2不只為炫技
    果不其然,微軟此次將視場角從34°提升至52°,同時採用了3:2的顯示比例,效果就是增加了縱向顯示區域,人眼不用像此前要上下移動來查看未被顯示出來的虛擬畫面。微軟在回復RoadtoVR的詢問時,聲稱當時顯示的只是一張圖片,而且只是演示中的一小部分內容。RoadtoVR認為微軟在對待這件事上有些不夠謹慎。關於HoloLens 2視場角的提升,視+AR聯合創始人塗意認為這與微軟在2017年4月申請了一份顯示方案的專利有很大關係。
  • 微軟新出的HoloLens 2將配備同級別最佳的深度傳感器
    打開APP 微軟新出的HoloLens 2將配備同級別最佳的深度傳感器 佚名 發表於 2018-08-23 09:54:47
  • 微軟MR總監回應HoloLens 2支援5G與後續開展計劃
    在微軟開發者大會Build 2020開始前夕,微軟公司先行在線上發表了自家的Surface系列產品,如今活動開始了,微軟MR總監證實,旗下HoloLens 2將會導入5G,並且拓展其他更多國家與地區。受到新冠疫情(COVID-19)影響,微軟開發者大會首次在線上以虛擬形式開辦。其中,微軟公司混合實境(MR)技術總監Greg Sullivan談到了HoloLens 2的後續發展,他宣布今年秋天預計拓展更多國家與地區,這包括荷蘭、瑞士、西班牙、奧地利、瑞典、芬蘭、挪威、丹麥、比利時、葡萄牙、波蘭、新加坡、韓國、香港,以及臺灣。
  • 眼鏡也可以革PC的命 解讀微軟Hololens
    它看起來像是一個頭戴式顯示設備,和市場上已經出現的索尼頭戴顯示產品差不多?不是,它還能互動;它看起來能顯示虛擬的3D內容,與Oculus Rift虛擬顯示器差不多?也不是,它還能看見周圍環境;它是個Google Glass的升級版,能用語音手勢互動並且顯示內容?恩,有些接近了,但遠比這個強大。
  • Unity與微軟合推HoloLens 2開發版,Unity Pro和PiXYZ服務
    5月3日消息,Unity宣布與微軟達成合作,推出HoloLens 2開發版套件,預計將與HoloLens 2同時發售。據悉,HoloLens 2開發者版售價3500美元或99美元/月,包含一臺HoloLens 2、500美元Azure積分和Unity Pro和PiXYZ插件的3個月免費試用。
  • 微軟UX設計師展示HoloLens 2高精度手部交互
    如果要解釋為何HoloLens 2要優於初代頭顯,親眼見證總是可以勝過千言萬語。在今年二月,我有幸測試了HoloLens 2,而它給我留下了深刻的印象。我當時沒有太多以第一人稱視角體驗頭顯的視頻片段,但現在我們已經有了一個足以說明HoloLens 2強大之處的第一人稱視角視頻。實際上,這是微軟首席UX設計師樸東允(音譯:)所拍攝,並通過YouTube頻道Mixed Reality Toolkit進行了分享。
  • 微軟正式發布全息虛擬實境眼鏡 HoloLens
    Win7/Win8/Win8.1可免費升級Win10》《Win10/WP10手機預覽版2月份推送!》《下周見!微軟最新Win10預覽版公布時間確定》IT之家訊 微軟Win10/WP10發布會正式落下帷幕,微軟在本次發布會上在軟硬體平臺全面發力。針對桌面和移動平臺,微軟分別拿出了全新的Windows10以及Windows10 For Phones系統。
  • 真·黑科技:原來微軟是這樣把 Hololens 的全息交互畫面拍攝出來的...
    Hololens 展示環節有很深的印象:戴上 Hololens 眼鏡之後,大手一揮,一個虛擬窗口出現在牆壁上,然後就可以進行交互……但仔細一想,實際上只有那個佩戴 Hololens圖自:微軟要想實現 Spectator View,至少準備好以下四樣東西:一款基於分享式全息體驗(shared holographic
  • 微軟發布虛擬實境眼鏡HoloLens 主打全息體驗
    DoNews 1月22日消息(記者 薛飛)微軟在昨日凌晨推出了一款虛擬實境設備HoloLens,與市面中虛擬實境設備不同,微軟HoloLens將為用戶帶來全息式生活體驗服務,並且形成了一整套的解決方案。
  • 微軟HoloLens成功上市 比Google Glass有何不同?
    【TechWeb報導】提起穿戴設備,大家現在首先想到的是智能腕帶或者更新鮮的智能跑鞋,但實際上最早之所以有穿戴設備的說法是因為智能設備不僅僅局限於手機和平板電腦,很多廠商進行了新嘗試,其中當作眼鏡使用的Google Glass是最受關注的一款,不過陰錯陽差最終這款產品只有開發者預覽版登場,而消費版本最終也沒能上市。
  • 王小川:為什麼說微軟全息眼鏡HoloLens具備革命意義?
    有人說,HoloLens標誌著微軟的重生;有人說HoloLens是蘋果手機之後的又一偉大發明。這些都沒錯,但我想說的是,這樣的評論,並不足以表達HoloLens的革命性與顛覆性,HoloLens如果成功面世,將帶領人類進入新紀元。
  • 微軟HoloLens開發者大賽已獲3000個應用提案
    很顯然很多人具有很多可以應用於微軟增強現實頭顯
  • 全息光柵在Hololens顯示中扮演了怎樣的角色?
    由微軟推出全息眼鏡Hololens正式發貨之後,各路土豪紛紛入手,曬訂單,曬開箱,曬圖片。國外科技媒體The Verge的編輯Tom也被邀請到總部,曬Hololens大拆解。同時,對於Hololens的各個技術參數也有大神深入研究。  今天我們就來研究一下Hololens顯示。
  • 解析HoloLens 核心技術成本一覽無餘
    全球在「鏡片變薄」方向的最新進展是:2016年3月澳大利亞國立大學日前宣布製造出世界上最薄的透鏡,僅有6.3納米厚,是人頭髮絲直徑的兩千分之一。這種方法的技術核心是光導纖維投影儀(Fiber Optic Projector),基於雷射在光導纖維中傳播後從纖維的埠射出時輸出方向和纖維相切的原理,Magic Leap通過改變纖維在三維空間中的形狀,特別是改變纖維埠處的切方向,控制雷射射出的方向,直接投射到視網膜。
  • 微軟HoloLens與Google Glass固然好 但在AR上還將敗給蘋果
    就目前而言,在AR領域內,只有谷歌眼鏡和微軟HoloLens眼鏡頭盔設備算是增強現實設備,這兩款設備雖然在體型相差很大,但其發展策略是相同的,都瞄準了企業用戶,特別是微軟的HoloLens眼鏡頭盔設備,已經進入多家企業,在全球多個地區上市銷售。
  • 微軟全息投影HoloLens技術解謎(上):還原三維場景
    HoloLens 是微軟發布的可穿戴式增強現實計算設備,它擁有這麼幾個關鍵要素:  它是增強現實產品,即 Augmented Reality(AR),AR 技術將計算機生成的圖像與真實的世界相疊加。類似的產品有圖像投射到視網膜上的 Google Glass,以及疊加在手機攝像頭畫面上的手機 AR 應用。
  • 微軟為HoloLens商業用戶正式發布Dynamics 365 MR工具
    2018年09月19日,今天微軟正式發布了Dynamics 365 AI應用程式,以及微軟的第一批混合現實商業應用程式Dynamics 365 Remote Assist和Dynamics 365 Layout,將在10月1日正式上線。  微軟表示,自HoloLens在兩年前上市以來,團隊已經從客戶和合作夥伴身上積累了一系列的經驗教訓。
  • 微軟全息眼鏡Hololens配置揭秘 黑科技竟如此親民!
    微軟黑科技眼鏡HoloLens開發者版近日已經發布,此前微軟一直對這個設備的功能和演示已經宣傳的非常熱鬧,不過對於HoloLens的硬體卻一直諱莫如深,為了解開它的神秘面紗,近日windowscentral使用移動版AIDA64對這個價值三千美元的昂貴設備進行了測試,我們來看看它究竟使用了哪些硬體。