圖形和圖像顯示領域的知名科技博客Karl Guttag一直以來都在關注報導各個品牌的AR產品,而其中更是以HoloLens、Magic Leap、蘋果等頭部公司專利和產品居多。
關於微軟HoloLens 2更是Karl Guttag常年的關注對象,HoloLens 2採用了全新的LBS與MEMS光學方案,對AR光學行業都有著積極的影響。而Karl Guttag在去年更是多次直面報導了HoloLens 2的優勢與劣勢,包括LBS解析度、衍射波導色散、均勻性等方面進行了重點關注。
而近期,隨著HoloLens 2在美國等地向個人用戶開放購買,Karl個人購買了一臺,並已體驗了幾周時間。他表示:體驗之後推翻自己關於MicroLED的相關論斷,由於HoloLens 2的LBS被部分人看做是MicroLED的有力競爭技術,因此Karl再次對LBS工作方式等進行分析。
一,LBS無「彩虹」效應
經過測試,Karl已經通過相機拍攝了幾千張HoloLens 2顯示模組的照片,顯示圖像為測試圖片,目的是更好的展示畫面細節和肉眼不可見的細節。
結果發現,他本人購買的HoloLens 2的彩虹效應問題的確沒有網絡上流傳的圖片那麼嚴重,並猜測其中可能的一個原因是難以找到代表性的畫面。
二,場周期和刷新率
對於掃描顯示設備而言,精度意味著圖像從上到下一次掃描,而幀則表示一個時間點的整幅圖像。目前關於幀的定義並不明確,因為有些系統會從下一幀切換場周期(域)。
據悉,HoloLens 2擁有四個場周期均為120Hz,而最終合成可能是60Hz或120Hz。
三,掃描線和像素的關係
對於掃描顯示設備而言,掃描線和像素行是不相等的,對於HoloLens 2,它的像素行數量小於掃描線的數量。
四,HoloLens 2的成像原理
HoloLens 2的成像是一個極為複雜的過程。
1,120Hz頻率
據報導,HoloLens 2的場頻是120Hz,Karl的測試也印證了數據的準確性。為了拍攝單個場景/掃描,可以把相機快門設為1/125秒。
2,單色有2個VCSEL
根據微軟光學架構師Bernard Kress此前的演講公布的信息,HoloLens 2共為RGB每種顏色配備2個雷射發射器。採用垂直堆疊,間隔1個像素。
上圖是雙雷射發射器的結果,這張圖片是水平線和垂直線放大後的圖像,左側是經過Photoshop過濾紅藍雙色後的結果,右側是源輸入圖像。
從上圖中可以了解到,圖片左側為雙像素線條排列,右側是單像素線條排列,而其中的紅色方塊是單像素排列。
其中,左側雙像素的垂直紋理線每隔兩個像素也發生像素偏移,而且像素偏移也是成對出現,上下不對齊的像素約半個像素。同時,每2個像素像素偏移原因是單個場周期中掃描的不同方向,雷射在水平掃描的兩個方向被分散開。
五,開啟雷射雙向掃描
這是本文中最為複雜的驗證部分。經過上面的驗證,雷射掃描顯示僅在水平線上可以「像素對齊」的方式顯示,垂直線會有鋸齒狀。
上圖展示了同一張圖(顯示區域)中,不同區域的不同情況。其中,左側會有明顯的水平方向上的像素重疊導致的明暗條紋,中間區域則明顯更為均勻。
而這個明暗條紋效應就是因為雷射雙向掃描引起的。為了進一步驗證,在HoloLens 2紅色雷射器打開比較遲滯,有時需要10多個像素才能開啟。通過上圖中青色區域實際上對應著測試圖片中的白色,而這青色條紋實際上就是對應著雷射顯示從黑色到白色的過渡。其中,左側的的虛線為雷射掃描線的寬度。
1,單個場周期有854條掃描線(不代表像素)
在HoloLens 2中顯示像素和實際的掃描線並不相同,通過查看明顯的測試圖可以測出單個場周期共有854行掃描線,結合雙VCSEL堆疊堆疊排列,以及雙向掃描,意味著最大化的方式是四倍的數量,也意味著LBS有效垂直解析度(像素)是小於掃描線的數量的。
2,完全、重疊、4行隔行掃描
HoloLens 2雷射掃描是一個複雜的過程,在此前的推斷中LBS中微型反光鏡的速度還是不夠快,達不到微軟理想中的解析度值,至少和微軟宣稱HoloLens 2解析度的四倍還相差很遠。雖然HoloLens 2每個顏色有兩個雷射發射器,好處是可以讓掃描線數量翻倍,但實際運行的速度僅有宣稱水平掃描速度的一半。
2-1,不均勻「弓形」掃描
微軟在uspto中2018/0255278號專利也明確講述了雙雷射掃描器的隔行掃描工作原理。
上圖是專利圖6的彩色版,從中我們可以看出雙雷射發射器在重疊部分就出現右圖中明暗條紋出現。單雷射掃描曲線是以正弦波(弓形)出現,而這個正弦波發生畸變是因為單個或多個反射鏡。其中,當掃描水平翻轉時就會出現光路重疊部分。
結合右上角圖片來看,左邊黃色橢圓形對應著「亮、暗、亮」的顯示。而圖片右上角也包括一個裁切的圖像,其中顯示器掃描線比圖中距離更近,由此判斷雙雷射發射器會在每側明顯會有1/3以上的重疊區域。
圖片中左下角分別增加了紅色和品紅色兩個隔行掃描場,隔行掃描向下移動了2個像素,這會在一定程度上填充第一個場周期的左側和右側間隙。
2-2,4路隔行掃描
Karl談到:有些意外的是HoloLens 2沒有採用常見的2個場耦合方式,而是採用了4個變體場。目前來看像是通過雙堆疊雷射器進行4路隔行掃描來實現,而使用正玄波式的掃描如果沒有沒有四個場,則會出現明顯的明暗條紋。
如上圖,Karl找到四個場的最左側並進行裁切放大,並加入4條白色水平參考線,而圖中的綠色線條為一組掃描線的合成,在回掃過程中就會形成更大的雷射器。
2-3,弓形掃描的程度
上圖展示的是一整幅圖片的實拍圖(僅通過綠色展示),而在圖片中也加入了三條輔助對比線條(紅藍色),藍色為水平,紅色為整個掃描的曲線程度。
上圖展示了黑白雙色圖片上的9個目標區域,這裡面可以看出掃描上的不同。
3,4路隔行掃描
首先Karl介紹了一種至今投影儀行業仍然使用的一種像素偏移方式:Faux-K,上圖是4向的像素移動的思路。
HoloLens 2使用了4向像素移動的方式,在四個區域中拍攝了變化形式。
下圖場周期1和3每隔一個垂直像素就會出現向左/向右移動1或2個像素,形成鋸齒狀的效果;場周期2和場4呈現鋸齒狀,與1和3的方向相反。
上圖中下方還出現了區域相疊加後(通過Photoshop進行處理)的結果,其中1+3、2+4的結果還算比較合理。
在一幅白色背景圖片中,再次展示不同四個區域的圖像以及圖像重疊後的效果,甚至將以往各個區域融合後的30Hz視覺效果。
通過上面的兩組圖的4個場周期疊加後的圖對比來看,你會看到這個效果仍然不是很理想,這時你仍能看到一些水平向的明暗紋理等。
為了驗證上面的平均過程,Karl通過不同快門速度拍攝了一組照片,並由此區分場周期,其中1/30分鐘秒正好對應著四個場周期,1/120秒對應著1個場周期,1/8秒對應著15個場周期。
上圖中,1/30秒快門下的圖片仍然存在使用Photoshop多個場重疊後的條紋,再將快門調慢到1/8秒後這些條紋才明顯不可見。
對相同場周期的樣本進行篩查後可以看出,HoloLens 2在相同場周期下的變化並不大,例如上圖中那樣。不過仔細看還會有細微差別,例如紅色箭頭處像素寬度不同。其中還有一些次像素的變化(目前還不確定,後續進行討論)。
簡單來說,像素移動的好處是「隱藏」式的改善了部分拖影情況,改善了「紗窗效應」同時也銳利的邊緣進行模糊化。在HoloLens 2中,就是通過像素移動的方式實現雙向掃描。
4,60Hz與30Hz閃爍現象
像素移動是因為它隨著時間變化而呈現整幅圖像,因此我們眼鏡去觀察時就會產生短暫偽影,也就是「閃爍現象」,經過4個場周期,然後通過4幀獲得完整的圖像。在120Hz的基準刷新率下,會存在60Hz或30Hz的閃爍成分。
在1990年代,CRT顯示器往往有200nit、約85Hz的非隔行刷新率,而HoloLens 2據表明有500ni最大亮度,下圖是它的刷新率和亮度的示意圖,可以其建議HoloLens 2在95Hz以上的非隔行刷新。
HoloLens 2的另一個問題是人眼的周圍視覺更容易產生閃爍,在隔行交錯的過程,當黑色出現和消失時,閃爍為最明顯。
較慢的短暫偽影會形成波紋狀的視覺效果。特別是在用戶移動頭部或眼睛時看到的實心區域會產生條紋,以至於文本閱讀更為困難。
5,紅色雷射束的問題
如上文提到,紅色雷射從全黑場景開啟時會存在一些問題,就是背景中的白色會產生青色的偏色,而在HoloLens 2中亮度較低的情況下會更為明顯。
上圖是全彩圖片實拍圖,右側是處理過後的單紅色圖像。其中,左側黃色橢圓形內中間區域比中間左側區域的青色要更為明顯,在右側紅色處理圖像的中間區域才切圖則沒有明顯的紅色。
造成這種影響是因為掃描過程中,外部速度較慢,而中心的光則以最大速度移動。因此,如顯示相同的像素寬度就需要雷射器更快速的切換。
6,反射鏡頻率為27000Hz,而非54000Hz
根據The Verge在HoloLens 2上市時的報導,其從微軟獲得的信息是HoloLens 2中的雷射反射鏡會以54000/秒的速度擺動。
而根據微軟2018/0255278專利來看,當前MEMS技術的限制了反射鏡的擺動速度,也就會影響解析度。其中,27000Hz的水平掃描速率與60Hz顯示對應,圖像的解析度可達720p。而在近眼顯示設備中,720p會導致模糊。
這似乎也表明了HoloLens 2中發射鏡工作頻率要大於27000Hz才行,因此採用雙雷射器堆疊的設計。而在HoloLens 2中720p解析度或更低時就會顯得很模糊。
其中,HoloLens 2每秒會產生120個場周期,根據實拍的圖像來看,每場中有854(±4)次雷射掃描,將2個堆疊的雷射發射器,進行雙向掃描,因此反射鏡的工作頻率為854÷4=213.5個場周期,213.5×120Hz≈256000Hz或27000Hz,包含5%的垂直折回。
7,視場角約43×29度
通過Karl使用的奧林巴斯 25mm焦段四三系統鏡頭的視場角約37.6×28.2度,而HoloLens 2的顯示圖像正好超出相機水平視場角的5%左右。
六,結論:技術先進,結果糟糕
雖然微軟HoloLens 2中採用的技術的確令人興奮,尤其是雷射發射器以及整個模組的精度。而Karl本人也已自在研究LBS雷射掃描顯示方案,包括Cynic的方案,以及Celluon投影機使用的Microvision與索尼LBS引擎方案。
而經過上述測試,Karl表明:HoloLens 2是一款採用了「先進的」、「驚人的」技術,比此前他本人測試的Microvision設備的雷射對準要表現好很多倍。雖然花費了大量的時間和經費,但LBS雷射掃描方案的最終效果目前仍然難能達到令人滿意。雖然經過了重新採樣,但很難給出一個明確的解析度,他認為一塊800×600解析度的屏幕表現可能會比HoloLens 2的顯示效果更好、更清晰。
參考:Karl Guttag