Karl Guttag：微軟HoloLens 2激光顯示解析（一）
發(fā)布時(shí)間：2020-07-18 11:50 | 標(biāo)簽：
微軟 光學(xué) HoloLens 2 HoleLens 激光顯示 轉(zhuǎn)載來(lái)源：青亭網(wǎng)
微信掃一掃：分享
微信里點(diǎn)“發(fā)現(xiàn)”，掃一下
二維碼便可將本文分享至朋友圈
圖形和圖像顯示領(lǐng)域的知名科技博客Karl Guttag一直以來(lái)都在關(guān)注報(bào)道各個(gè)品牌的AR產(chǎn)品，而其中更是以HoloLens、Magic Leap、蘋果等頭部公司專利和產(chǎn)品居多。
關(guān)于微軟HoloLens 2更是Karl Guttag常年的關(guān)注對(duì)象，HoloLens 2采用了全新的LBS與MEMS光學(xué)方案，對(duì)AR光學(xué)行業(yè)都有著積極的影響。而Karl Guttag在去年更是多次直面報(bào)道了HoloLens 2的優(yōu)勢(shì)與劣勢(shì)，包括LBS解析度、衍射波導(dǎo)色散、均勻性等方面進(jìn)行了重點(diǎn)關(guān)注。
而近期，隨著HoloLens 2在美國(guó)等地向個(gè)人用戶開(kāi)放購(gòu)買，Karl個(gè)人購(gòu)買了一臺(tái)，并已體驗(yàn)了幾周時(shí)間。他表示：體驗(yàn)之后推翻自己關(guān)于MicroLED的相關(guān)論斷，由于HoloLens 2的LBS被部分人看做是MicroLED的有力競(jìng)爭(zhēng)技術(shù)，因此Karl再次對(duì)LBS工作方式等進(jìn)行分析。
經(jīng)過(guò)測(cè)試，Karl已經(jīng)通過(guò)相機(jī)拍攝了幾千張HoloLens 2顯示模組的照片，顯示圖像為測(cè)試圖片，目的是更好的展示畫面細(xì)節(jié)和肉眼不可見(jiàn)的細(xì)節(jié)。
結(jié)果發(fā)現(xiàn)，他本人購(gòu)買的HoloLens 2的彩虹效應(yīng)問(wèn)題的確沒(méi)有網(wǎng)絡(luò)上流傳的圖片那么嚴(yán)重，并猜測(cè)其中可能的一個(gè)原因是難以找到代表性的畫面。
對(duì)于掃描顯示設(shè)備而言，精度意味著圖像從上到下一次掃描，而幀則表示一個(gè)時(shí)間點(diǎn)的整幅圖像。目前關(guān)于幀的定義并不明確，因?yàn)橛行┫到y(tǒng)會(huì)從下一幀切換場(chǎng)周期（域）。
據(jù)悉，HoloLens 2擁有四個(gè)場(chǎng)周期均為120Hz，而最終合成可能是60Hz或120Hz。
對(duì)于掃描顯示設(shè)備而言，掃描線和像素行是不相等的，對(duì)于HoloLens 2，它的像素行數(shù)量小于掃描線的數(shù)量。
HoloLens 2的成像是一個(gè)極為復(fù)雜的過(guò)程。
據(jù)報(bào)道，HoloLens 2的場(chǎng)頻是120Hz，Karl的測(cè)試也印證了數(shù)據(jù)的準(zhǔn)確性。為了拍攝單個(gè)場(chǎng)景/掃描，可以把相機(jī)快門設(shè)為1/125秒。
根據(jù)微軟光學(xué)架構(gòu)師Bernard Kress此前的演講公布的信息，HoloLens 2共為RGB每種顏色配備2個(gè)激光發(fā)射器。采用垂直堆疊，間隔1個(gè)像素。
上圖是雙激光發(fā)射器的結(jié)果，這張圖片是水平線和垂直線放大后的圖像，左側(cè)是經(jīng)過(guò)Photoshop過(guò)濾紅藍(lán)雙色后的結(jié)果，右側(cè)是源輸入圖像。
從上圖中可以了解到，圖片左側(cè)為雙像素線條排列，右側(cè)是單像素線條排列，而其中的紅色方塊是單像素排列。
其中，左側(cè)雙像素的垂直紋理線每隔兩個(gè)像素也發(fā)生像素偏移，而且像素偏移也是成對(duì)出現(xiàn)，上下不對(duì)齊的像素約半個(gè)像素。同時(shí)，每2個(gè)像素像素偏移原因是單個(gè)場(chǎng)周期中掃描的不同方向，激光在水平掃描的兩個(gè)方向被分散開(kāi)。
這是本文中最為復(fù)雜的驗(yàn)證部分。經(jīng)過(guò)上面的驗(yàn)證，激光掃描顯示僅在水平線上可以“像素對(duì)齊”的方式顯示，垂直線會(huì)有鋸齒狀。
上圖展示了同一張圖（顯示區(qū)域）中，不同區(qū)域的不同情況。其中，左側(cè)會(huì)有明顯的水平方向上的像素重疊導(dǎo)致的明暗條紋，中間區(qū)域則明顯更為均勻。
而這個(gè)明暗條紋效應(yīng)就是因?yàn)榧す怆p向掃描引起的。為了進(jìn)一步驗(yàn)證，在HoloLens 2紅色激光器打開(kāi)比較遲滯，有時(shí)需要10多個(gè)像素才能開(kāi)啟。通過(guò)上圖中青色區(qū)域?qū)嶋H上對(duì)應(yīng)著測(cè)試圖片中的白色，而這青色條紋實(shí)際上就是對(duì)應(yīng)著激光顯示從黑色到白色的過(guò)渡。其中，左側(cè)的的虛線為激光掃描線的寬度。
1，單個(gè)場(chǎng)周期有854條掃描線（不代表像素）
在HoloLens 2中顯示像素和實(shí)際的掃描線并不相同，通過(guò)查看明顯的測(cè)試圖可以測(cè)出單個(gè)場(chǎng)周期共有854行掃描線，結(jié)合雙VCSEL堆疊堆疊排列，以及雙向掃描，意味著最大化的方式是四倍的數(shù)量，也意味著LBS有效垂直分辨率（像素）是小于掃描線的數(shù)量的。
HoloLens 2激光掃描是一個(gè)復(fù)雜的過(guò)程，在此前的推斷中LBS中微型反光鏡的速度還是不夠快，達(dá)不到微軟理想中的分辨率值，至少和微軟宣稱HoloLens 2分辨率的四倍還相差很遠(yuǎn)。雖然HoloLens 2每個(gè)顏色有兩個(gè)激光發(fā)射器，好處是可以讓掃描線數(shù)量翻倍，但實(shí)際運(yùn)行的速度僅有宣稱水平掃描速度的一半。
微軟在uspto中2018/0255278號(hào)專利也明確講述了雙激光掃描器的隔行掃描工作原理。
上圖是專利圖6的彩色版，從中我們可以看出雙激光發(fā)射器在重疊部分就出現(xiàn)右圖中明暗條紋出現(xiàn)。單激光掃描曲線是以正弦波（弓形）出現(xiàn)，而這個(gè)正弦波發(fā)生畸變是因?yàn)閱蝹€(gè)或多個(gè)反射鏡。其中，當(dāng)掃描水平翻轉(zhuǎn)時(shí)就會(huì)出現(xiàn)光路重疊部分。
結(jié)合右上角圖片來(lái)看，左邊黃色橢圓形對(duì)應(yīng)著“亮、暗、亮”的顯示。而圖片右上角也包括一個(gè)裁切的圖像，其中顯示器掃描線比圖中距離更近，由此判斷雙激光發(fā)射器會(huì)在每側(cè)明顯會(huì)有1/3以上的重疊區(qū)域。
圖片中左下角分別增加了紅色和品紅色兩個(gè)隔行掃描場(chǎng)，隔行掃描向下移動(dòng)了2個(gè)像素，這會(huì)在一定程度上填充第一個(gè)場(chǎng)周期的左側(cè)和右側(cè)間隙。
Karl談到：有些意外的是HoloLens 2沒(méi)有采用常見(jiàn)的2個(gè)場(chǎng)耦合方式，而是采用了4個(gè)變體場(chǎng)。目前來(lái)看像是通過(guò)雙堆疊激光器進(jìn)行4路隔行掃描來(lái)實(shí)現(xiàn)，而使用正玄波式的掃描如果沒(méi)有沒(méi)有四個(gè)場(chǎng)，則會(huì)出現(xiàn)明顯的明暗條紋。
如上圖，Karl找到四個(gè)場(chǎng)的最左側(cè)并進(jìn)行裁切放大，并加入4條白色水平參考線，而圖中的綠色線條為一組掃描線的合成，在回掃過(guò)程中就會(huì)形成更大的激光器。
上圖展示的是一整幅圖片的實(shí)拍圖（僅通過(guò)綠色展示），而在圖片中也加入了三條輔助對(duì)比線條（紅藍(lán)色），藍(lán)色為水平，紅色為整個(gè)掃描的曲線程度。
上圖展示了黑白雙色圖片上的9個(gè)目標(biāo)區(qū)域，這里面可以看出掃描上的不同。
首先Karl介紹了一種至今投影儀行業(yè)仍然使用的一種像素偏移方式：Faux-K，上圖是4向的像素移動(dòng)的思路。
HoloLens 2使用了4向像素移動(dòng)的方式，在四個(gè)區(qū)域中拍攝了變化形式。
下圖場(chǎng)周期1和3每隔一個(gè)垂直像素就會(huì)出現(xiàn)向左/向右移動(dòng)1或2個(gè)像素，形成鋸齒狀的效果；場(chǎng)周期2和場(chǎng)4呈現(xiàn)鋸齒狀，與1和3的方向相反。
上圖中下方還出現(xiàn)了區(qū)域相疊加后（通過(guò)Photoshop進(jìn)行處理）的結(jié)果，其中1＋3、2＋4的結(jié)果還算比較合理。
在一幅白色背景圖片中，再次展示不同四個(gè)區(qū)域的圖像以及圖像重疊后的效果，甚至將以往各個(gè)區(qū)域融合后的30Hz視覺(jué)效果。
通過(guò)上面的兩組圖的4個(gè)場(chǎng)周期疊加后的圖對(duì)比來(lái)看，你會(huì)看到這個(gè)效果仍然不是很理想，這時(shí)你仍能看到一些水平向的明暗紋理等。
為了驗(yàn)證上面的平均過(guò)程，Karl通過(guò)不同快門速度拍攝了一組照片，并由此區(qū)分場(chǎng)周期，其中1/30分鐘秒正好對(duì)應(yīng)著四個(gè)場(chǎng)周期，1/120秒對(duì)應(yīng)著1個(gè)場(chǎng)周期，1/8秒對(duì)應(yīng)著15個(gè)場(chǎng)周期。
上圖中，1/30秒快門下的圖片仍然存在使用Photoshop多個(gè)場(chǎng)重疊后的條紋，再將快門調(diào)慢到1/8秒后這些條紋才明顯不可見(jiàn)。
對(duì)相同場(chǎng)周期的樣本進(jìn)行篩查后可以看出，HoloLens 2在相同場(chǎng)周期下的變化并不大，例如上圖中那樣。不過(guò)仔細(xì)看還會(huì)有細(xì)微差別，例如紅色箭頭處像素寬度不同。其中還有一些次像素的變化（目前還不確定，后續(xù)進(jìn)行討論）。
簡(jiǎn)單來(lái)說(shuō)，像素移動(dòng)的好處是“隱藏”式的改善了部分拖影情況，改善了“紗窗效應(yīng)”同時(shí)也銳利的邊緣進(jìn)行模糊化。在HoloLens 2中，就是通過(guò)像素移動(dòng)的方式實(shí)現(xiàn)雙向掃描。
像素移動(dòng)是因?yàn)樗S著時(shí)間變化而呈現(xiàn)整幅圖像，因此我們眼鏡去觀察時(shí)就會(huì)產(chǎn)生短暫偽影，也就是“閃爍現(xiàn)象”，經(jīng)過(guò)4個(gè)場(chǎng)周期，然后通過(guò)4幀獲得完整的圖像。在120Hz的基準(zhǔn)刷新率下，會(huì)存在60Hz或30Hz的閃爍成分。
在1990年代，CRT顯示器往往有200nit、約85Hz的非隔行刷新率，而HoloLens 2據(jù)表明有500ni最大亮度，下圖是它的刷新率和亮度的示意圖，可以其建議HoloLens 2在95Hz以上的非隔行刷新。
HoloLens 2的另一個(gè)問(wèn)題是人眼的周圍視覺(jué)更容易產(chǎn)生閃爍，在隔行交錯(cuò)的過(guò)程，當(dāng)黑色出現(xiàn)和消失時(shí)，閃爍為最明顯。
較慢的短暫偽影會(huì)形成波紋狀的視覺(jué)效果。特別是在用戶移動(dòng)頭部或眼睛時(shí)看到的實(shí)心區(qū)域會(huì)產(chǎn)生條紋，以至于文本閱讀更為困難。
如上文提到，紅色激光從全黑場(chǎng)景開(kāi)啟時(shí)會(huì)存在一些問(wèn)題，就是背景中的白色會(huì)產(chǎn)生青色的偏色，而在HoloLens 2中亮度較低的情況下會(huì)更為明顯。
上圖是全彩圖片實(shí)拍圖，右側(cè)是處理過(guò)后的單紅色圖像。其中，左側(cè)黃色橢圓形內(nèi)中間區(qū)域比中間左側(cè)區(qū)域的青色要更為明顯，在右側(cè)紅色處理圖像的中間區(qū)域才切圖則沒(méi)有明顯的紅色。
造成這種影響是因?yàn)閽呙柽^(guò)程中，外部速度較慢，而中心的光則以最大速度移動(dòng)。因此，如顯示相同的像素寬度就需要激光器更快速的切換。
6，反射鏡頻率為27000Hz，而非54000Hz
根據(jù)The Verge在HoloLens 2上市時(shí)的報(bào)道，其從微軟獲得的信息是HoloLens 2中的激光反射鏡會(huì)以54000/秒的速度擺動(dòng)。
而根據(jù)微軟2018/0255278專利來(lái)看，當(dāng)前MEMS技術(shù)的限制了反射鏡的擺動(dòng)速度，也就會(huì)影響分辨率。其中，27000Hz的水平掃描速率與60Hz顯示對(duì)應(yīng)，圖像的分辨率可達(dá)720p。而在近眼顯示設(shè)備中，720p會(huì)導(dǎo)致模糊。
這似乎也表明了HoloLens 2中發(fā)射鏡工作頻率要大于27000Hz才行，因此采用雙激光器堆疊的設(shè)計(jì)。而在HoloLens 2中720p分辨率或更低時(shí)就會(huì)顯得很模糊。
其中，HoloLens 2每秒會(huì)產(chǎn)生120個(gè)場(chǎng)周期，根據(jù)實(shí)拍的圖像來(lái)看，每場(chǎng)中有854（±4）次激光掃描，將2個(gè)堆疊的激光發(fā)射器，進(jìn)行雙向掃描，因此反射鏡的工作頻率為854÷4=213.5個(gè)場(chǎng)周期，213.5×120Hz≈256000Hz或27000Hz，包含5%的垂直折回。
通過(guò)Karl使用的奧林巴斯 25mm焦段四三系統(tǒng)鏡頭的視場(chǎng)角約37.6×28.2度，而HoloLens 2的顯示圖像正好超出相機(jī)水平視場(chǎng)角的5%左右。
六，結(jié)論：技術(shù)先進(jìn)，結(jié)果糟糕
雖然微軟HoloLens 2中采用的技術(shù)的確令人興奮，尤其是激光發(fā)射器以及整個(gè)模組的精度。而Karl本人也已自在研究LBS激光掃描顯示方案，包括Cynic的方案，以及Celluon投影機(jī)使用的Microvision與索尼LBS引擎方案。
而經(jīng)過(guò)上述測(cè)試，Karl表明：HoloLens 2是一款采用了“先進(jìn)的”、“驚人的”技術(shù)，比此前他本人測(cè)試的Microvision設(shè)備的激光對(duì)準(zhǔn)要表現(xiàn)好很多倍。雖然花費(fèi)了大量的時(shí)間和經(jīng)費(fèi)，但LBS激光掃描方案的最終效果目前仍然難能達(dá)到令人滿意。雖然經(jīng)過(guò)了重新采樣，但很難給出一個(gè)明確的分辨率，他認(rèn)為一塊800×600分辨率的屏幕表現(xiàn)可能會(huì)比HoloLens 2的顯示效果更好、更清晰。
投稿/爆料：tougao@youxituoluo.com
稿件/商務(wù)合作： 六六（微信 13138755620）
加入行業(yè)交流群：六六（微信 13138755620）
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP，獲取前沿深度元宇宙訊息
.jpg)
