編譯/VR陀螺

就實(shí)景VR視頻而言，通過(guò)體三維技術(shù)捕捉的視頻通常能帶來(lái)更深的沉浸感，而在靜態(tài)場(chǎng)景捕捉中，通常會(huì)采用攝影測(cè)量技術(shù)。但這兩種方法都存在有損于真實(shí)感的局限性，尤其是在涉及與視點(diǎn)相關(guān)的效果時(shí)，如鏡面高光和半透明物體。近日，來(lái)自泰國(guó)Vidyasirimedhi科學(xué)技術(shù)研究所的研究顯示了一種令人驚嘆的視圖合成算法，它通過(guò)準(zhǔn)確地處理這種照明效果大大提升了圖像的真實(shí)性。

來(lái)自泰國(guó)羅勇府Vidyasirimedhi科學(xué)技術(shù)研究所的研究人員今年早些時(shí)候發(fā)表了一款名為NeX的實(shí)時(shí)視圖合成算法的工作成果。它的目標(biāo)是僅使用場(chǎng)景中的少量輸入圖像來(lái)合成新幀，從真實(shí)圖像之間的任意點(diǎn)真實(shí)地描繪場(chǎng)景。

研究人員Suttisak Wizadwongsa、Pakkapon Phongthawee、Jiraphon Yenphraphai和Supasorn Suwajanakorn寫(xiě)道，這項(xiàng)工作建立在一種叫做多平面圖像（MPI）的技術(shù)之上。與之前的方法相比，他們的方法能更好地模擬與視圖相關(guān)的效果（如鏡面高光），并創(chuàng)造出更清晰的合成圖像。

圖源：Vidyasirimedhi Institute of Science and Technology

除了這些改進(jìn)之外，該團(tuán)隊(duì)還對(duì)系統(tǒng)進(jìn)行了高度優(yōu)化，使其能夠在60Hz下輕松運(yùn)行，據(jù)稱(chēng)這比以前的技術(shù)水平提高了1000倍。

雖然還沒(méi)有為使用案例進(jìn)行高度優(yōu)化，但研究人員已經(jīng)使用一個(gè)具有立體深度和完整的6DoF運(yùn)動(dòng)的VR頭顯對(duì)該系統(tǒng)進(jìn)行了測(cè)試。

研究人員得出結(jié)論：

我們的表述在捕捉和再現(xiàn)復(fù)雜的視圖依賴(lài)性效果方面是有效的，在標(biāo)準(zhǔn)圖形硬件上的計(jì)算也是高效的，因此可以進(jìn)行實(shí)時(shí)渲染。對(duì)公共數(shù)據(jù)集和更具挑戰(zhàn)性的數(shù)據(jù)集的廣泛研究表明，我們的方法具有先進(jìn)的質(zhì)量。我們相信神經(jīng)基礎(chǔ)擴(kuò)展可以應(yīng)用于光場(chǎng)分解的一般問(wèn)題，并使其他不限于MPI的場(chǎng)景表現(xiàn)的高效渲染成為可能。我們的見(jiàn)解是，可以顯式優(yōu)化一些反射參數(shù)和高頻紋理，這也有助于恢復(fù)精細(xì)的細(xì)節(jié)，這是現(xiàn)有的隱式神經(jīng)表征所面臨的挑戰(zhàn)。

想了解更多細(xì)節(jié)，可在NeX項(xiàng)目的網(wǎng)站上查看完整的論文，其中包括可以在瀏覽器中嘗試的Demo。此外還有基于WebVR的演示，如果使用的是Firefox，可以在PC VR頭顯上查看該Demo，遺憾的是目前該Demo不能在Quest的瀏覽器上使用。

圖源：Vidyasirimedhi Institute of Science and Technology

如上圖所示，可以看到木頭的反光和手柄的復(fù)雜高光，對(duì)于現(xiàn)有的體三維測(cè)量和攝影測(cè)量的捕捉方法來(lái)說(shuō)，想要呈現(xiàn)這樣的細(xì)節(jié)是非常困難的。

如今我們一般在VR中看到的體三維測(cè)量視頻捕捉方法通常無(wú)法呈現(xiàn)這種根據(jù)視線進(jìn)行變化的效果，因?yàn)橥ǔｋy以確定鏡面高光的適當(dāng)立體深度。

而攝影測(cè)量或 "場(chǎng)景掃描 "方法，通常將場(chǎng)景的照明 "烘焙 "成紋理，這通常會(huì)使半透明的物體看起來(lái)像紙板（因?yàn)楫?dāng)你從不同角度觀察物體時(shí)，照明亮點(diǎn)不會(huì)正確移動(dòng)）。

NeX的視圖合成研究可以大大改善VR中體三維捕捉和回放的真實(shí)性。

來(lái)源：roadtovr