編譯/VR陀螺

為最新的高分辨率顯示器渲染3D圖形從來都不是一件容易的事，而具有高刷新率雙顯示器的VR頭顯的挑戰(zhàn)性則要增加很多倍，Oculus的母公司Facebook非常了解這一點。近日，F(xiàn)acebook研究人員揭示了一種對實時渲染的3D內(nèi)容進行超采樣的新技術(shù)，該技術(shù)使用機器學(xué)習(xí)立即將低分辨率，以及在計算上更容易的圖像轉(zhuǎn)換為非常接近的高分辨率參考資料。

了解Facebook創(chuàng)新的最簡單方法是，將蒙娜麗莎想象成只有16個彩色正方形（例如4×4網(wǎng)格）?？粗W(wǎng)格的人會看到一張充滿鋸齒狀的四方形圖像，從中也許可以識別出蒙娜麗莎的著名輪廓，但是受過訓(xùn)練的計算機可以立即識別出網(wǎng)格并將其替換為原始藝術(shù)品。利用三層卷積神經(jīng)網(wǎng)絡(luò)，F(xiàn)acebook的研究人員開發(fā)了一種技術(shù)，該技術(shù)不僅適用于平面圖像，而且適用于3D渲染場景，可將“高度混疊的輸入”轉(zhuǎn)換為“實時的高保真度和時間穩(wěn)定的結(jié)果”，并賦予色彩、深度和時間運動矢量。

從計算的角度來看，研究表明，與原始《毀滅戰(zhàn)士》游戲相似的3D環(huán)境可以通過預(yù)先培訓(xùn)而升級為類似《雷神之錘》的VR體驗。這并不意味著任何開發(fā)人員都可以將原始的3D引擎轉(zhuǎn)換為豐富的VR體驗，而是該技術(shù)可以幫助功耗受限的VR設(shè)備（如Oculus Quest）在內(nèi)部渲染較少的像素，同時顯示漂亮的輸出內(nèi)容，使用機器學(xué)習(xí)作為捷徑來獲得接近參考的質(zhì)量結(jié)果。

盡管機器培訓(xùn)的細節(jié)很復(fù)雜，但最終的結(jié)果是，這個神經(jīng)網(wǎng)絡(luò)是使用從給定3D場景的100個視頻中捕獲的圖像進行訓(xùn)練的，因為真實的用戶可能會從各種角度來體驗它。這些圖像可實現(xiàn)全分辨率參考場景，該場景將需要140.6毫秒才能在1600 x 900像素下進行渲染，而在400 x 225像素下以26.4毫秒進行渲染，然后在17.68毫秒內(nèi)對4×4升采樣，總計44.08毫秒，在非常接近原始圖像的情況下，渲染時間節(jié)省了近3.2倍。這樣，Quest VR頭顯的佩戴者將受益于已經(jīng)在功能更強大的計算機上進行了全面探索的場景。

研究人員說，他們的系統(tǒng)通過提供更高的重建精度，大大優(yōu)于最新的虛幻引擎的時間抗鋸齒縮放技術(shù)，如上圖所示。他們指出，Nvidia的深度學(xué)習(xí)超級采樣（DLSS）最接近其解決方案，但DLSS依賴專有的軟件或硬件，這些軟件或硬件可能無法在所有平臺上通用。 Facebook稱其解決方案不需要特殊的硬件或軟件，并且可以輕松地集成到現(xiàn)代3D引擎中，利用它們的現(xiàn)有輸入來提供4×4超級采樣，而普通解決方案最多只能使用2×2升采樣。

但這種方法也并不完美。盡管對生成的圖像進行了所有高級培訓(xùn)并在時間上保持了平穩(wěn)性，但是在復(fù)制過程中可能會丟失一些細微的細節(jié)。盡管為實現(xiàn)“高分辨率顯示應(yīng)用程序”而花費的資金仍然存在疑問，但人們有望獲得更強大的功能、更好的優(yōu)化和專業(yè)的工程技術(shù)來改善系統(tǒng)的性能。

基礎(chǔ)研究論文已經(jīng)以“實時渲染的神經(jīng)超級采樣”發(fā)表，該論文由Facebook Reality Labs的Lei Xiao，Salah Nouri，Matt Chapman，Alexander Fix，Douglas Lanman和Anton Kaplanyan創(chuàng)作，將于7月中旬在Siggraph 2020上展示。

來源：venturebeat