編譯/VR陀螺
為最新的高分辨率顯示器渲染3D圖形從來都不是一件容易的事,而具有高刷新率雙顯示器的VR頭顯的挑戰(zhàn)性則要增加很多倍,Oculus的母公司Facebook非常了解這一點(diǎn)。近日,F(xiàn)acebook研究人員揭示了一種對實(shí)時(shí)渲染的3D內(nèi)容進(jìn)行超采樣的新技術(shù),該技術(shù)使用機(jī)器學(xué)習(xí)立即將低分辨率,以及在計(jì)算上更容易的圖像轉(zhuǎn)換為非常接近的高分辨率參考資料。
了解Facebook創(chuàng)新的最簡單方法是,將蒙娜麗莎想象成只有16個(gè)彩色正方形(例如4×4網(wǎng)格)??粗W(wǎng)格的人會看到一張充滿鋸齒狀的四方形圖像,從中也許可以識別出蒙娜麗莎的著名輪廓,但是受過訓(xùn)練的計(jì)算機(jī)可以立即識別出網(wǎng)格并將其替換為原始藝術(shù)品。利用三層卷積神經(jīng)網(wǎng)絡(luò),F(xiàn)acebook的研究人員開發(fā)了一種技術(shù),該技術(shù)不僅適用于平面圖像,而且適用于3D渲染場景,可將“高度混疊的輸入”轉(zhuǎn)換為“實(shí)時(shí)的高保真度和時(shí)間穩(wěn)定的結(jié)果”,并賦予色彩、深度和時(shí)間運(yùn)動矢量。
從計(jì)算的角度來看,研究表明,與原始《毀滅戰(zhàn)士》游戲相似的3D環(huán)境可以通過預(yù)先培訓(xùn)而升級為類似《雷神之錘》的VR體驗(yàn)。這并不意味著任何開發(fā)人員都可以將原始的3D引擎轉(zhuǎn)換為豐富的VR體驗(yàn),而是該技術(shù)可以幫助功耗受限的VR設(shè)備(如Oculus Quest)在內(nèi)部渲染較少的像素,同時(shí)顯示漂亮的輸出內(nèi)容,使用機(jī)器學(xué)習(xí)作為捷徑來獲得接近參考的質(zhì)量結(jié)果。
盡管機(jī)器培訓(xùn)的細(xì)節(jié)很復(fù)雜,但最終的結(jié)果是,這個(gè)神經(jīng)網(wǎng)絡(luò)是使用從給定3D場景的100個(gè)視頻中捕獲的圖像進(jìn)行訓(xùn)練的,因?yàn)檎鎸?shí)的用戶可能會從各種角度來體驗(yàn)它。這些圖像可實(shí)現(xiàn)全分辨率參考場景,該場景將需要140.6毫秒才能在1600 x 900像素下進(jìn)行渲染,而在400 x 225像素下以26.4毫秒進(jìn)行渲染,然后在17.68毫秒內(nèi)對4×4升采樣,總計(jì)44.08毫秒,在非常接近原始圖像的情況下,渲染時(shí)間節(jié)省了近3.2倍。這樣,Quest VR頭顯的佩戴者將受益于已經(jīng)在功能更強(qiáng)大的計(jì)算機(jī)上進(jìn)行了全面探索的場景。
研究人員說,他們的系統(tǒng)通過提供更高的重建精度,大大優(yōu)于最新的虛幻引擎的時(shí)間抗鋸齒縮放技術(shù),如上圖所示。他們指出,Nvidia的深度學(xué)習(xí)超級采樣(DLSS)最接近其解決方案,但DLSS依賴專有的軟件或硬件,這些軟件或硬件可能無法在所有平臺上通用。 Facebook稱其解決方案不需要特殊的硬件或軟件,并且可以輕松地集成到現(xiàn)代3D引擎中,利用它們的現(xiàn)有輸入來提供4×4超級采樣,而普通解決方案最多只能使用2×2升采樣。
但這種方法也并不完美。盡管對生成的圖像進(jìn)行了所有高級培訓(xùn)并在時(shí)間上保持了平穩(wěn)性,但是在復(fù)制過程中可能會丟失一些細(xì)微的細(xì)節(jié)。盡管為實(shí)現(xiàn)“高分辨率顯示應(yīng)用程序”而花費(fèi)的資金仍然存在疑問,但人們有望獲得更強(qiáng)大的功能、更好的優(yōu)化和專業(yè)的工程技術(shù)來改善系統(tǒng)的性能。
基礎(chǔ)研究論文已經(jīng)以“實(shí)時(shí)渲染的神經(jīng)超級采樣”發(fā)表,該論文由Facebook Reality Labs的Lei Xiao,Salah Nouri,Matt Chapman,Alexander Fix,Douglas Lanman和Anton Kaplanyan創(chuàng)作,將于7月中旬在Siggraph 2020上展示。
來源:venturebeat
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息