編譯/VR陀螺
通過展示一種實(shí)用的光場視頻系統(tǒng),谷歌正在將沉浸式媒體技術(shù)推向新的高度。該系統(tǒng)可以錄制和播放寬視野的場景,并具有在捕獲視頻后在視頻中四處移動(dòng)的能力,從而展示新的視角。由谷歌領(lǐng)先的研究科學(xué)家和工程師團(tuán)隊(duì)開發(fā)的新研究表明,該技術(shù)具有錄制、重建、壓縮和提供高質(zhì)量沉浸式光場視頻的功能,這些視頻質(zhì)量輕巧,可以通過常規(guī)Wi-Fi進(jìn)行流傳輸,這將推動(dòng)身臨其境的增強(qiáng)現(xiàn)實(shí)(AR)和虛擬現(xiàn)實(shí)(VR)平臺(tái)領(lǐng)域迅速發(fā)展。
近年來,身臨其境的AR / VR領(lǐng)域因其能在模擬環(huán)境中為人們帶來真實(shí)體驗(yàn)而贏得了主流關(guān)注。你是否真的想感覺自己正站在風(fēng)景優(yōu)美的紅杉林中,而不是坐在客廳里?還是看著藝術(shù)家像在工作室里一樣創(chuàng)作雕塑?身臨其境的AR / VR技術(shù)可以做到這一點(diǎn)。
盡管該領(lǐng)域仍處于起步階段,但谷歌團(tuán)隊(duì)已解決了重要挑戰(zhàn),使沉浸式光場視頻領(lǐng)域取得了重大進(jìn)展。由谷歌研究科學(xué)家Michael Broxton和谷歌高級(jí)工程師Paul Debevec領(lǐng)導(dǎo)的研究小組計(jì)劃在SIGGRAPH 2020上演示該新系統(tǒng)。
該研究主導(dǎo)者Broxton說道:“這是我們?cè)诠鈭錾瞎ぷ鞯淖钚鲁晒?。我們正在使這項(xiàng)技術(shù)變得實(shí)用,使我們更接近為更多的消費(fèi)類設(shè)備提供真正的沉浸式體驗(yàn)。照片和視頻在我們?nèi)粘J褂玫囊苿?dòng)設(shè)備上發(fā)揮著巨大作用,我們希望有一天沉浸式光場圖像和視頻能在未來的AR和VR平臺(tái)中扮演同樣重要的角色。”
在SIGGRAPH 2018上,谷歌研究人員展示了在沉浸式VR中引入了逼真的光場靜態(tài)圖像。這個(gè)新系統(tǒng)為解決沉浸式媒體的難題增加了另一個(gè)關(guān)鍵要素:視頻。光場視頻為用戶提供了一個(gè)更加動(dòng)態(tài)的虛擬環(huán)境,可以看到超過180度的場景全景。它們使用戶可以在虛擬世界中偷看各種角落并享受更大的深度感。而且該系統(tǒng)能夠捕獲對(duì)于早期方法(如反射表面)具有挑戰(zhàn)性的內(nèi)容。這轉(zhuǎn)化為更現(xiàn)實(shí)的環(huán)境;例如,自然反射在海浪上的陽光或反射在汽車光亮的引擎蓋上的光,就像在現(xiàn)實(shí)生活中一樣,隨著用戶的注視而自然變化。
該團(tuán)隊(duì)使用低成本的設(shè)備錄制沉浸式光場視頻,該設(shè)備由安裝在輕型丙烯酸球上的46個(gè)運(yùn)動(dòng)攝像機(jī)組成。他們使用谷歌研究小組去年開發(fā)的機(jī)器學(xué)習(xí)算法DeepView,將來自每臺(tái)攝像機(jī)的視頻流組合成所記錄場景的單個(gè)3D表示。他們的論文介紹了一種新的“分層網(wǎng)格”表示形式,該表示形式由一系列具有半透明紋理的同心層組成。從后到前渲染這些圖層,使場景生動(dòng)逼真,栩栩如生。此方法解決了合成攝像機(jī)最初未捕獲的視點(diǎn)這一非常困難的問題,使用戶在探索光場視頻內(nèi)容時(shí)可以體驗(yàn)自然的頭部運(yùn)動(dòng)范圍。
這項(xiàng)工作的另一個(gè)突破涉及數(shù)據(jù)壓縮。這個(gè)想法不僅是為了開發(fā)一種能夠重構(gòu)視頻以提供真正身臨其境的AR / VR體驗(yàn)的系統(tǒng),而且是能讓消費(fèi)者通過AR和VR頭戴式設(shè)備和顯示器,甚至在Web瀏覽器中訪問體驗(yàn)。新系統(tǒng)在壓縮光場視頻的同時(shí)仍保持其原始視覺質(zhì)量,并且使用常規(guī)紋理圖集和廣泛支持的視頻編解碼器進(jìn)行壓縮。從本質(zhì)上講,它們已經(jīng)成功地從當(dāng)今的圖像和視頻壓縮技術(shù)引導(dǎo)了下一代媒體格式。
Broxton說:“用戶將能夠通過典型的快速互聯(lián)網(wǎng)連接流式傳輸光場視頻內(nèi)容??朔@個(gè)問題將使這項(xiàng)技術(shù)向更多的受眾開放。”
Debevec總結(jié)了這項(xiàng)工作,并說:“完成這個(gè)項(xiàng)目感覺就像我們克服了在制作虛擬體驗(yàn)時(shí)讓其更逼真、身臨其境、可分配且舒適的主要障礙一樣。我迫不及待地想要擁有創(chuàng)意的AR和VR社區(qū)使用該技術(shù)。”
來源:techxplore
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息