文/VR陀螺 林德
如果把社交這個概念劃分為現(xiàn)實社交和虛擬社交,其中虛擬社交包括游戲、社交平臺、互聯(lián)網(wǎng)等一切不“面對面”的社交方式,那么隨著VR、AR設(shè)備的普及和“元宇宙”概念的大火,又要如何在虛擬世界和現(xiàn)實世界之間實現(xiàn)“無縫”的社交聯(lián)系呢?
在今年的SIGGRAPH(ACM SIGGRAPH組織的計算機圖形學(xué)頂級年度會議)大會上,F(xiàn)acebook Reality Labs(FRL:FB虛擬實驗室)Research將通過VR頭顯展示一個獲得共同社會臨場感的新概念--“Reverse Passthrough VR”(反向直通VR)。
“Reverse Passthrough VR”是由科學(xué)家Nathan Matsuda領(lǐng)導(dǎo)的實驗性VR研究演示。與Quest的Passthrough+和Passthrough API功能不同的是,“Reverse Passthrough VR””可以使外界的人們看到正戴著頭顯設(shè)備的人的眼鏡,而前者是使用外部攝像頭幫助使用者查看外部環(huán)境。
圖源:Facebook Research
眼神交流在社交中是非常重要的信號,我們依靠眼神、面部表情傳遞著與人社交時的內(nèi)心感受。但在戴上幾乎半張臉的VR頭顯設(shè)備,尤其是它還遮擋了眼睛這一關(guān)鍵部分,就會導(dǎo)致虛擬環(huán)境中的人與現(xiàn)實環(huán)境中的人進行交流變得不自然。
Nathan Matsuda之所以發(fā)起這項反向?qū)嶒灥脑蛞彩怯捎谏鲜鲈?,處于虛擬環(huán)境中的他無法與外界的同事進行“無縫交流”。
有一次,Nathan Matsuda戴著頭顯,使用Passthrough功能(VR透視)時他很清楚地看見了周圍的環(huán)境和同事,但是由于沒有外部顯示器,同事并不能看到他。當他與同事交流時,他的同事們都會告訴他,沒法進行眼神交流的談話很奇怪!
也就是說,Nathan Matsuda的同事無法和他一樣獲得相同的社會臨場感。
對此,Nathan Matsuda開始思考如何使虛擬現(xiàn)實更加無縫地銜接社交場景,如果看到眼睛會有所幫助嗎?
遭遇質(zhì)疑,“這真是個愚蠢的想法”
在2019年,開始進行這項實驗時,就遭到FRL首席科學(xué)家Michael Abrash的質(zhì)疑,Abrash不相信這項實驗有什么實質(zhì)的作用。
“我的第一反應(yīng)是,這真是個愚蠢的想法,頂多算是一種新鮮玩意兒。但我不會告訴研究人員他們應(yīng)該做什么,因為如果沒有嘗試新事物的自由就無法獲得創(chuàng)新,這是一件好事。
顯然,這現(xiàn)在是一個具有前景的獨特想法。”
Nathan Matsuda佩戴早期的“反向直通VR”原型
(圖源:Facebook Research)
初演示時,Nathan Matsuda將3D顯示器裝在了定制的Rifts頭顯正面,在屏幕上,就出現(xiàn)了Nathan Matsuda的面部圖像。這個面部圖像是由Rifts內(nèi)的眼動追蹤捕捉到的眼鏡注視,接著由游戲進行畫面的粗渲染所呈現(xiàn)的。
構(gòu)建研究原型
FRL研究人員一開始使用Rift S進行實驗,隨著這個概念的發(fā)展,后續(xù)則采用了Half Dome 2作為實驗原型,今年將在SIGGRAPH上展示的便是以Half Dome 2為研究原型的演示。
在這項研究中,F(xiàn)RL的研究人員采用了微透鏡陣列光場顯示器,這是一種很薄的、構(gòu)造簡單的、基于LCD(液晶顯示器)技術(shù)的顯示器,能使房間中的每一個人都可以看到他們所在位置的正確視角。
機械研究工程師Joel Hegland用一個基礎(chǔ)架構(gòu)展示了一個大約50mm厚的VR頭顯,作為最新“Reverse Passthrough VR”的演示基礎(chǔ)。光學(xué)科學(xué)家Brian Wheelwright設(shè)計了一個微透鏡陣列安裝在前面。
不過微透鏡陣列光場顯示器還存在許多的局限性,包括視角不能太大和聚焦問題。研究人員認為,如果未來VR頭顯尺寸繼續(xù)縮小,使用全息光學(xué)等方法效果會更好。
上:原型剖視圖;下:基礎(chǔ)架構(gòu)
(圖源:Facebook Research)
“Reverse Passthrough VR”(反向直通VR)的基本組件是一個面向外部的3D顯示器,使用者也可以簡單地通過在頭顯正面放置一個2D顯示器,并在顯示器上投影使用者的面部來實現(xiàn)這一效果。不過,研究人員視覺上的偏移會產(chǎn)生很不自然的效果,從而破壞眼神交流的感覺。
因此,隨著研究的發(fā)展,F(xiàn)RL的研究人員認為3D顯示是一個更好的方向,因為3D顯示可以讓用戶的眼睛和臉部出現(xiàn)在正確的位置。
圖源:Facebook Research
在對眼睛和面部成像部分,Nathan Matsuda和團隊選擇使用一對立體相機來生成面部的表面模型,然后將眼睛的視圖投影到該表面上。雖然投影出的圖像并不是很逼真,但研究團隊認為這是為未來發(fā)展的短期解決方案。
對于下一代的成像方案,很可能是FRL的Codec Avatars研究項目你,這是一個可以進行深度學(xué)習(xí)的3D捕捉技術(shù)和AI系統(tǒng),可以輕松、快速地創(chuàng)建虛擬化身。通過深度學(xué)習(xí),Codec Avatars可以從VR頭顯內(nèi)實時采集的數(shù)據(jù)中建立一個圖像。研究人員認為,這些圖像會比當前使用立體相機捕捉到的圖像更加逼真。
圖源:Facebook Research
通往獲得共同社會臨場感之路
FRL研究人員認為,能提供完全沉浸感且?guī)в酗@示器的VR和AR眼鏡完全是不同的技術(shù),從長遠來看,它們最終可能服務(wù)于不同場景的不同客戶。人們在某些不同的情況下,對這兩種設(shè)備的選擇也不同。
通過“Reverse Passthrough VR”(反向直通VR)這些創(chuàng)新的實驗項目,再結(jié)合更新的技術(shù),最終將創(chuàng)造出更高質(zhì)量的VR頭顯,并且能將高質(zhì)量的虛擬圖像和真實圖像混合在一起。
“這樣一來,不管是對方在地球的另一邊亦或是站在身旁,你都可以和世界上的任何人共在一起。我們FRL的目標就是實現(xiàn)這個想法。”
參考鏈接:https://research.fb.com/blog/2021/08/display-systems-research-reverse-passthrough-vr/
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
版權(quán)申明:本文為VR陀螺原創(chuàng),任何第三方未經(jīng)授權(quán)不得轉(zhuǎn)載。如需轉(zhuǎn)載請聯(lián)系微信:vrtuoluo233 申請授權(quán),并在轉(zhuǎn)載時保留轉(zhuǎn)載來源、作者以及原文鏈接信息,不得擅自更改內(nèi)容,違規(guī)轉(zhuǎn)載法律必究。文中有圖片、視頻素材來自互聯(lián)網(wǎng)或無法核實出處,如涉及版權(quán)問題,請聯(lián)系本網(wǎng)站協(xié)商處理。
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息