編譯/VR陀螺

立體色彩透視、空間錨定和場(chǎng)景理解將為用戶提供更真實(shí)的MR體驗(yàn)。

據(jù)Meta公司的產(chǎn)品經(jīng)理Sarthak Ray表示，通過(guò)MR看到周圍的世界并與之互動(dòng)的能力為VR開(kāi)辟了新的機(jī)會(huì)。"你可以和朋友在同一個(gè)物理房間里玩耍，或者將巨大的虛擬顯示器和物理工具結(jié)合起來(lái)提升生產(chǎn)力體驗(yàn)，這也是我們向AR的長(zhǎng)期愿景邁出的一步。"

如果VR/AR設(shè)備能夠令人信服地融合物理和虛擬世界，那么MR體驗(yàn)是非常有效的。根據(jù)Oculus最近的一篇博文，想要為用戶提供MR體驗(yàn)，意味著頭顯必須具備更多功能，而不僅僅是提供一個(gè)2D視頻資料。

為了進(jìn)一步致力于開(kāi)發(fā)前沿的VR技術(shù)，Meta公司宣布推出Meta Reality，這是一個(gè)新的MR系統(tǒng)，可以讓人們深入了解創(chuàng)造非凡體驗(yàn)的要素。

用于空間感知的立體色彩透視

Meta公司認(rèn)識(shí)到，在提供舒適和身臨其境的MR體驗(yàn)方面，色彩透視和立體三維技術(shù)非常重要 。

圖源：Meta

Meta計(jì)算機(jī)視覺(jué)工程經(jīng)理Ricardo Silveira Cabral解釋說(shuō)道："Meta Quest Pro結(jié)合了2個(gè)攝像頭的視角來(lái)重建真實(shí)的深度，這確保了使用色彩透視技術(shù)構(gòu)建的MR體驗(yàn)讓人感到舒適。但同時(shí)，立體紋理提示允許用戶的大腦完成剩下的工作，即使在深度重建不完美或超出系統(tǒng)范圍時(shí)也能推斷出深度。"

例如，當(dāng)使用透視功能時(shí)，你的大腦會(huì)了解到咖啡杯離你的手大約有多遠(yuǎn)。

Oculus Insight只能捕捉100個(gè)興趣點(diǎn)來(lái)確定頭顯在房間里的位置，這項(xiàng)技術(shù)為消費(fèi)者VR設(shè)備提供了一個(gè)獨(dú)立的追蹤系統(tǒng)。此后，它又進(jìn)行了升級(jí)，實(shí)現(xiàn)了深度感應(yīng)。作為比較，Meta Quest Pro在不同的照明條件下，每秒可產(chǎn)生高達(dá)10000個(gè)興趣點(diǎn)，使用戶能夠?qū)崟r(shí)創(chuàng)建改進(jìn)的物理空間的3D表示。

通過(guò)這個(gè)過(guò)程，Meta能夠創(chuàng)建一個(gè)不斷更新的物理世界的三維模型。然后，人們可以使用這些數(shù)據(jù)來(lái)創(chuàng)建一個(gè)預(yù)測(cè)性的渲染框架，可以產(chǎn)生真實(shí)世界環(huán)境的圖像。為了補(bǔ)償渲染的延遲，通過(guò)Asynchronous TimeWarp算法，重建的圖像被調(diào)整為用戶的左眼和右眼視圖。

根據(jù)Silveira Cabral的說(shuō)法，使用彩色立體攝像頭使該團(tuán)隊(duì)能夠提供對(duì)現(xiàn)實(shí)世界更真實(shí)的解釋。

將虛擬內(nèi)容融入物理世界的場(chǎng)景理解

Presence Platform的場(chǎng)景理解組件是在Connect 2021大會(huì)上推出的。這項(xiàng)技術(shù)使開(kāi)發(fā)人員能夠創(chuàng)建復(fù)雜和具有場(chǎng)景感知的MR體驗(yàn)。據(jù)Meta Quest Pro的產(chǎn)品經(jīng)理Wei Lyu表示，該公司的場(chǎng)景理解組件旨在幫助開(kāi)發(fā)人員專注于建立他們的業(yè)務(wù)和體驗(yàn)。

圖源：Meta

"我們將場(chǎng)景理解作為一個(gè)系統(tǒng)解決方案推出，"Lyu說(shuō)道。

場(chǎng)景理解分為三個(gè)方面：

• 場(chǎng)景模型：由幾何和語(yǔ)義信息組成的單一、全面、新款、系統(tǒng)管理的環(huán)境表示。場(chǎng)景模型的基本元素是錨點(diǎn)。每個(gè)錨點(diǎn)都可以連接到不同的組件上。例如，一個(gè)用戶的客廳是圍繞著帶有語(yǔ)義標(biāo)簽的單個(gè)錨點(diǎn)組織的，如地板、天花板、墻壁、桌子和沙發(fā)。錨點(diǎn)附有簡(jiǎn)單的幾何表示，包括2D邊界或3D邊界框。
• 場(chǎng)景捕捉：一個(gè)系統(tǒng)引導(dǎo)的流程，讓用戶走動(dòng)并捕捉他們的房間結(jié)構(gòu)和家具，以生成一個(gè)場(chǎng)景模型。在未來(lái)，Meta的目標(biāo)是提供一個(gè)自動(dòng)版本的場(chǎng)景捕捉，不需要人們手動(dòng)捕捉他們的周圍環(huán)境。
• 場(chǎng)景API：應(yīng)用程序可以用來(lái)訪問(wèn)場(chǎng)景模型中的空間信息的接口，用于各種使用情況，包括內(nèi)容放置、物理學(xué)、導(dǎo)航等。通過(guò)場(chǎng)景API，開(kāi)發(fā)者可以使用場(chǎng)景模型讓一個(gè)虛擬球在實(shí)際房間的物理表面上彈跳，或者讓一個(gè)虛擬機(jī)器人可以在物理墻壁上伸縮。

"場(chǎng)景理解減少了開(kāi)發(fā)者在開(kāi)發(fā)過(guò)程中產(chǎn)生的摩擦，讓他們通過(guò)實(shí)時(shí)遮擋和碰撞效果建立盡可能可信和沉浸的MR體驗(yàn)，"Ray補(bǔ)充說(shuō)道。

用于虛擬對(duì)象放置的空間錨點(diǎn)

開(kāi)發(fā)人員可以利用空間錨點(diǎn)輕松創(chuàng)造出色的MR體驗(yàn)，這是Meta Quest Pro平臺(tái)的一項(xiàng)核心功能。例如，產(chǎn)品設(shè)計(jì)師可以使用Gravity Sketch這樣的平臺(tái)在整個(gè)物理空間中輕松地錨定多個(gè)三維模型，為他們的產(chǎn)品創(chuàng)造一個(gè)無(wú)縫的環(huán)境。

圖源：Meta

Meta產(chǎn)品經(jīng)理Laura Onu說(shuō)道："如果說(shuō)立體色彩穿透和場(chǎng)景理解是讓MR體驗(yàn)融合物理和虛擬世界的重頭戲，那么我們的錨定功能則是將這一切聯(lián)系在一起的連接組織。”

與場(chǎng)景模型一起，空間錨可以用來(lái)為各種體驗(yàn)和情況創(chuàng)造豐富的自動(dòng)環(huán)境。例如，你可以創(chuàng)建一個(gè)與物理墻相連的虛擬門。這對(duì)那些希望將XR技術(shù)用于數(shù)字孿生、倉(cāng)庫(kù)自動(dòng)化、甚至機(jī)器人技術(shù)企業(yè)解決方案的公司來(lái)說(shuō)，將是一個(gè)巨大的進(jìn)步。

就目前而言，Meta似乎更關(guān)注社交體驗(yàn)。"通過(guò)將場(chǎng)景理解與空間錨結(jié)合起來(lái)，你可以將你的MR體驗(yàn)與用戶的環(huán)境相融合并加以調(diào)整，創(chuàng)造一個(gè)充滿可能性的新世界，" Onu說(shuō)道，"你可以在自己的客廳里成為一個(gè)秘密特工，在你的房間里勾畫出房屋的延伸部分并放置虛擬家具，創(chuàng)造物理游戲等等。"

此外，Meta還在Presence平臺(tái)上增加了共享空間錨點(diǎn)功能。這允許用戶通過(guò)與同一空間的其他用戶分享自己的錨來(lái)創(chuàng)造本地多人游戲體驗(yàn)。這將允許用戶和其他朋友在物理桌子上玩一個(gè)VR棋盤游戲，就像Tilt Five提供的游戲體驗(yàn)一樣。

混合現(xiàn)實(shí)的成功組合

空間錨、透視和場(chǎng)景理解的結(jié)合可以幫助人們創(chuàng)造一個(gè)豐富的、互動(dòng)的環(huán)境，其設(shè)計(jì)從視覺(jué)和感受來(lái)說(shuō)就像真實(shí)世界。Meta Quest Pro的產(chǎn)品經(jīng)理Avinav Pashine指出，在為用戶創(chuàng)造一個(gè)有趣而舒適的MR環(huán)境方面，有許多權(quán)衡因素。

圖源：Meta

Meta Reality的未來(lái)仍在不斷發(fā)展，因?yàn)樵摴就ㄟ^(guò)軟件更新和將在其下一代產(chǎn)品中提供的硬件創(chuàng)新正不斷改進(jìn)該平臺(tái)。Meta Quest Pro的產(chǎn)品經(jīng)理Silveira Cabral指出，該公司的第一個(gè)產(chǎn)品是Meta Reality發(fā)展過(guò)程中的重要一步。

"我們希望與開(kāi)發(fā)者一起學(xué)習(xí)，因?yàn)樗麄兘⒘艘俗⒛康捏w驗(yàn)，重新定義了VR頭顯的可能性。這個(gè)故事還沒(méi)有完成，這只是第一頁(yè)。"

來(lái)源：vrscout