文/VR陀螺

隨著Meta Connect大會(huì)的召開，下一代頭顯Quest 3也已經(jīng)確定將于10月10日正式發(fā)布，定價(jià)499美元起。除了性能上的升級以外，混合現(xiàn)實(shí)是官方反復(fù)重點(diǎn)強(qiáng)調(diào)的功能，它可以令虛擬內(nèi)容與物理世界無縫融合，同時(shí)讓用戶以豐富的色彩自然直觀地觀看和交互。

通過增加動(dòng)態(tài)檢測和模擬用戶物理空間的功能，Presence Platform的最新MR功能實(shí)現(xiàn)了真實(shí)感。有了MR技術(shù)，開發(fā)者就有了更多的可能性來擴(kuò)展受眾與應(yīng)用程序進(jìn)行交互、參與和移動(dòng)的方式，同時(shí)還能讓他們置身于物理環(huán)境中。

Meta Quest 3（圖源：Meta）

 為廣大受眾創(chuàng)造引人入勝的愉悅體驗(yàn) 

Quest 3顯著改進(jìn)的“穿透”（Passthrough）體驗(yàn)比Quest 2提供的像素高出10倍，并且全新的AI深度引擎可充分利用硬件功能。這為開發(fā)者提供了創(chuàng)造令人愉悅的體驗(yàn)的工具，讓用戶可以更清晰、更真實(shí)地看到周圍的世界。開發(fā)人員已經(jīng)看到通過使用穿透等MR功能對用戶參與度產(chǎn)生了重大影響，例如，正念應(yīng)用程序《TRIPP》在采用穿透功能后，其每日活躍用戶（DAU）得到了提升，7天平均活躍用戶數(shù)增加了31%。

《TRIPP》在Quest 3上可調(diào)整穿透效果的百分比。（圖源：Meta）

全彩穿透功能還能幫助開發(fā)者為首次使用程序的用戶創(chuàng)造愉快的體驗(yàn)。“Meta Quest的Presence Platform，尤其是手部追蹤和穿透技術(shù)，非常適合《Cubism》的簡單游戲形式。”《Cubism》的創(chuàng)建者Thomas Van Bouwel說道，“我之所以被MR所吸引，是因?yàn)樗梢詼p少新玩家上手的門檻，因?yàn)镸R可以讓他們與周圍環(huán)境保持聯(lián)系。”

《Cubism》結(jié)合Quest 3的穿透功能展示的新玩法。（圖源：Thomas Van Bouwel）

從今年晚些時(shí)候開始，Quest 3用戶還將能夠從Home中的穿透無縫過渡到MR應(yīng)用程序，而不會(huì)出現(xiàn)黑屏或加載屏幕等不和諧的問題。

 用AI驅(qū)動(dòng)的混合現(xiàn)實(shí)技術(shù)豐富應(yīng)用程序 

看到彩色的物理世界并將其與虛擬內(nèi)容相融合，這僅僅是MR技術(shù)的開始。Presence Platform是一個(gè)由人工智能和機(jī)器學(xué)習(xí)驅(qū)動(dòng)的功能集合，可以讓開發(fā)者豐富體驗(yàn)、提高臨場感，并讓用戶更自由地以自己的方式進(jìn)行游戲和探索。

可以用來增強(qiáng)MR的核心功能包括：

• 穿透：在Meta Quest頭顯內(nèi)提供實(shí)時(shí)且感知舒適的物理世界三維可視化效果
• 場景：構(gòu)建環(huán)境感知體驗(yàn)，與用戶周圍的物理環(huán)境進(jìn)行豐富的交互
• 空間錨點(diǎn)：在物理空間中放置和持久保存虛擬內(nèi)容
• 共享空間錨點(diǎn)：通過為多個(gè)用戶創(chuàng)建一個(gè)共享的世界鎖定參照基準(zhǔn)來構(gòu)建本地多人游戲體驗(yàn)

與Quest 2相比，Quest 3的視場角擴(kuò)大了近15%，像素密度也提高到25.5 PPD和1218 PPI。因此，用戶可以通過Quest 3上的MR功能看到虛擬與現(xiàn)實(shí)世界的融合創(chuàng)作更加栩栩如生，細(xì)節(jié)更加豐富。

許多應(yīng)用程序已經(jīng)開始采用MR技術(shù)來提供靈活有趣的游戲。例如，《Rube Goldberg Workshop》可以讓用戶使用實(shí)物對象和表面作為創(chuàng)作的一部分，制造出大量的迭代機(jī)器。

在現(xiàn)實(shí)物體的表面游玩《Rube Goldberg Workshop》。（圖源：Meta）

“我們有一個(gè)明確的目標(biāo)，不僅要利用場景捕捉和手部追蹤等新工具，還要真正圍繞這些功能進(jìn)行開發(fā)。”美國游戲工作室Free Range Games的制作人Stephen Scholz說道，“《Rube Goldberg Workshop》的游戲性質(zhì)要求物體的位置非常精確，以便玩家每次啟動(dòng)游戲時(shí)都能始終如一地進(jìn)行交互。通過使用空間錨點(diǎn)，我們可以在兩次游戲之間將物體錨定在相同的位置，從而確保玩家的連續(xù)性。”

以上功能可以根據(jù)開發(fā)者的目標(biāo)靈活使用，它們既能單獨(dú)使用，也可以與Presence Platform提供的其他強(qiáng)大功能一起使用（如使用運(yùn)動(dòng)SDK跟蹤身體運(yùn)動(dòng)、手部跟蹤等）。

Presence Platform Hackathon的獲獎(jiǎng)作品《SUBMERSED》使用穿透和空間錨點(diǎn)創(chuàng)建生存游戲。（圖源：Meta）

 利用全新的API提高混合現(xiàn)實(shí)的可信度和逼真度 

Meta Connect大會(huì)上發(fā)布了深度應(yīng)用程序接口（Depth API），它可以從頭顯的視角提供實(shí)時(shí)、每眼、每幀的環(huán)境深度估計(jì)。

利用深度API，開發(fā)者可以輕松實(shí)現(xiàn)動(dòng)態(tài)遮擋。這對于在應(yīng)用程序中呈現(xiàn)虛擬內(nèi)容和物理內(nèi)容之間可信的視覺交互至關(guān)重要，能為用戶帶來更加連貫的真實(shí)感。經(jīng)過設(shè)計(jì)的深度API，讓開發(fā)者得以利用自己的算法和傳統(tǒng)實(shí)時(shí)3D應(yīng)用程序中的技術(shù)，以便渲染基于深度的效果（如霧），或?qū)⑸疃刃畔⒂糜谟螒颉?/p>

（注：Meta將在Unity、Unreal和OpenXR上提供深度API，作為Quest 3 v57的實(shí)驗(yàn)版本。）

Depth API演示（圖源：Meta）

為了使MR體驗(yàn)更加逼真，Meta在v57版本中為Unity、Unreal和OpenXR引入了Mesh API。Mesh API可以在虛擬和物理對象之間實(shí)現(xiàn)逼真的交互，例如讓游戲角色在用戶的物理空間中穿梭，或者將客廳改造成森林篝火。

為了幫助開發(fā)者減少使用新功能和更新功能設(shè)置MR體驗(yàn)時(shí)的麻煩，Meta還推出了Space Setup功能，該功能可自動(dòng)檢測房間布局，使應(yīng)用程序能夠理解物理空間并對其做出反應(yīng)，從而減少后端的工作量。

Meta Quest上的MR利用環(huán)境的空間數(shù)據(jù)（場景、網(wǎng)格和深度API數(shù)據(jù)）來融合物理和虛擬內(nèi)容。為了幫助開發(fā)者和用戶了解應(yīng)用程序如何使用空間數(shù)據(jù)，以及如何管理應(yīng)用程序?qū)臻g數(shù)據(jù)的訪問，Meta還創(chuàng)建了新的資源，以供構(gòu)建下一個(gè)MR體驗(yàn)時(shí)參考。

圖源：Meta

 使用新工具和展示應(yīng)用開啟混合現(xiàn)實(shí)之旅 

混合現(xiàn)實(shí)開發(fā)看似具有挑戰(zhàn)性，但Meta一直致力于開發(fā)工具和資源，幫助開發(fā)者開始使用多種游戲引擎。新的混合現(xiàn)實(shí)設(shè)計(jì)指南分解了混合現(xiàn)實(shí)的基礎(chǔ)知識，解釋了開發(fā)者能用它做什么，并提供了設(shè)計(jì)引人入勝的混合現(xiàn)實(shí)體驗(yàn)的最佳實(shí)踐。

·Mixed Reality Utility Kit是一款適用于Unity和Unreal的新工具，它大大簡化了集成和使用場景功能的過程。它還包括用于處理程序網(wǎng)格和紋理的實(shí)用工具，包括預(yù)先捕獲的房間，這樣開發(fā)者就可以在不同的環(huán)境中測試應(yīng)用程序，而無需戴上頭顯。

·Phanto是一款在Unity中構(gòu)建的全新開源參考應(yīng)用程序，重點(diǎn)介紹了最新的Presence Platform功能，包括場景網(wǎng)格、場景模型和場景API。它還包含展示內(nèi)容放置、快速碰撞、空中導(dǎo)航、地面導(dǎo)航和其他最佳實(shí)踐的示例Unity場景，開發(fā)者可以輕松地將其納入MR應(yīng)用程序中。

圖源：Meta

·Discover是在Unity中構(gòu)建的另一個(gè)開源展示，它演示了如何使用關(guān)鍵的MR功能，包括場景、空間錨點(diǎn)、共享空間錨點(diǎn)和穿透，并展示了如何將它們快速集成到自己的項(xiàng)目中，是探索最新MR技術(shù)的最佳途徑。

Meta Connect大會(huì)上還分享了Building Blocks和Meta XR模擬器等經(jīng)過改進(jìn)的新工具，如何幫助開發(fā)者輕松集成Presence Platform的最新MR功能，并測試應(yīng)用程序，而無需每次都戴上和摘下頭顯。

 加速混合現(xiàn)實(shí)開發(fā)的新WebXR工具 

9月29日，Meta正式推出了Immersive Web Emulator，它可以讓開發(fā)者在沒有頭顯的情況下輕松測試和迭代WebXR體驗(yàn)。

Immersive Web Emulator是基于Chromium的桌面瀏覽器的開源網(wǎng)絡(luò)擴(kuò)展，具有頭顯和控制器的6DOF仿真變換控制、二進(jìn)制和模擬按鍵的全面控制器輸入仿真以及標(biāo)準(zhǔn)動(dòng)作的直觀鍵盤映射等功能。它可通過谷歌Chrome瀏覽器網(wǎng)絡(luò)商店和微軟Edge附加組件商店獲取。

Immersive Web Emulator演示（圖源：Meta）

最新版本v1.4添加了對目前網(wǎng)絡(luò)上所有Presence Platform功能的全面支持。通過Quest 3，Meta還增加了對房間網(wǎng)格（Room Mesh）的模擬器支持，它提供了一個(gè)房間的詳細(xì)3D呈現(xiàn)，開發(fā)者可以用它來進(jìn)行詳細(xì)的命中測試或基本遮擋。

以下是一些可用于加速M(fèi)R開發(fā)的核心MR功能：

• 模擬房間設(shè)置
• 額外的XRPlane和XRMesh設(shè)置
• 語義標(biāo)簽
• 模擬手部追蹤
• 命中測試和持久錨點(diǎn)

如果是使用WebXR構(gòu)建MR體驗(yàn)的新手，則可以使用Reality Accelerator Toolkit幫助將MR功能集成到自己的應(yīng)用程序中。該工具包增強(qiáng)了廣泛使用的Three.js 3D庫，引入了XRPlane、XRAnchor、HitTestSource和XRMesh的綁定，并以靜默方式管理后臺(tái)更新。通過在Object3D界面中封裝這些功能，Reality Accelerator Toolkit可讓開發(fā)者毫不費(fèi)力地將平面和網(wǎng)格等物理世界元素直接整合到Three.js場景圖中。

 結(jié)語 

即將發(fā)售的Quest 3將帶來重大的硬件升級，而各種功能和工具可以幫助開發(fā)者集成MR功能，因此現(xiàn)在正是構(gòu)建混合現(xiàn)實(shí)體驗(yàn)的絕佳時(shí)機(jī)。

雖然業(yè)界大佬約翰·卡馬克近日對MR在大眾市場的短期潛力表達(dá)了自己的擔(dān)憂，不過Quest平臺(tái)擁有出色的內(nèi)容生態(tài)和眾多開發(fā)者的支持，許多成熟的VR作品紛紛更新MR模式并且已經(jīng)取得了一些不俗的數(shù)據(jù)，相信未來MR的“殺手級應(yīng)用”已經(jīng)不太遙遠(yuǎn)。

原文地址：

https://developer.oculus.com/blog/building-mixed-reality-MR-meta-quest-3-connect-developers-presence-platform/