編譯/VR陀螺

Meta Quest 3于2023年10月10日正式發(fā)布，在Meta Connect 2023大會上，Meta宣布了一系列Presence Platform功能的升級，這些功能將支持Meta下一代頭顯的輸入、交互和動作捕捉。以上功能的升級將影響高保真級別的上半身跟蹤，帶來更自然、反應(yīng)更靈敏的交互（如微手勢），以及逼真的腿部動作等。

Meta一直在利用各種工具和功能幫助用戶增強(qiáng)沉浸感，提供更加真實的體驗，努力縮小頭顯的虛擬世界與物理世界的交互、輸入和動作捕捉的多樣性和準(zhǔn)確性以及差距。使用Movement SDK、Interaction SDK、Voice SDK、Haptics Studio和Haptics SDK，開發(fā)者可以讓用戶更投入地參與虛擬體驗。

 逼真的腿部動作：增強(qiáng)休閑游戲效果并完善社交虛擬形象 

多年來，在VR中生成精確的腿部動作一直是一個難以解決的問題。Meta提供的功能更新可無需任何額外硬件，并減小用戶摩擦（包括引起用戶焦慮和迷惑、減緩操作速度、分散注意力等）。僅利用上半身的信息來生成下半身可能要做的動作，與基于IK（反向動力學(xué)）的方法相比，用戶能很快就能做出更自然的動作。

逼真且自然的腿部動作將對社交體驗和健身應(yīng)用產(chǎn)生直接影響，因為它能準(zhǔn)確地表現(xiàn)站立、行走、跳躍等常見的腿部動作。它還能增強(qiáng)休閑游戲體驗，讓用戶在移動、探索和互動時有身臨其境的感覺。

展示Dodge Arcade應(yīng)用（來源：Meta Connect）

Meta相信，這套方法可以成功地應(yīng)用于Quest 3、Quest Pro甚至Quest 2上的各種社交和游戲體驗，讓用戶在VR中體驗更準(zhǔn)確的腿部動作，增強(qiáng)臨場感。

 Inside-Out Body Tracking：實現(xiàn)高保真的自然動作 

在Meta Quest 3中，通過由內(nèi)向外身體追蹤（Inside-Out Body Tracking，簡稱IOBT），并使用頭顯上的攝像頭來追蹤上半身動作。與Quest 2和Quest Pro上使用手和/或控制器，以及頭顯的運動來推斷用戶身體姿勢的方法相比，這種方法產(chǎn)生的追蹤系統(tǒng)要精確和自然得多。這意味著，用戶第一次體驗時就能分辨出復(fù)雜而細(xì)微的動畫，包括肘部和手腕運動以及側(cè)身運動的動畫。

通過提高上半身追蹤的準(zhǔn)確性，IOBT可以產(chǎn)生立竿見影的效果，幫助用戶在應(yīng)用中更自然地跳躍、跳舞或走動。在視線范圍之外，IOBT還能通過推斷手臂和手的位置來增強(qiáng)手部追蹤等現(xiàn)有功能。

Movement SDK為開發(fā)者提供了開箱即用的動作捕捉工具，Quest 3上的IOBT能夠讓用戶的棒球揮桿動作看起來流暢，空手道劈叉動作看起來精確，甚至連揮手打招呼的感覺都更加自然親切。

 手部跟蹤：改進(jìn)響應(yīng)性，延遲時間縮短40%至75% 

今年8月，Meta推出了手部追蹤v2.2版本（v56），這是一次重大升級，可將延遲時間縮短40%至75%，顯著縮小了控制器與裸手交互之間的用戶體驗差距。

此外，Meta還推出了“Fast Motion Mode”。Meta表示這是高頻追蹤技術(shù)的進(jìn)化版，旨在讓快節(jié)奏游戲的響應(yīng)速度更快。開發(fā)者可以使用Move Fast應(yīng)用程序（為開發(fā)者演示Interaction SDK的演示應(yīng)用，可在APP Lab獲?。﹣聿榭碏MM的運行情況（可作為開源版本提供），也可以參考Meta提供的Unity、Unreal和Native開發(fā)者文檔，以便立即在你的應(yīng)用程序中啟用手部跟蹤和FMM。

Meta手部追蹤v2.2版本（來源：Meta Connect）

在Meta Quest 3上，開發(fā)者很快就可以使用“Wide Motion Mode”來跟蹤手部，即使手部在頭顯視野之外，也只需輕按開關(guān)，該模式就能極大地改善社交展示和大范圍的動態(tài)交互。

 微手勢和Direct Touch：讓交互更加直觀自然，減少疲勞 

Interaction SDK可讓開發(fā)者輕松為應(yīng)用體驗添加基于控制器和手部的交互，包括戳、抓等多種可供選擇的交互方式。從2024年開始，Meta將開始添加對全新微手勢（microgestures）的支持，如拇指滑動、手指點觸等，這樣就可以在移動或滾動UI面板等情況下，減少重復(fù)交互帶來的疲勞，為用戶創(chuàng)造更簡單的體驗。

微手勢演示（圖源：Meta Connect）

說到頭顯內(nèi)的自然交互，Meta還將在v57中為Horizon Home環(huán)境中的所有互動添加對直接手勢（Direct Touch）的支持。Meta相信，Direct Touch可以讓應(yīng)用程序中的2D交互變得更加有趣，Meta還在Interaction SDK中為開發(fā)者提供了“開箱即用”的所有Direct Touch原語。

Direct Touch演示（來源：Meta）

Interaction SDK庫使開發(fā)者能夠構(gòu)建獨特、引人入勝的游戲，同時讓你的受眾能夠靈活地以不同方式與應(yīng)用程序環(huán)境進(jìn)行交互。Meta表示從v57版開始為Unity的Interaction SDK提供Building Block支持。Building Blocks 是為Presence Platform常見用例預(yù)先配置的預(yù)制件。

 Multimodal和Capsense Hands：可同時提供手部和控制器追蹤功能 

為了支持Meta Quest 3及后續(xù)版本的沉浸感。Meta最近推出了帶有SDK v56的多模態(tài)功能Multimodal，這是一項新的實驗性功能，可同時提供手部和控制器追蹤功能。這意味著開發(fā)者在開發(fā)游戲時，可以讓用戶使用一只手輸入，另一只手使用控制器輸入甚至可以讓用戶在兩者之間立即轉(zhuǎn)換。

結(jié)合Capsense驅(qū)動的手部可視化功能，開發(fā)者能獲得符合Meta控制器模型的自然手部姿勢。這樣，開發(fā)者就可以將手部可視化整合到用戶的控制器之上，或取代用戶的控制器。

Multimodal和Capsense Hands功能演示（圖源：Meta）

這兩項功能都將在未來幾個月內(nèi)發(fā)布，開發(fā)者現(xiàn)在就可以訪問Multimodal和Capsense Hands的開發(fā)者文檔頁面。

 Voice SDK輸入：開發(fā)者可創(chuàng)建自定義文本轉(zhuǎn)語音（TTS） 

輸入不僅僅包括手部和控制器，將人們的語音作為與應(yīng)用環(huán)境交互的輸入方法，可以實現(xiàn)更身臨其境的游戲體驗，并為不同受眾提供更無障礙的體驗。

語音命令和聽寫等Voice SDK功能為用戶提供了與角色和對象進(jìn)行交互的簡便方法，而文本轉(zhuǎn)語音（TTS）可以為游戲中的角色提供語音，從而為用戶帶來生動的體驗。

Meta將增加15種可用于游戲的TTS語音，使其語音庫增加一倍，很快開發(fā)者就可以使用Voice Cloning功能為應(yīng)用創(chuàng)建全新的自定義TTS語音，只需20分鐘的語音錄制。

如果開發(fā)者是First Access計劃的成員，還可以聯(lián)系Meta的對接人員了解更多。下面是開發(fā)人員使用Voice SDK制作的內(nèi)容。如要啟用語音驅(qū)動的游戲和交互，可訪問Meta提供的開發(fā)者文檔（Unity、Unreal）。

Voice SDK演示（來源：Meta）

 觸覺技術(shù)：Touch Plus控制器支持振動和高級觸覺反饋 

圖源：Meta

Quest 3的Touch Plus控制器允許激活各種振動和高級觸覺體驗。在Meta Haptics Studio和Haptics SDK的幫助下，開發(fā)者可以設(shè)計、試用高品質(zhì)的觸覺效果，并將其集成到你的應(yīng)用程序中，這些應(yīng)用程序在所有Meta Quest設(shè)備上都支持向后兼容。

Meta Haptics Studio是一款獨立的桌面應(yīng)用程序，適用于PC和Mac，可以從現(xiàn)有音頻中創(chuàng)建觸覺效果，它包含一個內(nèi)置的庫和教程。另一方面，Haptics SDK可以讓開發(fā)者將觸覺和特效集成到應(yīng)用程序中，它提供了一個類似于媒體的API，可以用控制音頻的相同方式觸發(fā)和控制觸覺?？稍L問Meta Haptics Studio和Meta Haptics SDK（Unity、Unreal、Native）的開發(fā)者文檔了解更多。

參考文章：https://developer.oculus.com/blog/movements-inputs-interactions-meta-connect-2023-quest-developers-presence-platform/