編譯/VR陀螺
近日,美國專利商標(biāo)局正式授予蘋果公司一項專利,該專利涉及具有顯示生成組件和一個或多個輸入設(shè)備的計算機系統(tǒng),并提供計算機生成的體驗,包括但不限于通過顯示器提供虛擬現(xiàn)實和混合現(xiàn)實體驗的電子裝置。在很大程度上,蘋果的發(fā)明深入了未來的混合現(xiàn)實頭顯,該頭顯將與微手勢和眼動追蹤相結(jié)合,在玩電子游戲、導(dǎo)航菜單和控制媒體播放時可能很有用。
在顯示一個三維環(huán)境的同時,計算機系統(tǒng)會在第一位置檢測到一只手,該位置與三維環(huán)境的一部分相對應(yīng)。響應(yīng)于檢測到處于第一位置的手,根據(jù)確定該手正以第一預(yù)定義配置被握住,計算機系統(tǒng)顯示用于在三維環(huán)境中使用手勢輸入的第一操作環(huán)境的視覺指示;以及根據(jù)確定該手未以第一預(yù)定義配置被握住,計算機系統(tǒng)則放棄顯示該視覺指示。
在一些實施方案中,計算機系統(tǒng)允許用戶使用手指相對于其他手指或同一只手的部分的小動作所執(zhí)行的微手勢來與三維環(huán)境(例如,虛擬或混合現(xiàn)實環(huán)境)互動。
微手勢是用攝像頭(例如,與頭戴式設(shè)備集成的攝像頭或安裝在遠(yuǎn)離用戶的地方,如在CGR房間)來檢測的。例如,與觸摸感應(yīng)表面或其他物理控制器相反的位置。
微手勢的不同運動和位置以及各種運動參數(shù)被用來確定在三維環(huán)境中執(zhí)行的操作。通過使用攝像頭捕捉微表情與三維環(huán)境進(jìn)行互動,使用戶可以在物理環(huán)境中自由移動而不受物理輸入設(shè)備的束縛,這使用戶可以更自然和有效地探索三維環(huán)境。
此外,微手勢是離散且不顯眼的,適合于可能發(fā)生在公共場合和/或需要禮節(jié)的互動。
手的準(zhǔn)備狀態(tài)配置被計算機系統(tǒng)用作指示,表明用戶打算在與當(dāng)前顯示的操作環(huán)境不同的預(yù)定義操作環(huán)境中與計算機系統(tǒng)互動。例如,預(yù)定義的操作環(huán)境是在當(dāng)前顯示的應(yīng)用程序之外與設(shè)備進(jìn)行的一次或多次交互(例如,游戲、通信會話、媒體播放會話、導(dǎo)航等)。
圖源:patentlyapple
蘋果公司的專利圖4說明了手部追蹤單元#243。在一些實施例中,眼動追蹤單元被配置為追蹤用戶的注視點相對于用戶手的位置和運動。專利圖4進(jìn)一步包括由圖像傳感器#404捕獲的深度圖#410的示意圖。
專利圖4還示意性地說明了控制器最終從手的深度圖#40中提取的手的骨架#414。在圖4中,該骨架被疊加在手部背景#416上,該背景已從原始深度圖中分割出來。
在一些實施方案中,手的關(guān)鍵特征點(例如,對應(yīng)于指關(guān)節(jié)、指尖、手掌中心、連接到手腕的手的末端等)以及可選地連接到手的手腕或手臂上的特征點被識別并位于手的骨架#414上。
在一些實施例中,這些關(guān)鍵特征點在多個圖像幀上的位置和運動被控制器#110用來確定手部執(zhí)行的手勢或手部的當(dāng)前狀態(tài)。
圖源:patentlyapple
蘋果公司的專利圖7A提出了說明用戶與三維環(huán)境交互的方框圖。
蘋果公司的專利圖7B說明了一個顯示菜單#7170的用戶界面環(huán)境示例,其中包括用戶界面對象#7172-7194。該菜單在混合現(xiàn)實環(huán)境中顯示。例如,漂浮在空中或疊加在三維環(huán)境中的物理對象上,并對應(yīng)于與混合現(xiàn)實環(huán)境相關(guān)的操作或與物理對象相關(guān)的操作;圖7C菜單#7170由設(shè)備(例如,設(shè)備#7100或HMD)的顯示器顯示,其中至少有一部分由設(shè)備#7100的一個或多個后向攝像頭捕獲的物理環(huán)境的視圖疊加。在一些實施方案中,菜單顯示在設(shè)備(例如,平視顯示器或HMD)的透明或半透明的顯示器上,通過該顯示器可以看到物理環(huán)境。
蘋果公司的專利圖7G說明了用處于準(zhǔn)備狀態(tài)的手進(jìn)行的示例手勢和顯示的三維環(huán)境的示例響應(yīng),該響應(yīng)取決于用戶的注視點。
在一些實施例中,用戶的注視點指向三維環(huán)境中對手勢輸入有反應(yīng)的虛擬物體,只有在發(fā)現(xiàn)用戶的手也處于提供手勢輸入的預(yù)定義準(zhǔn)備狀態(tài)時,才會顯示該虛擬物體可用的一個或多個互動選項的視覺指示。
想要了解更多細(xì)節(jié),請查閱蘋果公司的授權(quán)專利11,340,756。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息