編譯/VR陀螺

近日，美國專利商標(biāo)局公布了蘋果公司的一項專利申請，涉及基于手部特征驗證用戶身份的技術(shù)。蘋果在專利中指出，可能會有多個家庭成員都想使用 Apple Vision Pro，系統(tǒng)必須識別出不同的手勢來控制 visionOS。在另一個例子中，蘋果公司描述了一種工作場所場景，即多個戴頭顯的人在合作項目時，Vision Pro可以在辦公室或僅在單個項目上識別注冊過的不同用戶的手，從而賦予這些用戶查看項目（如草稿）或編輯項目的權(quán)限。

蘋果公司在其專利背景中指出，在 Apple Vision Pro 中，一個人的物理動作或其表現(xiàn)形式的子集會被追蹤，作為回應(yīng)，XR 環(huán)境中模擬的一個或多個虛擬對象的一個或多個特征會以符合現(xiàn)實屬性的方式進行調(diào)整。某些 XR 環(huán)境允許多個用戶與 XR 環(huán)境中的虛擬對象或彼此進行交互。例如，用戶可以使用手勢與 XR 環(huán)境的組件進行交互。然而，我們需要一種改進的技術(shù)來管理確定執(zhí)行手勢的用戶的身份。

確認(rèn)手勢身份

蘋果公司的發(fā)明涵蓋了捕捉周圍環(huán)境的傳感器數(shù)據(jù)，這些數(shù)據(jù)可用于提取手部特征。在某些實施例中，二維圖像幀可用于提取手部特征，這些特征可用于手部追蹤。根據(jù)一個或多個實施例，可對網(wǎng)絡(luò)進行訓(xùn)練，以讀取傳感器數(shù)據(jù)（如二維圖像幀）并生成手部特征，如邊界框、手部關(guān)鍵點、手部中心和手的特性。網(wǎng)絡(luò)經(jīng)過訓(xùn)練后，可根據(jù)單個二維圖像幀為手部特征提供三維數(shù)據(jù)。例如，關(guān)鍵點、邊界框和/或手中心能夠以空間三維坐標(biāo)的形式提供。

在某些實施例中，手部特征可用于預(yù)測環(huán)境中的特定手部是否屬于應(yīng)被追蹤的特定用戶。例如，可以追蹤捕獲傳感器數(shù)據(jù)的設(shè)備的用戶，而忽略場景中的其他手。被追蹤的手的手部特征可用于手部追蹤技術(shù)。

圖源：patentlyapple

蘋果專利圖 10 以框圖形式顯示了用于確認(rèn)手勢身份的示例系統(tǒng)；圖 1 顯示了用于管理場景中活動用戶身份的系統(tǒng)設(shè)置。

圖源：patentlyapple

蘋果專利圖 2 顯示了注冊用戶手部的技術(shù)流程圖；圖 5 顯示了根據(jù)手部特征確定用戶授權(quán)的系統(tǒng)設(shè)置；圖 8 顯示了從圖像數(shù)據(jù)中提取手部特征的技術(shù)流程圖。

更具體到圖 5，我們看到的是多個用戶參與的多用戶通信會話的表示視圖 #500。多用戶通信會話包括虛擬對象 #510，它是供多個用戶可見的多用戶通信會話演示草稿。如圖所示，用戶 Emily Smith #504 的右手正在虛擬對象上做出雙指輕掃手勢 #514。同樣，無名氏 508 的右手也在虛擬對象上做出雙指輕掃的手勢 #518。在本示例中，雙指輕掃手勢可能與刪除或以其他方式操作虛擬對象有關(guān)。

蘋果專利圖 5 還包括授權(quán)列表 #520。授權(quán)列表可以存儲為授權(quán)存儲區(qū)等。在某些實施例中，授權(quán)列表可以是身份驗證模塊和/或追蹤模塊管理的用戶列表的一部分。

如圖所示，授權(quán)列表包括與多用戶通信會話中的對象相關(guān)聯(lián)的授權(quán)信息。如授權(quán)列表示例所示，無名氏可以查看演示文稿（如虛擬對象 #510），但不能進行編輯。同時，用戶 Emily Smith 有權(quán)編輯演示文稿。

此外，Anon 1 配置文件可能沒有授權(quán)。在某些實施例中，匿名配置文件可能與無授權(quán)或有限授權(quán)相關(guān)聯(lián)。因此，在某些實施例中，演示文稿草稿可以對與Anon 1 配置文件相關(guān)聯(lián)的用戶進行混淆。例如，草稿演示虛擬對象可能對未經(jīng)授權(quán)的用戶（如與Anon 1 配置文件相關(guān)聯(lián)的用戶）完全不可見。因此，如上所述，與Emily Smith #504 的右手相關(guān)聯(lián)的手勢 #514 可能會導(dǎo)致虛擬對象被操作，而與無名氏的右手相關(guān)聯(lián)的手勢 #518 #508 可能會被檢測到，被確定為未授權(quán)編輯任務(wù)，并被忽略。

在某些實施例中，可生成和/或傳輸與無名氏未經(jīng)授權(quán)的嘗試操作相關(guān)的日志條目或通知。因此，這些技術(shù)允許電子設(shè)備確認(rèn)執(zhí)行特定手勢的手的身份，以防止在電子設(shè)備視線范圍內(nèi)的未經(jīng)授權(quán)的用戶劫持設(shè)備，或無意中導(dǎo)致設(shè)備根據(jù)手勢執(zhí)行操作。

想了解更多關(guān)于本專利的細節(jié)，請查閱蘋果公司的專利申請 20230306097。

來源：patentlyapple