編譯/VR陀螺

近日，美國專利商標(biāo)局公布了蘋果公司的一項(xiàng)專利申請，該專利涉及在用戶從事身體活動(dòng)（如鍛煉或高爾夫等運(yùn)動(dòng)）時(shí)監(jiān)測用戶的姿勢和運(yùn)動(dòng)的系統(tǒng)。

蘋果公司指出，許多消費(fèi)者擁有智能手機(jī)、智能手表和耳機(jī)（如耳塞）。這些設(shè)備都包括運(yùn)動(dòng)傳感器，如加速計(jì)、陀螺儀和高度計(jì)。這些設(shè)備通常包括一個(gè)或多個(gè)視頻攝像頭。一些更高級(jí)的設(shè)備還包括深度傳感器，如TOF傳感器。相機(jī)數(shù)據(jù)和/或深度數(shù)據(jù)可用于生成人體的骨骼模型。

從攝像機(jī)數(shù)據(jù)生成2D骨骼模型的技術(shù)如今已很常見，將2D骨骼模型提升到3D骨骼模型的技術(shù)也是眾所周知的。3D骨骼模型為確定用戶的全身姿態(tài)提供了一個(gè)很好的資源。

骨骼模型通常包括人體所有關(guān)節(jié)的位置，如腳踝、膝蓋、臀部、腰部、肩部、肘部、手腕和頸部。

在一些實(shí)施例中，骨骼模型可用于生成骨骼網(wǎng)。這些位置是典型的相機(jī)和/或深度傳感器參考框架，這往往與慣性傳感器的參考框架不同。此外，運(yùn)動(dòng)數(shù)據(jù)和骨骼數(shù)據(jù)的數(shù)據(jù)速率可能不同，這取決于設(shè)備和/或應(yīng)用程序。

蘋果公司進(jìn)一步指出，最好是將運(yùn)動(dòng)數(shù)據(jù)和骨骼數(shù)據(jù)一起使用來估計(jì)用戶的身體姿勢。這一信息可用于各種應(yīng)用，如監(jiān)測高爾夫揮桿、監(jiān)測瑜伽姿勢、游戲應(yīng)用（例如，帶有“身體運(yùn)動(dòng)傳感器上的攝像頭”的電視）、基于各運(yùn)動(dòng)傳感器捕獲的每個(gè)用戶行為的獨(dú)特性在多人場景中進(jìn)行人物識(shí)別，以及健身教練或教練的遠(yuǎn)程監(jiān)測。

圖源：patentlyapple

蘋果公司的專利圖1A-1D說明了姿勢和運(yùn)動(dòng)監(jiān)測的應(yīng)用，用于監(jiān)測用戶的高爾夫揮桿。

更具體地說，根據(jù)圖1A和1B，估計(jì)的身體姿勢可用于確定用戶的高爾夫形式或姿態(tài)是否正確。這可以通過對(duì)佩戴在用戶手腕上的智能手表的位置和方向進(jìn)行運(yùn)動(dòng)學(xué)建模來完成。例如，智能手表提供的運(yùn)動(dòng)數(shù)據(jù)可用于測量揮桿過程中撞擊時(shí)的物理力。此外，骨骼數(shù)據(jù)可用于通過監(jiān)測用戶的肘關(guān)節(jié)和肩關(guān)節(jié)的位置來檢測用戶的形態(tài)和姿態(tài)。

蘋果專利圖1A-1D說明了一個(gè)示例應(yīng)用，該應(yīng)用可以使用由位于用戶身體不同部位的不同移動(dòng)設(shè)備提供的運(yùn)動(dòng)數(shù)據(jù)產(chǎn)生的預(yù)估身體姿勢，與2D或3D骨骼數(shù)據(jù)和/或骨骼網(wǎng)格相結(jié)合。運(yùn)動(dòng)數(shù)據(jù)和骨骼數(shù)據(jù)的融合將在下面的專利圖2中描述。

圖源：patentlyapple

蘋果公司的專利圖2是系統(tǒng)#200的框圖，用于用移動(dòng)設(shè)備監(jiān)測姿勢和運(yùn)動(dòng)。該系統(tǒng)包括Apple Watch #201、骨骼數(shù)據(jù)生成器#202、校準(zhǔn)器#203、通信管理器#204、同步器#205和身體姿勢估計(jì)器#206，該系統(tǒng)進(jìn)一步包括插值器#210和估計(jì)濾波器#211（例如卡爾曼濾波器）。在一個(gè)實(shí)施方案中，該系統(tǒng)也可以在iPhone、iPad、網(wǎng)絡(luò)計(jì)算機(jī)和其他設(shè)備上實(shí)現(xiàn)。

蘋果公司的專利圖3和圖4說明了圖2中所示的校準(zhǔn)器的操作。

圖源：patentlyapple

蘋果公司的專利圖5說明了使用運(yùn)動(dòng)數(shù)據(jù)和骨骼數(shù)據(jù)預(yù)測關(guān)節(jié)位置的情況。

想了解更多專利細(xì)節(jié)，請查閱蘋果的專利申請US 20230096949 A1。

除了這份專利外，蘋果公司還申請了第二項(xiàng)專利，標(biāo)題為“通過從多個(gè)可穿戴設(shè)備提取特征進(jìn)行全身姿勢估計(jì)”。

蘋果公司在其專利背景中指出，可穿戴設(shè)備現(xiàn)在很普遍。許多消費(fèi)者每天都會(huì)佩戴智能手表和耳機(jī)設(shè)備。這些可穿戴設(shè)備中的許多設(shè)備都包括慣性傳感器，可以感知用戶的運(yùn)動(dòng)。例如，嵌入智能手表的慣性傳感器可以捕捉用戶的手臂運(yùn)動(dòng)，然后由健身應(yīng)用來計(jì)算各種健身指標(biāo)，如用戶在運(yùn)動(dòng)中消耗的卡路里量。一些耳部設(shè)備（如耳機(jī)）包括控制音頻播放的慣性傳感器，提供用于波束成形以減少背景噪音的麥克風(fēng)方向數(shù)據(jù)，以及用于固定通過耳部設(shè)備播放的空間音頻聲場的頭部追蹤。

蘋果公司的發(fā)明涵蓋了通過從多個(gè)可穿戴設(shè)備中提取特征來進(jìn)行全身姿勢估計(jì)。

在一個(gè)實(shí)施方案中，一種方法包括用至少一個(gè)處理器從用戶同時(shí)佩戴的多個(gè)可穿戴設(shè)備獲得視點(diǎn)（POV）視頻數(shù)據(jù)和慣性傳感器數(shù)據(jù)；用至少一個(gè)處理器獲得捕捉用戶全身的深度數(shù)據(jù)；用至少一個(gè)處理器從POV視頻數(shù)據(jù)中提取2D關(guān)鍵點(diǎn)；用至少一個(gè)處理器從2D關(guān)鍵點(diǎn)重建全身2D骨骼模型；用至少一個(gè)處理器，基于深度數(shù)據(jù)生成用戶全身的3D網(wǎng)狀模型；用至少一個(gè)處理器，將3D網(wǎng)狀模型的節(jié)點(diǎn)與慣性傳感器數(shù)據(jù)合并；用至少一個(gè)處理器，將2D骨骼模型和3D網(wǎng)狀模型在共同參考框架中的各自方向?qū)R；以及用機(jī)器學(xué)習(xí)模型，基于對(duì)齊的2D骨骼模型和3D網(wǎng)狀模型，預(yù)測分類類型。

在一個(gè)實(shí)施方案中，至少一個(gè)可穿戴設(shè)備是戴在用戶身上或佩戴在耳朵里的耳機(jī)，至少一個(gè)可穿戴設(shè)備是戴在用戶手腕上的智能手表。

在一個(gè)實(shí)施方案中，該方法由一個(gè)與可穿戴設(shè)備無線連接的中央計(jì)算設(shè)備執(zhí)行。

在一個(gè)實(shí)施方案中，從多個(gè)可穿戴設(shè)備獲得的高度計(jì)數(shù)據(jù)被用來在共同參考框架中調(diào)整2D骨骼模型和3D網(wǎng)格模型的各自方向。

其他實(shí)施方案可以包括裝置、計(jì)算設(shè)備和非臨時(shí)性、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

所公開的特定實(shí)施例提供了以下一個(gè)或多個(gè)優(yōu)點(diǎn)。所披露的實(shí)施例提供了一個(gè)更準(zhǔn)確的全身骨骼模型，可以提供對(duì)用戶運(yùn)動(dòng)的詳細(xì)見解，允許改進(jìn)各種健身活動(dòng)或健康監(jiān)測的進(jìn)度跟蹤。

例如，可以在智能手機(jī)或智能手表上為用戶提供鍛煉總結(jié)，其中包括各種鍛煉的重復(fù)數(shù)據(jù)（例如，負(fù)重深蹲或俯臥撐的數(shù)量），以及趨勢數(shù)據(jù)，如運(yùn)動(dòng)范圍的改善。

圖源：patentlyapple

蘋果公司的專利圖1是一個(gè)通過從多個(gè)可穿戴設(shè)備中提取的特征進(jìn)行全身姿勢估計(jì)的系統(tǒng)框圖；圖2顯示了各種類型的鍛煉的可穿戴設(shè)備的不同位置。

蘋果公司的專利圖3A是利用從多個(gè)可穿戴設(shè)備提取的特征進(jìn)行全身姿勢估計(jì)的系統(tǒng)框圖；圖3B是利用從多個(gè)可穿戴設(shè)備提取的特征進(jìn)行全身姿勢估計(jì)的機(jī)器學(xué)習(xí)（ML）模型的訓(xùn)練過程的流程圖。

圖源：patentlyapple

蘋果公司的專利圖4是使用從多個(gè)可穿戴設(shè)備中提取的特征進(jìn)行全身姿勢估計(jì)的流程圖。

想了解更多專利細(xì)節(jié)，請查閱蘋果的專利申請US 20230101617 A1。

來源：patentlyapple