編譯/VR陀螺
近日,美國商標專利局公布了蘋果公司一項專利,該專利涉及電子設(shè)備,尤其涉及根據(jù)眼動追蹤和頭部追蹤信息確定用戶注視行為狀態(tài)的系統(tǒng)、方法和設(shè)備。
蘋果公司在其專利背景中指出,在電子設(shè)備上查看內(nèi)容時,確定用戶的意圖可以促進更有意義的體驗。例如,內(nèi)容的一部分(如可選擇的圖標或按鈕)可根據(jù)用戶的選擇意圖自動進行選擇,而無需用戶執(zhí)行手勢、鼠標點擊或其他基于輸入設(shè)備的操作來啟動選擇。
然而,用戶可能會做出不同類型的眼球運動,眼球運動的頻率和特征可能取決于許多因素,包括任務(wù)、精神狀態(tài)和身體姿勢。因此,針對用戶觀看內(nèi)容和與內(nèi)容互動的意圖,改進評估目標眼動事件的技術(shù)可以提高用戶對內(nèi)容的欣賞、理解和學習能力。內(nèi)容創(chuàng)建者和系統(tǒng)能夠以更高精度確定用戶與部分內(nèi)容互動的意圖,從而提供更好、更量身定制的用戶體驗。
本文公開的各種實施方案包括提供實時注視分類算法的設(shè)備、系統(tǒng)和方法,該算法可根據(jù)眼動追蹤數(shù)據(jù),例如通過基于視頻的眼動追蹤儀、基于視網(wǎng)膜/眼底成像的眼動追蹤、基于眼球電圖的眼動追蹤、基于磁性鞏膜搜索的眼動追蹤等獲得的注視方向、凝視角度、瞳孔直徑、瞳孔位置等,以及頭部表示/追蹤數(shù)據(jù)(例如,使用圖像數(shù)據(jù)、深度數(shù)據(jù)、加速計數(shù)據(jù)、磁力計數(shù)據(jù)、陀螺儀數(shù)據(jù)等獲得的頭部姿勢、旋轉(zhuǎn)速度等)對眼動和注視行為類型進行分類。
將注視行為分類為離散的“事件”可用于改進基于注視的用戶界面交互、用戶意圖預測、原始眼動追蹤數(shù)據(jù)的選擇性過濾,從而避免因過濾操作而增加延遲。在一些實施方案中,可以利用場景理解信息來確定當前環(huán)境中的物體表示數(shù)據(jù)(例如,位置、深度、與用戶的距離、速度、場景中物體的運動方向)。
在某些實施方案中,本文所述技術(shù)可以對注視行為狀態(tài)進行實時分類。例如,可以獲取當前時間的眼球數(shù)據(jù)和頭部姿勢數(shù)據(jù)以及一些歷史數(shù)據(jù)(例如,最近 10 次采樣),以便以更低的延遲對當前時間的注視事件進行預測。
一些實施方案側(cè)重于提高確定注視行為狀態(tài)的準確性,以根據(jù)眼動追蹤和頭部姿勢數(shù)據(jù)實時識別注視移動事件、注視保持事件和丟失事件,并確定眼動類型的樣本事件級別。
眼球運動有多種不同類型,根據(jù)其功能或生理起源,可以對它們進行不同的分類。眼球注視行為事件或眼球運動包括:掃視移動(短暫、快速、急促和彈道式眼球運動,用于搜索/分析場景,并將視網(wǎng)膜的高敏銳度部分帶到感興趣的物體上)、平滑追逐(在物體移動時追蹤物體,使視網(wǎng)膜的高敏銳度部分保持在感興趣的物體上)、前庭-眼球反射(又稱VOR,這是眼睛的代償運動,目的是在頭部運動/旋轉(zhuǎn)的情況下仍能將視線固定在物體上)、固定注視(視線和頭部相對固定,僅有偏移)、眨眼(一只或兩只眼睛全部或部分閉合)、數(shù)據(jù)丟失(由于各種原因?qū)е卵矍蜃粉櫥蝾^部追蹤失?。┑?。
還可以進行更高層次的分類,將注視行為分為快速行為狀態(tài)、穩(wěn)定行為狀態(tài)和丟失行為狀態(tài)??焖傩袨闋顟B(tài)可能指的是掃視移動。穩(wěn)定行為狀態(tài)可指用戶試圖將視線穩(wěn)定在物體上的動作(如平滑追逐、VOR 或固定事件)。丟失行為狀態(tài)可指眨眼和/或其他數(shù)據(jù)損失,由于眼部/頭部追蹤的其他問題(如丟幀、分割問題、超出特定眼部追蹤技術(shù)的追蹤范圍等),這些數(shù)據(jù)損失可被確定為丟失行為狀態(tài)。
本專利要解決的一個普遍問題是創(chuàng)建一種分類算法,該算法可以實時解釋設(shè)備上的眼部/頭部追蹤數(shù)據(jù),且與用戶的身體姿勢或任務(wù)無關(guān)。
在一些實施方案中,可以采用機器學習算法或其他類型的分類算法,將眼球數(shù)據(jù)和頭部追蹤數(shù)據(jù)分類為行為和/或功能相關(guān)的事件。在某些實施方案中,算法和/或機器學習模型可以根據(jù)用戶的特定操作進行配置/改進。
目標事件可以是固定、平滑追逐、掃視移動、VOR、眨眼、數(shù)據(jù)丟失等低級事件,也可以是穩(wěn)定注視狀態(tài)、快速注視狀態(tài)和丟失狀態(tài)等高級事件。機器學習分類器可使用用戶在各種身體/頭部姿勢(如坐、站、躺、走等)下執(zhí)行各種任務(wù)時的眼部和頭部追蹤數(shù)據(jù)進行訓練。根據(jù)不同的身體姿勢和任務(wù)要求,注視行為和統(tǒng)計數(shù)據(jù)可能會發(fā)生巨大變化。
此外,還可以使用場景環(huán)境來確定注視行為狀態(tài),以識別注視轉(zhuǎn)移事件、注視保持事件和/或丟失事件。根據(jù)用戶在交互事件(如選擇圖標)中的眼球運動和注視行為,用戶所呈現(xiàn)內(nèi)容和環(huán)境的這些屬性可以更好地確定用戶的意圖。
在用戶執(zhí)行任務(wù)時,使用帶有眼動追蹤技術(shù)(和其他生理傳感器)的設(shè)備可以獲得生理數(shù)據(jù)。在某些實施方案中,可以使用其他傳感器獲取生理數(shù)據(jù),例如腦電圖(EEG)傳感器或皮電活動(EDA)傳感器。根據(jù)用戶的眼球運動和注視行為,觀察對體驗的生理數(shù)據(jù)的重復測量,可以深入了解用戶的意圖。
在一些實施方案中,確定是否啟動交互事件(例如,預測用戶是否打算與顯示內(nèi)容的一部分進行交互)可以基于用戶的特征(例如,生理數(shù)據(jù))和用戶的環(huán)境(例如,真實世界物理環(huán)境、虛擬環(huán)境或兩者的組合)。
設(shè)備(如手持設(shè)備、筆記本電腦、臺式機或頭戴設(shè)備)提供真實物理環(huán)境或XR環(huán)境的體驗(如視覺和/或聽覺體驗)。該設(shè)備通過一個或多個傳感器獲取與用戶相關(guān)的生理數(shù)據(jù)(例如,腦電圖振幅、瞳孔調(diào)制、眼球凝視掃視移動、由IMU測量的頭部運動等)。根據(jù)獲得的生理數(shù)據(jù),本文所述技術(shù)可確定體驗過程中的交互事件?;谏頂?shù)據(jù)和相關(guān)的生理反應(例如,用戶專注于內(nèi)容的特定區(qū)域),該技術(shù)可根據(jù)交互事件向用戶提供響應,并調(diào)整與體驗相對應的內(nèi)容。
圖源:Apple Patent 20230418372
蘋果專利圖 1 展示了真實世界環(huán)境 #105(例如房間)的示例環(huán)境 #100,其中包括帶有顯示屏 #15 的設(shè)備 #10。在某些實施方案中,設(shè)備 #10 向用戶 #25 顯示內(nèi)容 #20。例如,內(nèi)容 #20 可以是按鈕、用戶界面圖標、文本框、圖形、用戶或其他用戶的頭像等。在某些實施方案中,內(nèi)容 #20 可以占據(jù)顯示屏 #15 的整個顯示區(qū)域。
圖源:Apple Patent 20230418372
圖 2A 和 2B 展示了根據(jù)生理數(shù)據(jù)檢測用戶觀看內(nèi)容時的眼球運動和注視行為。圖 2A 展示了用戶(例如圖 1 中的用戶 #25)在內(nèi)容呈現(xiàn)過程中在環(huán)境 #204 中被呈現(xiàn)的內(nèi)容# 202吸引,對內(nèi)容做出了生理反應(例如,通過眼球注視特征數(shù)據(jù) #212 檢測到的用戶看向內(nèi)容的部分)。
想要了解更多專利細節(jié),請查閱蘋果專利申請20230418372。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息