編譯/VR陀螺
早在2017 年,蘋果公司收購了一家名為 SensoMotoric Instruments(SMI)的德國公司,后者在眼動追蹤技術(shù)領(lǐng)域擁有過硬的技術(shù)。2016 年,SMI 已經(jīng)制造出了使用眼動追蹤技術(shù)的眼鏡。雖然這項技術(shù)在當(dāng)時看來有些科幻,但現(xiàn)在它已經(jīng)成為蘋果即將推出的 Vision Pro 頭顯背后的關(guān)鍵技術(shù)之一。今天,美國專利商標(biāo)局正式向蘋果公司授予了一項與眼動追蹤技術(shù)有關(guān)的專利,而在被列為發(fā)明人的4位工程師中,有3位就來自現(xiàn)就職于蘋果公司的前 SMI 團隊。
傳感器融合眼動追蹤
蘋果公司獲得的專利涵蓋了各種實施方案,其中包括為相對于用戶移動的電子設(shè)備執(zhí)行遠(yuǎn)程眼動追蹤的設(shè)備、系統(tǒng)和方法。
在某些實施方案中,遠(yuǎn)程眼動追蹤通過使用單個有源照明光源和深度信息識別三維坐標(biāo)系中沿注視方向的兩個位置(例如角膜中心和眼球旋轉(zhuǎn)中心)來確定注視方向。在某些實施方案中,使用基于主動照明光源的閃爍和深度傳感器的深度信息確定第一位置(如角膜中心),使用 RGB 傳感器(如環(huán)境光)和深度信息確定第二位置(如眼球旋轉(zhuǎn)中心)。在某些實施方案中,使用相同主動照明光源的單個傳感器確定第一位置(如角膜中心)和第二位置(如眼球旋轉(zhuǎn)中心),單個傳感器同時確定深度信息和閃光信息。在某些實施方案中,遠(yuǎn)程眼動追蹤由移動電子設(shè)備提供。
在某些實施方案中,遠(yuǎn)程眼動追蹤確定三維坐標(biāo)系中的頭部姿態(tài)以及眼球的位置(例如眼球旋轉(zhuǎn)中心),然后確定頭部姿態(tài)與眼球位置之間的空間關(guān)系。在某些實施方案中,空間關(guān)系是唯一確定的(例如,用戶特定變換)。在某些實施方案中,空間關(guān)系是在遠(yuǎn)程眼動追蹤的注冊模式下確定的。隨后,在遠(yuǎn)程眼動追蹤的追蹤模式的某些實現(xiàn)中,只有特征檢測圖像(例如 RGB 攝像頭圖像)和空間關(guān)系用于執(zhí)行遠(yuǎn)程眼動追蹤。在遠(yuǎn)程眼動追蹤的追蹤模式的某些實施方案中,深度信息和主動照明被關(guān)閉(例如,降低功耗)。
遠(yuǎn)程眼動追蹤的一個用途是在用戶注視的方向上識別設(shè)備上的視點(POR),例如,注視方向與設(shè)備顯示屏相交的位置。視點可用于促進用戶與設(shè)備的交互。例如,系統(tǒng)可以檢測到用戶的視線已經(jīng)到達顯示屏的底部,并自動向下滾動,向用戶顯示更多內(nèi)容。
圖源:patentlyapple
本專利一些實現(xiàn)涉及在具有一個或多個處理器、一個或多個圖像傳感器和照明光源的設(shè)備上,根據(jù)與眼睛第一圖像中不同波長光相關(guān)的像素差異,檢測眼睛的第一屬性。這些實施方案根據(jù)深度傳感器提供的深度信息,在三維坐標(biāo)系中確定與第一屬性相關(guān)的第一位置。各種實施方案根據(jù)照明光源的光線從眼睛角膜反射產(chǎn)生的閃光來檢測眼睛的第二屬性。這些實施方案根據(jù)來自深度傳感器的深度信息,確定三維坐標(biāo)系中與第二屬性相關(guān)聯(lián)的第二位置,并根據(jù)第一位置和第二位置確定三維坐標(biāo)系中的注視方向。
各種實現(xiàn)方法根據(jù)在第二圖像中檢測到的頭部(例如面部特征)和來自深度傳感器的深度信息,確定三維坐標(biāo)系中的頭部位置。這些實施方案根據(jù)頭部位置和先前確定的頭部與眼睛之間的空間關(guān)系,確定與眼睛的第二屬性相關(guān)聯(lián)的第二位置,并根據(jù)第一位置和第二位置確定三維坐標(biāo)系中的注視方向。
想了解更多專利信息,請查閱蘋果公司的授權(quán)專利11710350。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息