編譯/VR陀螺
近日,美國專利商標局發(fā)布了蘋果2020年針對其眼動追蹤系統(tǒng)的第四項專利申請。該專利涉及其未來的頭戴式顯示器(HMD)設備的高級眼動追蹤/注視點技術(shù)的另一個方面。這項專利向我們介紹了眼動追蹤系統(tǒng)如何能夠使用攝像機數(shù)據(jù)獲取用戶的生物特征,然后自動調(diào)整圖像的亮度,并將圖像生成到HMD顯示屏上等等。
蘋果的發(fā)明涵蓋了一種包括眼動追蹤系統(tǒng)的頭戴式設備,該眼動追蹤系統(tǒng)能確定頭戴式設備用戶的視線方向。眼動追蹤系統(tǒng)通常包括將用戶的眼睛圖像傳輸?shù)綀?zhí)行眼動追蹤的處理器的攝像機。以足夠的幀速率傳輸圖像以實現(xiàn)眼動追蹤,需要具有相當帶寬的通信鏈路。
各種實現(xiàn)包括用于使用強度調(diào)制的光源確定眼動追蹤特性的設備,系統(tǒng)和方法。該方法包括從多個光源向用戶的眼睛發(fā)射具有調(diào)制強度的光,以多個閃爍的形式接收由用戶的眼睛反射的發(fā)射光的強度數(shù)據(jù)指示。該方法還包括基于光強度數(shù)據(jù)確定用戶的眼動追蹤的特性。
蘋果公司為強度調(diào)制光源的眼動追蹤系統(tǒng)使用了機器學習。該系統(tǒng)可以執(zhí)行一些非常獨特的功能。例如,在一種情況下,一個或多個光源可根據(jù)用戶生物特征調(diào)制發(fā)射光的強度。
例如,如果用戶比正常人眨眼更多,心跳加快或被登記為兒童,則一個或多個光源會降低發(fā)射光的強度以減輕眼睛的壓力。
作為另一示例,一個或多個光源可以基于用戶的眼睛顏色來調(diào)節(jié)發(fā)射光的強度,因為與棕色眼睛相比,藍眼睛的光譜反射率可能不同。
在各種實施方式中,眼動追蹤或者特別是確定的注視方向,被用于實現(xiàn)用戶交互,諸如允許用戶注視HMD顯示器上的彈出菜單,然后通過簡單地注視屏幕來選擇該菜單上的一個特定選項。
蘋果的專利圖1是示例操作環(huán)境#100的框圖,其中,控制器(#110)被配置為用戶管理和協(xié)調(diào)增強現(xiàn)實/虛擬現(xiàn)實(AR / VR)體驗。
蘋果的專利圖4示出了頭戴式設備(#400)的框圖。外殼(#401)還容納了眼動追蹤系統(tǒng),該眼動追蹤系統(tǒng)包括一個或多個光源#422,相機424和控制器480。一個或多個光源422將光發(fā)射到用戶10的眼睛上,并反射為光。
相機424可以檢測到光模式(例如,閃爍的圓圈)?;谠摴饽J?,控制器480可以確定用戶10的眼動追蹤特性。例如,控制器480可以確定視線方向和/或用戶10的眨眼狀態(tài)(睜眼或閉眼)。作為另一個示例,控制器480可以確定瞳孔中心,瞳孔大小或視點。因此,在各種實施方式中,光由一個或多個光源422發(fā)射,從用戶10的眼睛反射,并由相機424檢測。在各種實施方式中,來自用戶眼睛10的光是在到達相機424之前從熱鏡反射或穿過目鏡。
在專利圖5A中,我們看到用戶的眼睛具有第一凝視方向;圖5B示出了具有第二凝視方向的用戶眼睛。
在各種實施方式中,一個或多個光源朝著用戶的眼睛發(fā)射光,該光以形成圖案的多個閃光的形式反射。可以確定反射的圖案(以及可能的其他特征,例如瞳孔大小,瞳孔形狀??和瞳孔中心),用戶的眼動追蹤特性。眼睛包括被虹膜包圍的瞳孔,兩者均被角膜覆蓋。眼睛同時還包括鞏膜(也稱為眼白)。
蘋果的專利圖9A示出了包括攝像機(#910)的眼動追蹤系統(tǒng)(#900)的功能框圖。眼動追蹤系統(tǒng)基于從攝像機接收到的事件消息來輸出用戶的凝視方向。
幾何分析器#970從閃爍檢測器(#940)接收與檢測到的閃爍有關(guān)的數(shù)據(jù),并且從瞳孔檢測器(#960)接收與用戶眼睛的瞳孔有關(guān)的數(shù)據(jù)?;谠摻邮盏降男畔?,幾何分析器確定用戶的眼動追蹤特性,例如用戶的凝視方向和/或眨眼狀態(tài)。
蘋果的專利圖9B示出了包括機器學習回歸器#980的眼動追蹤系統(tǒng)(#902)的功能框圖。這里,閃爍檢測器(#940),瞳孔檢測器(#960)和幾何分析器(#970)使用機器學習回歸器,該回歸器根據(jù)目標特征和脫離目標特征確定眼睛的跟蹤特征。
最后在專利圖9C中,我們可以看到包括凝視估計器(#990)的眼動追蹤系統(tǒng)(#904)的功能框圖。此處的眼動追蹤系統(tǒng)包括攝像頭(#910)。事件消息被傳送到概率標記器(#925)。
帶有概率標記的事件消息被傳送到特征生成器(#935),該特征生成器生成一個或多個特征,反饋到注視估計器(#990)中,該估計器基于一個特征來確定眼動追蹤特性(例如,凝視方向)或更多功能。
美國專利局發(fā)布的這項蘋果專利申請20200278539顯示于2020年第一季度提交,盡管該專利表明某些工作最早可以追溯到2017年,但這些工作被一同并入了最新申請中。考慮到這是一項專利申請,目前尚不知道這種產(chǎn)品上市的時機。
該專利發(fā)明人包括:
Daniel Kurz:高級工程經(jīng)理(計算機視覺,機器學習),通過蘋果收購Metaio加入公司。這項專利的一些早期工作可能來自Metaio的收購,并由蘋果團隊成員進行了修訂。
Li Jia:居住在中國北京的計算機視覺和機器學習工程經(jīng)理。其領(lǐng)導一個團隊,為移動相機應用開發(fā)CVML算法。他還與清華大學組織了有關(guān)計算機視覺和機器學習研究項目的合作。
Raffi Bedikian:計算機視覺工程師。他在Leap Motion工作了5年。
Branko Petljanski:孵化(相機)工程經(jīng)理
投稿/爆料:tougao@youxituoluo.com
稿件/商務合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息