編譯/VR陀螺
蘋果Vision Pro的眼動追蹤技術是推動蘋果這款空間計算設備超越其他頭顯的關鍵技術之一。上周,美國專利商標局公布了蘋果公司的又一項專利申請,該專利特別涉及到為Vision Pro提供基于視網膜成像的調節(jié)檢測(即聚焦)的系統(tǒng)和方法。
蘋果公司在其專利背景中指出,存在各種眼動追蹤技術。例如,有些注視追蹤技術是基于檢測眼睛外部的反射,如光線射向眼睛,在瞳孔和角膜上產生可探測到的反射,這些反射由攝像頭追蹤,以確定注視方向。例如,通過確定角膜和瞳孔之間與注視方向相對應的矢量?,F有的眼動追蹤技術可能無法充分追蹤眼睛調節(jié)(即聚焦)。
基于視網膜成像的眼睛調節(jié)檢測
蘋果公司的專利申請涵蓋了使用視網膜成像技術來評估用戶在使用電子設備(例如,實時)過程中的眼睛調節(jié)(即聚焦)的系統(tǒng)、方法和設備。
一個或多個光源將光線射向視網膜上的一個或多個光點,這些光點可通過傳感器檢測到。光點的大小和形狀取決于眼睛的調節(jié)/聚焦情況,因此可用于識別調節(jié)/聚焦變化或測量眼睛的調節(jié)/聚焦情況。當用戶通過電子設備觀看電子內容、與電子內容進行交互或以其他方式體驗電子內容時,可實時確定眼睛的聚焦情況。
某些實施方案涉及一種方法,該方法通過執(zhí)行存儲在電子設備非暫時性存儲器中的指令的處理器來執(zhí)行。這種方法可能涉及在具有處理器和光源的電子設備上,使用光源產生光(例如紅外線或可見光),將光引向眼睛視網膜上的光點。
例如,可以使用一個或多個準直照明器將光射向視網膜上的一個或多個點。光源可以相對于眼睛的軸線以離軸方式定向。該方法在傳感器(如攝像頭)上接收傳感器數據(如圖像)。傳感器數據與視網膜上的發(fā)光點相對應。例如,傳感器數據可包括一個或多個具有圖像部分的相機圖像,例如,與視網膜外觀相對應的像素,包括在被照亮點上反射的光。
該方法根據傳感器數據確定眼睛調節(jié)特性。在某些實施方案中,眼睛調節(jié)特性是根據視網膜上被照亮點的大小或位置確定的。確定眼睛調節(jié)特性可包括檢測眼睛調節(jié)的變化或找到眼睛調節(jié)的估計值(例如代表眼睛調節(jié)的數值)。在某些實施方案中,確定眼睛調節(jié)特性涉及將視網膜圖像與之前的視網膜圖像進行比較,以確定照明光斑大小和/或位置的變化。
在某些實施方案中,光斑被識別(例如,通過大小、形狀和/或位置)和/或與視網膜上其他較少照明的部分區(qū)分開來??梢酝ㄟ^算法(例如基于閾值)和/或使用機器學習 (ML) 模型來識別光斑。ML模型可用于評估/比較光斑的大小和/或位置和/或多個光斑之間的關系。
圖源:patentlyapple
蘋果專利圖 8 是一個示例頭戴式設備 (HMD) 的框圖,我們現在知道它就是 Vision Pro;圖 3 展示了一個或多個照明器在第一調節(jié)/對焦狀態(tài)下將光線射向眼睛視網膜上的光點;圖 4 展示了視網膜的圖像,其中包括圖 3 中照明的光點。
蘋果專利圖 5 展示了圖 3 中的一個或多個照明器在第二調節(jié)/聚焦狀態(tài)下將光線引向眼睛視網膜上的光點;圖 6 展示了視網膜的圖像,其中包括圖 5 中照明的光點。
在某些實施方案中,Vision Pro包括用于檢測眼球位置和眼球運動的眼動追蹤系統(tǒng)。眼動追蹤系統(tǒng)可包括一個或多個照明器,例如一個或多個紅外(IR)發(fā)光二極管(LED),這些照明器發(fā)出的光從用戶的眼睛反射并通過傳感器捕捉,例如近紅外(NIR)攝像頭。
在一個示例中,Vision Pro的一個或多個照明器可以向用戶眼睛視網膜上的一個或多個光點發(fā)射近紅外光,傳感器會捕捉用戶眼睛的圖像,包括被照亮的光點。在某些實施方案中,可對眼動追蹤系統(tǒng)捕獲的圖像進行分析,以檢測用戶眼睛的位置和運動,從而檢測有關眼睛的其他信息,如注視方向,和/或檢測眼睛的調節(jié)/聚焦。此外,通過眼動追蹤圖像估算出的注視點可實現基于注視的內容交互。
要了解該專利的全部細節(jié),請查看蘋果專利申請20230329549。
投稿/爆料:tougao@youxituoluo.com
稿件/商務合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數字產業(yè)服務平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息