編譯/VR陀螺
近日,美國商標專利局發(fā)布了一項蘋果公司的專利,涉及具有物體移動檢測功能的頭戴式顯示設(shè)備。
蘋果公司在其專利中指出,該專利公開的各種實施方案用于檢測處于頭戴式設(shè)備(HMD)視場中的移動物體。在各種實施方案中,HMD包括顯示器、事件攝像頭以及相關(guān)的處理器。
在某些實施方案中,該方法包括根據(jù)與一個或多個物體相關(guān)聯(lián)的深度數(shù)據(jù),合成描述事件攝像頭視場中一個或多個物體特征的第一光流。在某些實施方案中,該方法包括根據(jù)事件攝像頭提供的事件圖像數(shù)據(jù),確定描述事件攝像頭視場中一個或多個對象的第二光流。在某些實施方案中,該方法包括根據(jù)第一光流和第二光流確定一個或多個物體中的第一物體正在移動。
在各種實施方案中,頭戴式設(shè)備(HMD)包括攝像頭和顯示器。在某些實施方案中,攝像頭包括一個面向場景的攝像頭。在某些實施方案中,顯示屏呈現(xiàn)攝像頭視場中物體的視覺呈現(xiàn)。
在各種實施方案中,HMD 是可移動的。例如,佩戴 HMD 的用戶可以傾斜和/或旋轉(zhuǎn) HMD,隨著 HMD 的移動,攝像頭視場中的物體也會發(fā)生變化。在各種實施方案中,HMD 可能需要識別正在移動的物體。在某些實施方案中,HMD 可能需要在 HMD 移動時(例如,在 HMD 旋轉(zhuǎn)、傾斜和/或平移時)識別正在移動的物體。
在各種實施方案中,HMD 利用來自事件攝像頭的圖像數(shù)據(jù)來識別正在移動的物體。在某些實施方案中,HMD 合成第一光流(例如,預(yù)期光流),該光流描述事件攝像頭視場中的一個或多個物體。
HMD 會根據(jù)事件攝像頭提供的事件圖像數(shù)據(jù)確定第二光流(例如,當前光流),該光流用于描述事件攝像頭視場中的物體。在某些實施方案中,HMD 根據(jù)第一光流和第二光流確定事件攝像頭視場中的一個物體正在移動。例如,HMD 根據(jù)當前光流不同于預(yù)期光流來確定其中一個物體正在移動。
HMD 還會顯示場景中的物體正在移動的指示。在某些實施方案中,當 HMD 的顯示器顯示與場景不對應(yīng)的內(nèi)容時(例如,當顯示器顯示與游戲、電影或視頻聊天對應(yīng)的內(nèi)容而不是顯示場景中物體的視覺表示時),HMD 會顯示該指示。在某些實施方案中,HMD 會指示事件攝像頭視場中的哪個物體正在移動。
圖源:Apple Patent 11838492
圖 1 是根據(jù)某些實施方案的示例操作環(huán)境 #100 的框圖。作為一個非限制性示例,操作環(huán)境 #100 包括控制器 #200 和HMD #300。在圖 1 的示例中,HMD #300 位于場景 #105(例如,會議室等地理位置)。在圖 1 的示例中,場景 #105 包括各種物體,如狗 #160a 和球 #160b。如圖 1 所示,用戶 #110 可以佩戴 #HMD 300。
在一些實施例中,控制器 #200 被配置為管理和協(xié)調(diào)用戶 #110 的AR/VR)體驗。在一些實施例中,控制器 #200 包括軟件、固件和/或硬件的適當組合。
圖源:Apple Patent 11838492
圖 2 是根據(jù)某些實施方案的控制器 #200 示例的框圖。在某些實施方案中,一個或多個通信總線 #204 包括用于互連和控制系統(tǒng)組件之間通信的電路。在某些實施方案中,一個或多個 I/O 設(shè)備 #206 包括鍵盤、鼠標、觸摸板、操縱桿、一個或多個麥克風、一個或多個揚聲器、一個或多個圖像傳感器、一個或多個顯示器、觸摸感應(yīng)顯示器和/或類似設(shè)備中的至少一種。
圖源:Apple Patent 11838492
圖 4 是根據(jù)某些實施方案繪制的 HMD #300 框圖。在各種實施方案中,數(shù)據(jù)獲取單元 #342 獲取場景 #105 的 3D 模型 #352。在某些實施方案中,數(shù)據(jù)獲取單元 #342 獲取與場景相關(guān)的深度數(shù)據(jù) #354。
在某些實施方案中,數(shù)據(jù)獲取單元 #342 從 3D 模型 #352 中檢索深度數(shù)據(jù) #354。而深度數(shù)據(jù) #354 顯示場景 #105 中各種物體相對于 HMD #300 的位置。換句話說,在某些實施方案中,深度數(shù)據(jù) #354 表示每個物體距離 HMD #300 有多遠。
在某些實施方案中,數(shù)據(jù)獲取單元 #342 從深度攝像頭 #314b 獲取深度數(shù)據(jù) #354。數(shù)據(jù)獲取單元 #342 從控制器 #200 接收三維模型 #352 和/或深度數(shù)據(jù) #354。而數(shù)據(jù)獲取單元 #342 會將深度數(shù)據(jù) #354 提供給光流確定單元 #346。
在各種實現(xiàn)方式中,光流確定單元 #346 根據(jù)深度數(shù)據(jù) #354 合成場景 #105 的預(yù)期光流 (OF) #358。在某些實施方案中,預(yù)期光流 #358 會描述事件攝像頭 #314a 視場中的物體。
例如參照圖 1,預(yù)期光流 #358 描述了事件攝像頭 #314a 視場 #316 中的狗 #160a 和球 #160b。在某些實施方案中,HMD #300(例如光流確定單元 #346)從另一個實體(例如控制器 #200)接收場景 #105 的預(yù)期光流 #358。在某些實施方式中,光流確定單元 #346 將預(yù)期光流 #358 提供給運動檢測單元 #348。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息