編譯/VR陀螺
近日,美國專利商標(biāo)局發(fā)布了一項新的蘋果專利申請,該專利申請是蘋果于2017年從蒙特利爾一家名為Vrvana的初創(chuàng)公司那里獲得,是一項關(guān)于混合現(xiàn)實顯示器的專利。據(jù)領(lǐng)英信息顯示,被列入該專利的六位發(fā)明人包括Vrvana的首席執(zhí)行官和創(chuàng)始人,其在公司被收購后并未加入蘋果。盡管現(xiàn)在這是屬于蘋果的專利,但列出的所有發(fā)明者均不是蘋果公司的員工。
Vrvana的頭顯
專利背景首先定義了色度鍵控(或色度鍵合成),這是一種通過用第二張圖像的內(nèi)容替換一個圖像中的顏色范圍來合成兩個圖像的方法。例如,它通常應(yīng)用于電影或新聞廣播領(lǐng)域的中,通常用靜態(tài)圖像或視頻替換綠色(或藍(lán)色)屏幕背景。
盡管色度鍵控通常是后期制作的效果,或者是使用專用設(shè)備/軟件現(xiàn)場完成的,但是它可以在增強(qiáng)現(xiàn)實(AR)頭顯(也稱為混合現(xiàn)實)的環(huán)境中應(yīng)用,其中用戶可以通過頭戴式顯示設(shè)備實時看到真實環(huán)境中的虛擬元素。
一個示例是起重機(jī)模擬器,其中的控件將是真實的對象,并且彩色屏幕將由虛擬起重機(jī)和虛擬環(huán)境代替。
另一個示例是使用彩色屏幕的社交MR體驗,該彩色屏幕覆蓋了整個視野,并且只有用戶的手或身體沒有被虛擬內(nèi)容替代(除非其顏色與屏幕相同)。該示例應(yīng)用程序有時被歸類為虛擬現(xiàn)實(VR),但為簡單起見,我們在這里將其視為增強(qiáng)現(xiàn)實(AR)。
總體而言,本發(fā)明涵蓋了包括照相機(jī)系統(tǒng)、圖像處理單元(SoC和/或FPGA系統(tǒng))和實現(xiàn)低等待時間色度鍵控的顯示系統(tǒng)的頭戴式顯示設(shè)備(HMD)。
HMD中嵌入的色度鍵控處理通過計算機(jī)生成的內(nèi)容替換了相機(jī)圖像中用戶定義的顏色范圍,并將結(jié)果顯示在顯示系統(tǒng)上。因此,相機(jī)傳感器、處理系統(tǒng)和顯示系統(tǒng)用于實現(xiàn)低等待時間色度鍵控,該鍵控色度鍵被計算機(jī)生成的內(nèi)容替換了環(huán)境圖像中用戶定義的顏色范圍。具體地說,處理系統(tǒng)檢測用戶選擇的顏色范圍,并用虛擬內(nèi)容制作合成圖像。
總體而言,本發(fā)明提供了一種用于MR沉浸式應(yīng)用的在HMD內(nèi)部實現(xiàn)色度鍵控的方法。這在模擬、游戲、娛樂和訓(xùn)練中特別有用。
本專利提供了一種可穿戴式沉浸式頭戴式顯示設(shè)備(HMD),其使用嵌入式立體聲RGB相機(jī)進(jìn)行實時色彩鍵控以捕獲環(huán)境,并提供一種顯示系統(tǒng)來顯示利用虛擬內(nèi)容增強(qiáng)的真實世界圖像。該系統(tǒng)以高幀速率(通常為75 fps或更高)運(yùn)行,通過捕獲圖像并將其格式化以顯示在HMD本身中,從而使延遲小于一幀。低延遲是實現(xiàn)沉浸感所需的關(guān)鍵要素。
嵌入在HMD中的顏色鍵控處理將檢測選定的顏色范圍,并混合來自HMD本身或來自外部源(例如連接的計算機(jī))的虛擬內(nèi)容。虛擬內(nèi)容還可以在顏色鍵控區(qū)域的頂部合成,以允許混合現(xiàn)實內(nèi)容遮擋現(xiàn)實生活中的對象。
蘋果專利圖2示出了混合現(xiàn)實HMD的光學(xué)器件,顯示器和照相機(jī)的非限制性說明性實施例;圖3示出了本系統(tǒng)的數(shù)據(jù)流的非限制性說明性實施例的示意性概述。
蘋果專利圖1示出了色度鍵控設(shè)置的非限制性說明性實施例的概述,該色度鍵控設(shè)置在此由人后的彩色屏幕組成。通過讓用戶通過頭戴式顯示設(shè)備(HMD)查看設(shè)置來實現(xiàn)混合現(xiàn)實效果。
蘋果專利圖4A示出了如由HMD的照相機(jī)色度鍵控設(shè)置的非限制性說明性實施例;圖4B示出在用虛擬背景替換鍵屏幕之后,在HMD中顯示的色度鍵設(shè)置的非限制性說明性實施例;圖5A示出了如由HMD的照相機(jī)所看到的色度鍵控設(shè)置的非限制性說明性實施例;圖5B示出了在用虛擬內(nèi)容替換鍵色之后,在HMD中顯示的色度鍵設(shè)置的非限制性說明性實施例。
美國專利局今天發(fā)布的這項20200252593專利申請是其于2020年2月提交的。但是,獲得該專利的時間實際上可以追溯到2017年8月,或者是在收購交易被發(fā)現(xiàn)之前約四個月??紤]到這是一項專利申請,目前尚不知道這種產(chǎn)品上市的時間。
該專利的發(fā)明人包括:
Bertrand Nepveu:Vrvana首席執(zhí)行官兼首席執(zhí)行官;收購后,Nepveu沒有加入蘋果。
Vincent Chapdelaine-Couture:計算機(jī)視覺科學(xué)家;原始專利是在蘋果收購的Vrvana下申請的。收購后,Vincent沒有加入蘋果。
Anthony GHANNOUM:Vrvana的CTO和聯(lián)合創(chuàng)始人,Vrvana的顯示圖像處理架構(gòu)師;收購后,他沒有加入蘋果。
Irv Lustigman:Vrvana技術(shù)與業(yè)務(wù)開發(fā)副總裁;收購后,他沒有加入蘋果。
Marc-AndréChénier:Vrvana的高級嵌入式軟件架構(gòu)師;收購后他沒有加入蘋果。
SimonFortin-Deschê??nes:Vrvana的光學(xué)工程師;收購后,他沒有加入蘋果。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息