編譯/VR陀螺

近日，美國(guó)專利商標(biāo)局公布了蘋(píng)果公司的一項(xiàng)專利申請(qǐng)，該專利涉及增強(qiáng)現(xiàn)實(shí)技術(shù)和一種顯示內(nèi)容的方法，特別是顯示環(huán)境的相應(yīng)表示。這是一項(xiàng)技術(shù)性很強(qiáng)的專利，在增強(qiáng)現(xiàn)實(shí)領(lǐng)域工作的工程師和開(kāi)發(fā)人員會(huì)更好地理解這份專利。

不過(guò)該專利中的一個(gè)主題是所有蘋(píng)果粉絲都能理解的，那就是新的SharePlay功能，這允許用戶與朋友在他們的設(shè)備或電視上一起看電影，這項(xiàng)新功能已經(jīng)在WWDC21上亮相。

而這份專利就是探討這項(xiàng)功能在技術(shù)上的意義，該專利申請(qǐng)深入探討了未來(lái)一代用于AR的SharePlay，該功能也可以搭配未來(lái)的混合現(xiàn)實(shí)頭顯一起使用。蘋(píng)果在專利中使用多個(gè)立體模型視圖介紹了 "家庭增強(qiáng)現(xiàn)實(shí)（ER）環(huán)境"。

蘋(píng)果在其專利背景中指出，以前可用的設(shè)備可以在操作環(huán)境中顯示內(nèi)容。在增強(qiáng)現(xiàn)實(shí)（AR）應(yīng)用中，操作環(huán)境對(duì)應(yīng)于包括物理對(duì)象的物理（例如，現(xiàn)實(shí)世界）環(huán)境，先前可用的設(shè)備會(huì)顯示疊加在物理環(huán)境圖形表示上的虛擬對(duì)象。在虛擬現(xiàn)實(shí)（VR）應(yīng)用中，操作環(huán)境對(duì)應(yīng)于包括純虛擬對(duì)象的虛擬環(huán)境。

然而，該設(shè)備缺乏一種機(jī)制，以便在操作環(huán)境中實(shí)現(xiàn)對(duì)顯示內(nèi)容的三維（3D）操縱。該設(shè)備還缺乏一種顯示虛擬物體的機(jī)制，使虛擬物體和物理物體在操作環(huán)境中不會(huì)相互遮擋。

家庭增強(qiáng)現(xiàn)實(shí)（ER）環(huán)境

蘋(píng)果公司的發(fā)明向我們介紹了一種新的方法，包括通過(guò)顯示設(shè)備顯示他們稱之為 "家庭增強(qiáng)現(xiàn)實(shí)（ER）環(huán)境 "的東西，其特征是家庭ER世界坐標(biāo)，包括第一ER環(huán)境的第一立體視圖表示。

在某些情況下，一個(gè)設(shè)備可以在操作環(huán)境中顯示一個(gè)或多個(gè)對(duì)象。在一些應(yīng)用中，該設(shè)備修改了當(dāng)前操作環(huán)境的顯示。修改當(dāng)前的操作環(huán)境可以包括在當(dāng)前操作環(huán)境內(nèi)各自的預(yù)定位置顯示不同的虛擬對(duì)象，這與用戶輸入無(wú)關(guān)。在當(dāng)前操作環(huán)境中的預(yù)定位置顯示一個(gè)虛擬對(duì)象會(huì)出現(xiàn)問(wèn)題，因?yàn)樵撎摂M對(duì)象和也在當(dāng)前操作環(huán)境中的物理（例如，現(xiàn)實(shí)世界）對(duì)象可能會(huì)互相阻擋（例如，遮擋），從而降低當(dāng)前操作環(huán)境提供的功能。

相比之下，蘋(píng)果專利中的各種實(shí)施方案包括系統(tǒng)、方法和電子設(shè)備，該系統(tǒng)、方法和電子設(shè)備響應(yīng)于檢測(cè)針對(duì)第一ER環(huán)境的第一立體模型視圖表示的第一輸入，將包括在第一立體模型視圖表示中的ER對(duì)象的子集轉(zhuǎn)化為主ER環(huán)境，將其作為主ER世界坐標(biāo)和第一ER世界坐標(biāo)的一個(gè)函數(shù)。

在一些實(shí)施方案中，該方法包括響應(yīng)檢測(cè)到第二輸入而移動(dòng)ER對(duì)象的子集。例如，在一些實(shí)施方案中，該方法包括在家庭ER環(huán)境內(nèi)相對(duì)于物理對(duì)象移動(dòng)ER對(duì)象的子集。因此，消除了物理對(duì)象和 ER 對(duì)象之間的遮擋（例如，障礙物），使得關(guān)于家庭ER環(huán)境的功能集更加豐富。

在某些情況下，設(shè)備可以在操作環(huán)境中顯示內(nèi)容。例如，在傳統(tǒng)的視頻會(huì)議應(yīng)用中，操作環(huán)境對(duì)應(yīng)于一個(gè)共享的通信環(huán)境。該設(shè)備根據(jù)各自記錄的個(gè)人視頻流，顯示與共享通信環(huán)境相關(guān)的遠(yuǎn)程定位的個(gè)人。因此，這些人能夠以圖形化的方式彼此互動(dòng)。該設(shè)備以二維（2D）顯示操作環(huán)境內(nèi)的內(nèi)容，如與視頻會(huì)議相關(guān)的平面2D視頻流。然而，該設(shè)備缺乏一種用于在操作環(huán)境中對(duì)顯示內(nèi)容進(jìn)行三維（3D）操作的機(jī)制。

在某些情況下，設(shè)備可以在操作環(huán)境中顯示內(nèi)容。例如，在傳統(tǒng)的視頻會(huì)議應(yīng)用中，操作環(huán)境對(duì)應(yīng)于一個(gè)共享的通信環(huán)境。該設(shè)備根據(jù)各自記錄的個(gè)人視頻流，顯示與共享通信環(huán)境相關(guān)的遠(yuǎn)程定位的個(gè)人。因此，這些人可以以圖形方式彼此互動(dòng)。該設(shè)備以二維（2D）顯示操作環(huán)境內(nèi)的內(nèi)容，如與視頻會(huì)議相關(guān)的平面2D視頻流。然而，該設(shè)備缺乏一種機(jī)制，以使操作環(huán)境內(nèi)顯示的內(nèi)容能夠進(jìn)行三維（3D）操作。

相比之下，各種實(shí)施方案包括方法、系統(tǒng)和電子設(shè)備，它們能夠根據(jù)用戶的輸入改變多個(gè)顯示的立體模型視圖中的第一個(gè)視圖。多個(gè)立體模型視圖表示對(duì)應(yīng)于多個(gè)增強(qiáng)現(xiàn)實(shí)（ER）環(huán)境。多個(gè)視圖中的每一個(gè)都與各自的ER世界坐標(biāo)集相關(guān)，該坐標(biāo)集描述了各自的ER環(huán)境。

根據(jù)用戶的輸入，電子設(shè)備可以改變多個(gè)立體模型視圖中的第一個(gè)視圖視角，同時(shí)根據(jù)各自的ER世界坐標(biāo)集保持其中ER對(duì)象的先前排列位置。因此，多個(gè)立體模型視圖中的第一個(gè)視圖可以從三維視角進(jìn)行操作，從而實(shí)現(xiàn)與ER環(huán)境有關(guān)的更豐富的功能集。

蘋(píng)果公司專利中的一系列專利圖2J-2N，說(shuō)明了與第一ER環(huán)境相關(guān)的ER會(huì)話的功能。

圖源：patentlyapple

在蘋(píng)果的專利圖2J中，ER會(huì)話使個(gè)人的各自圖形表示能夠同時(shí)在第一ER環(huán)境中存在。例如，ER會(huì)話使化身#236所代表的特定個(gè)人能夠在第一ER環(huán)境內(nèi)。在一些實(shí)施方案中，電子設(shè)備(#203 HMD、iPhone或iPad)能接收加入ER會(huì)話的請(qǐng)求并顯示相應(yīng)的指示。

例如，在一些實(shí)施方案中，該指示對(duì)應(yīng)于ER加入界面#254。此外，如圖所示，電子設(shè)備播放(例如，通過(guò)揚(yáng)聲器)第一組語(yǔ)音數(shù)據(jù)#256，該語(yǔ)音數(shù)據(jù)與ER會(huì)話相關(guān)聯(lián)的特定個(gè)人有關(guān)。如第一組語(yǔ)音數(shù)據(jù)是加入ER會(huì)話的口頭請(qǐng)求，例如 "嘿，Bob。來(lái)加入我的ER環(huán)境，我們可以虛擬地一起看電視。"

作為另一個(gè)例子，第一組語(yǔ)音數(shù)據(jù)可以包括與第一ER環(huán)境相關(guān)的環(huán)境噪音，例如來(lái)自電視#234的噪音。

圖源：patentlyapple

蘋(píng)果公司的專利圖3是根據(jù)一些實(shí)施方案，基于用戶輸入而改變ER環(huán)境立體模型視圖的方法流程圖。在各種實(shí)施方案中，該方法300或其部分是由HMD執(zhí)行的。

該專利深入研究了HMD的注視點(diǎn)和眼動(dòng)追蹤以及手部追蹤。在各種實(shí)施方案中，電子設(shè)備利用手部追蹤數(shù)據(jù)操縱ER環(huán)境立體模型視圖的顯示。例如，在一些實(shí)施方案中，電子設(shè)備會(huì)移動(dòng)立體模型視圖表示，以追蹤用戶手的當(dāng)前位置。

此外，蘋(píng)果公司指出，身體姿勢(shì)傳感器獲得指示用戶頭部或身體位置的身體姿勢(shì)數(shù)據(jù)。在各種實(shí)施方案中，電子設(shè)備會(huì)利用身體姿勢(shì)數(shù)據(jù)操縱ER環(huán)境的立體模型視圖顯示。

例如，身體姿勢(shì)數(shù)據(jù)表明用戶正在側(cè)轉(zhuǎn)頭部，電子設(shè)備可以根據(jù)數(shù)據(jù)相應(yīng)地操縱ER環(huán)境的立體模型視圖。

想了解更多細(xì)節(jié)，可以查閱蘋(píng)果的專利20210311608。

來(lái)源：patentlyapple