編譯/VR陀螺

近日，美國專利商標(biāo)局發(fā)布了蘋果的一項專利申請，該專利申請涉及在未來iPhone中使用3D音頻技術(shù)進行立體音視頻錄制。

從總體上看，蘋果公司的專利申請20200137489標(biāo)題為“用于立體聲視頻錄制的空間偏置拾音器”，涵蓋了音頻的立體聲錄制，該錄制有助于實現(xiàn)完整3D聲音的捕獲，換句話說，它能夠重現(xiàn)準(zhǔn)確的聲音場景并給用戶一種身臨其境的感覺。

蘋果公司聲明，可以使用頭部相關(guān)傳輸函數(shù)（HRTF）通過對音頻輸入進行空間渲染來實現(xiàn)完整的3D聲音捕獲，該功能會修改聲音信號，以使聽眾感知到聲音信號源自空間中的任何點。

通過該技術(shù)，完整的虛擬現(xiàn)實應(yīng)用程序可以讓用戶在虛擬環(huán)境中進行視覺和聽覺交互，但在傳統(tǒng)的視頻捕獲應(yīng)用程序中，三維聲音只能使觀看者從屏幕上分散注意力，而單聲道或傳統(tǒng)立體聲錄音可能無法提供足夠的沉浸感。

蘋果的發(fā)明涵蓋了一種用于產(chǎn)生空間偏置的拾音器波束成形功能的方法，該方法將應(yīng)用于視頻記錄的多通道音頻記錄。該方法包括生成目標(biāo)方向性函數(shù)，包括一組與空間偏置的頭部相關(guān)的傳遞函數(shù)。

可以通過基于設(shè)備控制矩陣確定對目標(biāo)方向性函數(shù)的最佳擬合，來生成波束成形系數(shù)的左耳組和右耳組，然后可以輸出波束成形系數(shù)的左耳組和右耳組并將其應(yīng)用于多聲道音頻記錄，以產(chǎn)生更具沉浸感和空間偏向的音頻。

本發(fā)明的另一方面針對一種用于產(chǎn)生目標(biāo)方向性函數(shù)的方法，該方法包括一組空間偏置的HRTF，即選擇一組左耳和右耳相關(guān)的傳遞函數(shù)（HRTF）。

左耳和右耳頭部HRTF乘以相機強調(diào)功能（OCE），以產(chǎn)生空間偏向的HRTF。OCE可以設(shè)計為修改HRTF的聲音輪廓，以在設(shè)備錄制視頻時根據(jù)錄制設(shè)備的方向，在一個或多個所需方向（例如，正好對準(zhǔn)攝像頭的正前方）上提供強調(diào)。

蘋果的專利圖1描繪了使用期間的未來iPhone（多媒體錄制設(shè)備）；圖5示出了未來iPhone的前置攝像頭和后置攝像頭的方向。

更具體地來說專利圖1是一部兼作多媒體記錄設(shè)備＃100的iPhone。 iPhone同時從內(nèi)置的自由場麥克風(fēng)陣列＃133（由幾個單獨的麥克風(fēng)＃107組成）以及其兩個內(nèi)置攝像頭（第一個攝像頭＃103或第二個攝像頭＃106）中的一個進行記錄。

麥克風(fēng)陣列和攝像頭已策略性地放置在iPhone的外殼上。此后，當(dāng)使用多聲道音頻的空間聲音渲染執(zhí)行錄制的音頻視頻播放時，聽眾能夠大致得出聲音的聲源位置，從而享受空間感。

圖1所示，意味著應(yīng)在空間上渲染場景中其他人的聲音以及捕獲的其他環(huán)境聲音（例如汽車或公共汽車）的聲音，但應(yīng)使聽眾能夠?qū)Ｗ⒂谑茉L者的聲音。

蘋果的專利圖圖2是用于輸出空間偏置的波束成形系數(shù)的音頻系統(tǒng)示意圖，該系數(shù)將應(yīng)用于未來iPhone的多通道音頻拾?。粓D3示出了用于產(chǎn)生空間偏置的波束成形系數(shù)的過程的流程圖。

來源：patentlyapple