編譯/VR陀螺
近日,美國(guó)專利商標(biāo)局發(fā)布了蘋果的一項(xiàng)專利申請(qǐng),該專利申請(qǐng)涉及在未來(lái)iPhone中使用3D音頻技術(shù)進(jìn)行立體音視頻錄制。
從總體上看,蘋果公司的專利申請(qǐng)20200137489標(biāo)題為“用于立體聲視頻錄制的空間偏置拾音器”,涵蓋了音頻的立體聲錄制,該錄制有助于實(shí)現(xiàn)完整3D聲音的捕獲,換句話說(shuō),它能夠重現(xiàn)準(zhǔn)確的聲音場(chǎng)景并給用戶一種身臨其境的感覺。
蘋果公司聲明,可以使用頭部相關(guān)傳輸函數(shù)(HRTF)通過(guò)對(duì)音頻輸入進(jìn)行空間渲染來(lái)實(shí)現(xiàn)完整的3D聲音捕獲,該功能會(huì)修改聲音信號(hào),以使聽眾感知到聲音信號(hào)源自空間中的任何點(diǎn)。
通過(guò)該技術(shù),完整的虛擬現(xiàn)實(shí)應(yīng)用程序可以讓用戶在虛擬環(huán)境中進(jìn)行視覺和聽覺交互,但在傳統(tǒng)的視頻捕獲應(yīng)用程序中,三維聲音只能使觀看者從屏幕上分散注意力,而單聲道或傳統(tǒng)立體聲錄音可能無(wú)法提供足夠的沉浸感。
蘋果的發(fā)明涵蓋了一種用于產(chǎn)生空間偏置的拾音器波束成形功能的方法,該方法將應(yīng)用于視頻記錄的多通道音頻記錄。該方法包括生成目標(biāo)方向性函數(shù),包括一組與空間偏置的頭部相關(guān)的傳遞函數(shù)。
可以通過(guò)基于設(shè)備控制矩陣確定對(duì)目標(biāo)方向性函數(shù)的最佳擬合,來(lái)生成波束成形系數(shù)的左耳組和右耳組,然后可以輸出波束成形系數(shù)的左耳組和右耳組并將其應(yīng)用于多聲道音頻記錄,以產(chǎn)生更具沉浸感和空間偏向的音頻。
本發(fā)明的另一方面針對(duì)一種用于產(chǎn)生目標(biāo)方向性函數(shù)的方法,該方法包括一組空間偏置的HRTF,即選擇一組左耳和右耳相關(guān)的傳遞函數(shù)(HRTF)。
左耳和右耳頭部HRTF乘以相機(jī)強(qiáng)調(diào)功能(OCE),以產(chǎn)生空間偏向的HRTF。OCE可以設(shè)計(jì)為修改HRTF的聲音輪廓,以在設(shè)備錄制視頻時(shí)根據(jù)錄制設(shè)備的方向,在一個(gè)或多個(gè)所需方向(例如,正好對(duì)準(zhǔn)攝像頭的正前方)上提供強(qiáng)調(diào)。
蘋果的專利圖1描繪了使用期間的未來(lái)iPhone(多媒體錄制設(shè)備);圖5示出了未來(lái)iPhone的前置攝像頭和后置攝像頭的方向。
更具體地來(lái)說(shuō)專利圖1是一部兼作多媒體記錄設(shè)備#100的iPhone。 iPhone同時(shí)從內(nèi)置的自由場(chǎng)麥克風(fēng)陣列#133(由幾個(gè)單獨(dú)的麥克風(fēng)#107組成)以及其兩個(gè)內(nèi)置攝像頭(第一個(gè)攝像頭#103或第二個(gè)攝像頭#106)中的一個(gè)進(jìn)行記錄。
麥克風(fēng)陣列和攝像頭已策略性地放置在iPhone的外殼上。此后,當(dāng)使用多聲道音頻的空間聲音渲染執(zhí)行錄制的音頻視頻播放時(shí),聽眾能夠大致得出聲音的聲源位置,從而享受空間感。
圖1所示,意味著應(yīng)在空間上渲染場(chǎng)景中其他人的聲音以及捕獲的其他環(huán)境聲音(例如汽車或公共汽車)的聲音,但應(yīng)使聽眾能夠?qū)W⒂谑茉L者的聲音。
蘋果的專利圖圖2是用于輸出空間偏置的波束成形系數(shù)的音頻系統(tǒng)示意圖,該系數(shù)將應(yīng)用于未來(lái)iPhone的多通道音頻拾?。粓D3示出了用于產(chǎn)生空間偏置的波束成形系數(shù)的過(guò)程的流程圖。
來(lái)源:patentlyapple
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息