編譯/VR陀螺
今天,美國專利商標局正式授予蘋果公司一項與聽覺化領域有關的專利。更特別的是,它涉及到虛擬3D環(huán)境的實時聽覺化技術。AR/VR環(huán)境的大多數(shù)創(chuàng)新都是以游戲的虛擬3D環(huán)境為中心,而蘋果公司的專利涵蓋了虛擬環(huán)境的 "聽覺化",描述了聲音在外殼內傳播的模擬,其中幾何聲學(GA)的方法可用于模仿合成聲波的某些現(xiàn)實行為帶來的聽覺刺激。從這項專利中可以看出,蘋果正在努力將空間音頻推進到新的層面。
蘋果公司在其專利背景中指出,在過去的幾十年里,虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR)技術已經成為各種應用的有力工具,例如在科學、設計、醫(yī)學、游戲和工程領域,以及更有遠見的應用,如創(chuàng)建旨在模擬真實世界環(huán)境外觀和聲音的“虛擬空間”。
然而,近年來的大部分創(chuàng)新都集中在創(chuàng)建虛擬視覺效果上(例如,VR頭顯和游戲系統(tǒng)等)。為了增加這種虛擬環(huán)境的沉浸感,使之盡可能以更真實的效果模擬,重要的是要考慮多種感官刺激,而不僅僅是模擬視覺刺激,例如,模擬聲音刺激,甚至嗅覺和/或觸摸刺激。
與可視化類似,虛擬環(huán)境的所謂 "聽覺化 "描述了聲音在圍墻內傳播的模擬,其中幾何聲學(GA)的方法可用于模仿合成聲波的某些現(xiàn)實行為帶來的聽覺刺激。
在這種模擬中,可以生成空間音頻信號,其考慮到了三維環(huán)境中的各種聲波反射模型,以及聲波混響模型。這種空間音頻可以例如使用數(shù)字音頻工作站(DAW)軟件等生成,并可用于各種應用,如房間規(guī)劃和/或音樂及建筑聲音模擬。
目前的空間音頻合成軟件通??梢怨芾韺崟r模擬移動接收器周圍的移動聲源的計算負荷,然而,這些模擬往往是基于靜態(tài)混響的。在現(xiàn)實世界的場景中,聲波和反射性/阻礙性表面之間存在著顯著的相互作用,例如,在進入或離開房間的時候會出現(xiàn)變化。此外,當用戶(或虛擬用戶)聽著合成的音頻信號瀏覽真實世界(或虛擬)環(huán)境時,房間里的各種門戶(如門、窗、屋頂)可能動態(tài)地打開和/或關閉。房間的建筑或場景構成中的每一個變化都會對房間里的聲波在任何給定瞬間的實時模擬方式產生重大影響。
這樣一來,就需要改進虛擬三維環(huán)境的實時物理精確聽覺化技術。這包括其中任何(或全部)的環(huán)境:聲源、聲音接收器和虛擬環(huán)境中的幾何/表面可能在聲源被模擬時產生的動態(tài)變化。這種技術也可應用于增強現(xiàn)實(AR)場景,例如,將額外的聲音信息添加到聽眾的現(xiàn)實環(huán)境中,以準確模擬聽眾現(xiàn)實環(huán)境中不存在的 "虛擬"聲源對象。
蘋果公司的專利涵蓋了可用于確定更準確的,例如"聲學有效"房間容積的技術。特別是對于某些三維房間模型,很難確定房間容積。這對于迂回的空間、孔洞(例如,打開的窗戶)甚至是 "半開放 "的空間(例如,體育場)來說尤其如此。
許多聲學方程或算法需要對房間(例如環(huán)境)的體積進行準確的估計。這里披露的具有聲學效果的房間容積估計技術可以處理開放和半開放的空間、開放的窗戶、有無法到達的角落的迂回空間,甚至可以檢測出在非常小的開口后面應該考慮的容積量。
因此,本領域已經使用的相同的聲學方程或算法可以通過使用本文所述的聲學有效房間容積估計技術(相對于簡單的三維模型容積計算)而得到顯著的改善。使用這項技術將使這些聲學方程更加準確,對錯誤更加穩(wěn)健,例如,由于有缺陷或未定義的三維房間/環(huán)境模型。
根據(jù)其他實施方案,可以利用技術來執(zhí)行優(yōu)化的聲射線追蹤。在圖形/光學領域已經存在快速和優(yōu)化的射線追蹤算法,但目前的聲學適應要么缺乏性能,要么缺乏物理精度。因此,通過考慮聲學波的傳播和人類聽眾的心理聲學特征,所述的改進射線追蹤過程能夠適應于聲音傳播的問題。改進后的射線追蹤器提高了對聲學目的的適用性,同時也提升了性能。
根據(jù)其他的實施方案,可以利用技術將模擬的射線追蹤結果轉化為自然聲的混響,以更準確地說明物理規(guī)律。
現(xiàn)有技術中的許多聲學模擬算法只是將反彈射線的路徑直接轉化為模擬的房間反射。然而在這種模擬中,一條射線不能代表一個反射。相反,射線的數(shù)量在模擬開始時被任意設定,并隨著時間的推移保持不變,而房間反射的數(shù)量則由房間的幾何形狀(而不是射線的數(shù)量)定義,并隨著時間的推移呈指數(shù)增長。
相比之下,所述的改進技術定義了一種轉換,用于在射線追蹤過程中得出空間-時間-頻率能量概率密度函數(shù)(PDF),更準確地說明物理定律,然后將該數(shù)據(jù)轉換為空間脈沖響應(SIR)函數(shù),然后可用于現(xiàn)實的3D音頻再現(xiàn),例如,通過耳機或揚聲器。
圖源:patentlyapple
蘋果公司的專利圖1說明了一個示范性的聲學房間模型的相應規(guī)范;圖6是一個虛擬3D環(huán)境的房間聲學的示范性可視化。
圖源:patentlyapple
蘋果公司的專利圖9提出了一個流程圖,說明了執(zhí)行改進的空間脈沖響應(SIR)生成算法的另一種方法。
欲了解更多細節(jié),請查閱蘋果公司的授權專利11,170,139。
投稿/爆料:tougao@youxituoluo.com
稿件/商務合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產業(yè)服務平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息