編譯/VR陀螺
近日,美國(guó)專(zhuān)利商標(biāo)局正式授予蘋(píng)果一項(xiàng)與聽(tīng)覺(jué)化領(lǐng)域有關(guān)的專(zhuān)利。更特別的是,這項(xiàng)專(zhuān)利還涉及到虛擬3D環(huán)境的實(shí)時(shí)聽(tīng)覺(jué)化技術(shù),包括優(yōu)化聲學(xué)射線(xiàn)追蹤過(guò)程。
蘋(píng)果公司在其專(zhuān)利背景中指出,在過(guò)去的幾十年里,虛擬現(xiàn)實(shí)(VR)和增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)已經(jīng)成為各種應(yīng)用的有力工具,例如在科學(xué)、設(shè)計(jì)、醫(yī)學(xué)、游戲和工程領(lǐng)域,以及在更有遠(yuǎn)見(jiàn)的應(yīng)用中,例如創(chuàng)建旨在模擬現(xiàn)實(shí)世界環(huán)境對(duì)應(yīng)的外觀和聲音 "虛擬空間"。
然而,近年來(lái)的大部分創(chuàng)新都集中在創(chuàng)建虛擬視覺(jué)效果上(例如,VR頭顯和電子游戲系統(tǒng)等)。為了增加這種虛擬環(huán)境的沉浸感,使之成為盡可能真實(shí)地進(jìn)行模擬,重要的是要考慮多種感官刺激,而不僅僅是模擬視覺(jué)刺激,還可以模擬聲音刺激,甚至嗅覺(jué)和/或觸摸刺激。
與可視化類(lèi)似,虛擬環(huán)境的"聽(tīng)覺(jué)化"描述了聲音傳播的模擬,其中幾何聲學(xué)(GA)的方法可用于模擬聲波的某些現(xiàn)實(shí)行為。在這種模擬中,可以考慮到三維環(huán)境中的各種聲波反射模型以及聲波混響模型來(lái)生成空間音頻信號(hào)。這種空間音頻可以使用例如數(shù)字音頻工作站(DAW) 等軟件生成,并且可以用于各種應(yīng)用,例如房間規(guī)劃和/或音樂(lè)或建筑聲音模擬。
目前的空間音頻合成軟件通??梢怨芾韺?shí)時(shí)模擬移動(dòng)接收器周?chē)苿?dòng)聲源的計(jì)算負(fù)荷,這些模擬往往是基于靜態(tài)混響的。然而在現(xiàn)實(shí)世界的場(chǎng)景中,聲波和反射性/阻礙性表面之間存在著顯著的相互作用,例如,在進(jìn)入或離開(kāi)房間的時(shí)候會(huì)有不同的聲音效果。此外,當(dāng)用戶(hù)(或虛擬用戶(hù))聽(tīng)著合成的音頻信號(hào)瀏覽真實(shí)世界(或虛擬)環(huán)境時(shí),房間里的各種門(mén)戶(hù)(如門(mén)、窗、屋頂)可能動(dòng)態(tài)地打開(kāi)和/或關(guān)閉。房間建筑或場(chǎng)景構(gòu)成中的每一個(gè)變化都會(huì)對(duì)房間里的聲波在任何給定瞬間的實(shí)時(shí)模擬方式產(chǎn)生重大影響。
現(xiàn)在需要改進(jìn)虛擬三維環(huán)境的實(shí)時(shí)物理精確聽(tīng)覺(jué)化技術(shù)。這包括其中任何(或全部)的環(huán)境:聲源、聲音接收器和虛擬環(huán)境中的幾何/表面可能在聲源被模擬時(shí)產(chǎn)生的動(dòng)態(tài)變化。這樣的技術(shù)也可以應(yīng)用于AR場(chǎng)景,例如,將額外的聲音信息添加到聽(tīng)眾的真實(shí)環(huán)境中,以準(zhǔn)確模擬聽(tīng)眾真實(shí)環(huán)境中不存在的 "虛擬"聲源,以及混合現(xiàn)實(shí)場(chǎng)景、聲音可視化應(yīng)用、房間規(guī)劃和/或3D聲音混合應(yīng)用。
蘋(píng)果公司的授權(quán)專(zhuān)利描述了一些方法,這些方法被配置為在復(fù)雜環(huán)境中產(chǎn)生物理準(zhǔn)確聽(tīng)覺(jué)化的聲音傳播方法,包括重要的波效應(yīng),如吸聲、聲音散射和房間之間的空氣聲隔離。
這種技術(shù)不僅可以支持逼真的聲場(chǎng)渲染,還可以實(shí)時(shí)模擬空間分布、可自由移動(dòng)的聲源和接收器,以及對(duì)環(huán)境本身的修改和操作。
可以利用技術(shù)來(lái)確定更準(zhǔn)確的"聲學(xué)有效"房間容積,特別是對(duì)于某些很難確定房間容積的三維房間模型。這項(xiàng)技術(shù)對(duì)于迂回的空間、孔洞(例如,打開(kāi)的窗戶(hù))甚至是 "半開(kāi)放"的空間(例如,體育場(chǎng))來(lái)說(shuō)尤其有用。許多聲學(xué)方程或算法需要對(duì)房間(如環(huán)境)的體積進(jìn)行準(zhǔn)確的估計(jì)。
具有聲學(xué)效果的房間容積估算技術(shù)可以處理開(kāi)放和半開(kāi)放的空間、打開(kāi)的窗戶(hù)、有無(wú)法到達(dá)的角落的曲折空間,甚至可以檢測(cè)出在非常小的開(kāi)口后應(yīng)該考慮的容積量。這樣一來(lái),在本領(lǐng)域已經(jīng)使用的相同的聲學(xué)方程或算法可以通過(guò)使用本文描述的聲學(xué)有效房間容積估算技術(shù)(相對(duì)于簡(jiǎn)單的三維模型容積計(jì)算)而得到顯著的改善。
使用聲學(xué)有效房間容積估算技術(shù)將使這些聲學(xué)方程更加準(zhǔn)確,此外,可以利用技術(shù)來(lái)優(yōu)化聲學(xué)射線(xiàn)追蹤。在圖形/光學(xué)領(lǐng)域已經(jīng)存在快速和優(yōu)化的射線(xiàn)追蹤算法,但對(duì)聲學(xué)來(lái)說(shuō)要么缺乏性能,要么缺乏物理精度。因此,通過(guò)考慮聲學(xué)波的傳播和人類(lèi)聽(tīng)眾的心理聲學(xué)特征,本文所述的改進(jìn)射線(xiàn)追蹤過(guò)程適應(yīng)于聲音(而不是光)傳播的問(wèn)題。改進(jìn)后的射線(xiàn)追蹤器提高了對(duì)聲學(xué)目的的適用性,同時(shí)也提升了性能。
蘋(píng)果公司的專(zhuān)利圖1顯示了一個(gè)示例性的聲學(xué)房間模型和房間模型的相應(yīng)規(guī)范;圖2是一個(gè)流程圖,說(shuō)明了一種估算聲學(xué)有效房間容積的方法。
圖源:patentlyapple
蘋(píng)果公司的專(zhuān)利圖6是一個(gè)虛擬三維環(huán)境的房間聲學(xué)示范性可視化。各種射線(xiàn)路徑代表了從源頭(例如,在房間里的第602號(hào)位置)發(fā)出的反射路徑,這些反射路徑在檢測(cè)器(例如,在房間里的第604號(hào)位置)被接收。
圖源:patentlyapple
欲了解更多細(xì)節(jié),請(qǐng)查閱蘋(píng)果公司的授權(quán)專(zhuān)利11,197,119。
來(lái)源:patentlyapple
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息
上一篇: 蘋(píng)果觸覺(jué)反饋手套專(zhuān)利曝光,可搭配Mac及頭顯設(shè)備體驗(yàn)VR游戲
下一篇: MyndVR收購(gòu)VR治療公司Immersive Cure,其創(chuàng)始人將擔(dān)任市場(chǎng)開(kāi)發(fā)副總裁