編譯/VR陀螺

Facebook的一項(xiàng)新實(shí)驗(yàn)表明，聲音能夠在增強(qiáng)現(xiàn)實(shí)中扮演重要角色。Facebook首席科學(xué)家邁克爾·阿布拉什（Michael Abrash）和他的FRL Research研究小組（以前的Facebook Reality Labs）今天發(fā)布了有關(guān)該小組所謂的“perceptual superpowers（超感知）”的詳細(xì)信息，即能感知用戶想要聽到的聲音的AR系統(tǒng)，然后放大并減弱背景噪音。結(jié)合空間音頻功能，該設(shè)備可以在眼鏡中產(chǎn)生與全息圖重疊的聲音效果。

多年來，F(xiàn)acebook一直在通過其Oculus VR設(shè)備追求高品質(zhì)的虛擬聲音。FRL Research的最新工作集中在AR應(yīng)用程序上。舉一個(gè)例子，該公司解釋說：“想象一下，能夠在擁擠的餐廳或酒吧里進(jìn)行對(duì)話，而不必提高自己的聲音就能讓別人聽到，也不必費(fèi)力去理解別人在說什么。”

AR眼鏡可以通過使用麥克風(fēng)拾取音頻，使用環(huán)境感知線索來評(píng)估哪些聲音很重要，然后將這些聲音通過降噪聽筒來實(shí)現(xiàn)。相反，如果您正在通話或進(jìn)行視頻通話，則改善的空間聲音可以將參與者的聲音或其他音頻投射到房間的特定部分，從而讓用戶增加與其他人真正在一起的感覺。

正如Facebook所承認(rèn)的那樣，實(shí)驗(yàn)室的“超感知”與現(xiàn)有助聽器的功能非常相似，后者還可以放大聲音并降低背景噪音（一個(gè)實(shí)驗(yàn)系統(tǒng)甚至使用大腦植入物專注于特定的聲音）。

但是，AR眼鏡為有或沒有聽力障礙的人們提供了獨(dú)特的機(jī)會(huì)。方向傳感器和對(duì)外攝像頭或眼動(dòng)攝像頭可以收集詳細(xì)的環(huán)境信息，包括用戶的身體朝向和凝視的位置。這有助于聽筒確定“聲學(xué)聚焦點(diǎn)”以進(jìn)行放大。而且AR系統(tǒng)還可以將自己的音景與放大后的音頻混合在一起。

Facebook還可以通過其他AR計(jì)劃對(duì)系統(tǒng)進(jìn)行補(bǔ)充。例如，LiveMaps旨在創(chuàng)建豐富的地圖，其中包含有關(guān)人們周圍環(huán)境的信息。如果LiveMaps檢測(cè)到有人在餐館戴眼鏡，則眼鏡可以執(zhí)行類似的操作，例如自動(dòng)標(biāo)記并取消叮當(dāng)響的餐具的聲音。

Facebook發(fā)布了這款入耳式設(shè)備的原型照片，以及團(tuán)隊(duì)成員佩戴著設(shè)備的圖片，這些耳機(jī)設(shè)備看起來更像Valve的離耳式Index揚(yáng)聲器。 Oculus Quest VR頭顯使用定向揚(yáng)聲器，這是一種方便且適合所有人的解決方案，其可將聲音投射到環(huán)境中，但聲音會(huì)泄漏給旁觀者，而這種入耳式的設(shè)計(jì)可能更適合在公共場(chǎng)所佩戴AR眼鏡時(shí)改變整體聲音水平。

其他公司也嘗試過增強(qiáng)聽覺的功能-最著名的是Bose，它在2018年推出了僅有音頻的AR眼鏡。Bose的眼鏡使用空間傳感器來檢測(cè)佩戴者的目光，并提供虛擬街道游覽等功能。但是，該公司未能使它們?cè)谏虡I(yè)上可行，并于今年6月放棄了該項(xiàng)目。

與往年不同的是，F(xiàn)acebook并沒有舉辦會(huì)議，以在2020年炫耀其實(shí)驗(yàn)性技術(shù)，因此我們還未能親自聽到過這款設(shè)備的聲音。 FRL Research向記者提供了遠(yuǎn)程呼叫音頻過濾系統(tǒng)的演示。而且，任何空間音頻方面的改進(jìn)都將很快應(yīng)用于VR頭戴設(shè)備，包括謠傳的即將在本月Facebook Connect大會(huì)前后推出的Oculus Quest迭代產(chǎn)品。FRL Research音頻主管Ravish Mehra說道：“我們正在做的工作以及我們今天展示出的成果肯定有適用于我們VR??設(shè)備系列的應(yīng)用。”

來源：theverge