編譯/VR陀螺

谷歌研究團(tuán)隊(duì)認(rèn)為視頻會(huì)議系統(tǒng)通常用于個(gè)人和專業(yè)場(chǎng)合，在2D屏幕上進(jìn)行交流，缺乏面對(duì)面交流的流暢性，原因在于缺少了重要的空間視覺(jué)提示，如眼神交流。新的研究名為“ChatDirector”，它通過(guò)在空間感知視頻會(huì)議環(huán)境中為所有與會(huì)者提供語(yǔ)音驅(qū)動(dòng)的視覺(jué)輔助，增強(qiáng)了傳統(tǒng)的基于2D屏幕的視頻會(huì)議體驗(yàn)。

圖源：谷歌

該研究團(tuán)隊(duì)開(kāi)發(fā)了一種空間感知視頻會(huì)議環(huán)境，可在3D會(huì)議環(huán)境中顯示遠(yuǎn)程與會(huì)者的3D人像。在每個(gè)本地用戶的設(shè)備上，ChatDirector流式輸出（1）音頻輸入以及由Web Speech API識(shí)別的語(yǔ)音文本；（2）RGB圖像以及由U-Net神經(jīng)網(wǎng)絡(luò)推斷的深度圖像。

同時(shí)，接收每個(gè)遠(yuǎn)程用戶的數(shù)據(jù)，重建3D人像并顯示在本地用戶的屏幕上。為了實(shí)現(xiàn)視覺(jué)視差效果，會(huì)根據(jù)MediaPipe人臉檢測(cè)技術(shù)檢測(cè)到的本地用戶頭部移動(dòng)來(lái)調(diào)整虛擬渲染攝像頭。

來(lái)源：谷歌