發(fā)布時(shí)間:2017-08-17 11:18 | 標(biāo)簽:
迪士尼 VR社交
微信掃一掃:分享
微信里點(diǎn)“發(fā)現(xiàn)”,掃一下
二維碼便可將本文分享至朋友圈
編譯/VR陀螺 云吞
一份由迪士尼和多所大學(xué)研究人員聯(lián)合發(fā)布的研究表明,一種基于深度學(xué)習(xí)的新的系統(tǒng)能夠更好的處理動(dòng)畫角色在說話時(shí)的嘴部動(dòng)作。這個(gè)系統(tǒng)能夠?qū)崟r(shí)捕捉人類說話的聲音的動(dòng)作,然后在生成的動(dòng)畫中同步自動(dòng)展示。這一系統(tǒng)能夠應(yīng)用在多個(gè)領(lǐng)域,包括讓社交VR的虛擬形象更加真實(shí)、富有交互感。
這份名為《A Deep Learning Approach for Generalized Speech Animation》的研究報(bào)告由迪士尼研究所、加拿大東加利福尼亞理工大學(xué)和卡內(nèi)基梅隆大學(xué)的研究人員發(fā)表,描述了一種已經(jīng)用“深度學(xué)習(xí)/神經(jīng)網(wǎng)絡(luò)”方法訓(xùn)練的系統(tǒng),通過單個(gè)揚(yáng)聲器8小時(shí)的參考畫面(2543句),教導(dǎo)系統(tǒng)根據(jù)不同的語音單元(稱為音素)配合生成不同嘴型及其組合。
這一訓(xùn)練系統(tǒng)之后還可以被用來分析任何說話者的音頻,并且自動(dòng)生成嘴部的形狀,然后應(yīng)用到動(dòng)畫中。
創(chuàng)建與CGI字符的音頻記錄相匹配的語音動(dòng)畫通常由熟練的動(dòng)畫師手工完成。 雖然這個(gè)系統(tǒng)不能滿足主要CGI制作的高保真語音動(dòng)畫,但它肯定可以用作這樣的制作中的自動(dòng)化首播,或者用于在可能的地方添加可傳遞的語音動(dòng)畫,比如在大型RPG游戲中的NPC對(duì)話上,以及那些沒有預(yù)算聘請(qǐng)動(dòng)畫師的項(xiàng)目。
在VR中,系統(tǒng)可以用于通過在用戶說話時(shí)實(shí)時(shí)化地實(shí)現(xiàn)虛擬形象的嘴部運(yùn)動(dòng),使社交VR形象更逼真。 真正的嘴部跟蹤(光學(xué)等)是用于虛擬形象的語音的最準(zhǔn)確的方法,但是在口部跟蹤硬件變得普遍之前,像這樣的程序語音動(dòng)畫系統(tǒng)可以成為權(quán)宜之計(jì)。
關(guān)注微信公眾號(hào):VR陀螺(vrtuoluo),定時(shí)推送,VR/AR行業(yè)干貨分享、爆料揭秘、互動(dòng)精彩多。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)