微信公眾號
手機端
搜索
編譯/VR陀螺
近期，Meta為Quest頭顯v71系統(tǒng)引入了一個名為“音頻到表情”（Audio to Expression）的SDK，它是一種AI模型，能夠分析用戶的語言和聲音細節(jié)從而更好地驅(qū)動Avatar的面部表情。
早些時候，Meta Avatar聲音驅(qū)動所采用的是Lipsync SDK，它只能使Avatar的嘴唇動起來，表現(xiàn)一般?，F(xiàn)如今，“Audio to Expression”可以進一步模擬還原說話、大笑、咳嗽等表情動作，有效增強化身的感染力。
“Audio to Expression”方案不需要接入面部追蹤系統(tǒng)，此外，它相較于Lipsync SDK的硬件開銷也更少，只需消耗一小部分CPU算力以及內(nèi)存。只不過它目前仍無法描繪眼球運動，因而后續(xù)仍需要引入眼動追蹤。
“Audio to Expression”可以應用到Horizon Worlds、VRChat等VR社交應用當中，從而獲得更加真實的體驗。我們可以基于下圖查看兩套SDK的表現(xiàn)差異。
左為新SDK，圖源：Meta
來源：Mixed
投稿/爆料：tougao@youxituoluo.com
稿件/商務合作： 六六（微信 13138755620）
加入行業(yè)交流群：六六（微信 13138755620）
元宇宙數(shù)字產(chǎn)業(yè)服務平臺
下載「陀螺科技」APP，獲取前沿深度元宇宙訊息
