文/VR陀螺 WiZ

“現(xiàn)在短視頻平臺上好像都是虛擬人了。”

不知道從什么時候開始，短劇、直播間中的AI虛擬人比例開始上升了。去年8月，優(yōu)酷上線獨播劇《異人之下》，阿里大文娛數(shù)字人“厘里”在劇中扮演“二壯”一角，引發(fā)熱議。

圖源：優(yōu)酷

以“二壯”為代表的AI演員的火熱刮起了“人人都想做虛擬人”的旋風(fēng)，一時間，各行各業(yè)都想著靠虛擬人裝點臉面。只不過，個人想要打造虛擬人IP并不容易。

數(shù)據(jù)顯示，虛擬人視頻制作成本并不低。以抖音美妝達(dá)人“柳夜熙”為例，其制作企業(yè)創(chuàng)壹科技CEO梁子康曾透露，柳夜熙僅制作投入就在百萬元級別。“超寫實虛擬人視頻每秒的成本都在萬元區(qū)間。第一條柳夜熙短視頻成本就要幾十萬元。”價格并不親民。而市場上大部分的超寫實數(shù)字人的成本至少也要到30萬元左右。

在虛擬人直播、短視頻需求高漲的當(dāng)下，如何降低制作成本？2024年5月10日，VR陀螺受邀參加“魔琺科技Xmov Studio開放日”，這家在3D虛擬人領(lǐng)域深耕多年的公司，不僅形成了一套專業(yè)的虛擬人制作工業(yè)化流程，同時基于以往的積累，構(gòu)建了3D虛擬人視頻AIGC平臺——魔琺有言，讓超寫實虛擬人短視頻制作幾乎降到0成本。

圖源：魔琺有言

 每月可制作200個虛擬人！魔琺科技搭建工業(yè)化流程 

在“魔琺科技Xmov Studio開放日”上，我們體驗了魔琺有言3D虛擬人的制作全流程。

從角色建模、表面渲染、動捕綁定、腳本制作、聲音交互、鏡頭動畫再到3D場景，3D內(nèi)容制作的所有環(huán)節(jié)都圍繞著“3D虛擬人直播”這一場景展開，最終的實際感受可以總結(jié)為一點：專業(yè)的人在干專業(yè)的事。

1、角色掃描、貼圖建模

打造一個靜態(tài)的3D虛擬人形象，是3D虛擬人從無到有的第一步。

這一階段也被稱為模型階段。魔琺科技使用了2個攝影棚，超過120臺高清攝像機(jī)完成從真實人體到3D模型的復(fù)制。

在人體掃描階段，通過360°相機(jī)矩陣1秒獲取人物80張多角度的照片，混合調(diào)整后就可以在20分鐘內(nèi)快速生成人像灰模。

而后的貼圖掃描階段，在無光環(huán)境30臺高清攝像機(jī)的實時配合下，人物的皮膚肌理細(xì)節(jié)被掃描還原，包括雀斑、細(xì)紋等皮膚瑕疵都被力求精準(zhǔn)重現(xiàn)，為的就是讓最后的3D虛擬人形象更貼近真人。

值得注意的是，在最后的成品展示中，3D虛擬人形象不同于傳統(tǒng)游戲3D建模，睫毛、發(fā)絲等人體毛發(fā)組織都清晰可見，而對于頭發(fā)的還原正是在貼圖過程完成（在人體掃描階段應(yīng)帶頭套排除頭發(fā)干擾，本次體驗只為還原臉部建模效果和速度，故灰模中的發(fā)絲并非最終效果）。

最后，將貼圖掃描得到的皮膚材質(zhì)貼合到人像灰模，就能得到最終的3D虛擬人形象。在魔琺科技的展示中，超寫實虛擬人被用在時尚購物環(huán)境中。人物服飾同樣能通過掃描獲得，服裝材質(zhì)用料甚至是縫制針孔都清晰可見，用戶不僅能隨時更換虛擬人著裝，同時還能更換發(fā)型、發(fā)色、配飾等，足不出戶完成服裝搭配。

發(fā)絲、皮膚紋理、服裝材質(zhì)都清晰可見

2、動作捕捉、綁定渲染

靜態(tài)3D虛擬人的下一步是“注入生命”。通過動作捕捉技術(shù)將靈動的人物姿態(tài)映射到模型上，再通過渲染技術(shù)將3D模型轉(zhuǎn)換成2D圖像，并最終呈現(xiàn)在屏幕上。

通過場地以及動捕演員身上穿著的攝像傳感裝置，魔琺科技可以捕捉到人體的任何一個精細(xì)動作。而通過實時渲染、表情捕捉技術(shù)，在采集到動捕演員身上的點控信息后，便可以用空間定位技術(shù)重建演員骨骼、求解表情特征點，并完成3D形象的實時渲染。

在AI的全程介入下，渲染速度得以成倍提高，虛擬人直播可以做到實時驅(qū)動，同時還支持真人互動，綠幕下的真人主播可以與虛擬人主播互動，增強(qiáng)直播效果。

而在對虛擬人專業(yè)要求偏低的C端場景，也可以選擇魔琺有言內(nèi)置的素材、動作庫。作為專業(yè)的AIGC生成平臺，有言可以由AI根據(jù)需求自動匹配、生成專業(yè)動作，達(dá)到四兩撥千斤的效果。

建模、動捕、渲染步驟完成后，一個完整的3D虛擬人就已基本完成構(gòu)建。

最后再通過專業(yè)的場景技術(shù)生成舞臺、燈光、道具、特效等3D虛擬環(huán)境元素，并配合鏡頭layout，專業(yè)、繁瑣的3D虛擬人直播、視頻制作被流程化。

據(jù)魔琺科技介紹，以上提到的PGC內(nèi)容設(shè)備構(gòu)成了一套完整的高標(biāo)準(zhǔn)建模流程，并最終集成到AIGC全鏈，公司已實現(xiàn)了從PGC到AIGC的跨越，打造出了3D虛擬人和全棧AIGC成熟產(chǎn)線。

因此，在如今3D虛擬人需求已經(jīng)從專業(yè)的B端用戶拓展至C端，個人需求暴增的情況下，高端3D虛擬人已不再是PGC專屬，普通人不用經(jīng)歷繁復(fù)的模型生產(chǎn)流程就可以直接在有言等AIGC產(chǎn)品中體驗PGC質(zhì)量的3D內(nèi)容。

 視頻制作成本幾乎為0，魔琺有言用AIGC形式創(chuàng)作PGC內(nèi)容 

目前，有言的產(chǎn)品方向瞄準(zhǔn)了市場需求更多的3D虛擬人短視頻制作領(lǐng)域，雖然官方也有透露不久后將上線“3D虛擬人AIGC功能”，僅需要上傳一張照片就能直接生成自己的可編輯3D虛擬人，但通過我們的實際體驗，在補(bǔ)足AIGC虛擬人生成功能之前，有言的視頻生成功能就已十分出色。

通過AI 驅(qū)動3D虛擬人，有言在生成直播短視頻方向上已經(jīng)形成了一套成熟的體系。

為了能讓C端用戶也能高效低成本生產(chǎn)虛擬人視頻，魔琺科技推出了3D虛擬人視頻AIGC平臺“有言”，免去真人出鏡和實景拍攝的麻煩，一鍵生成3D視頻。

“就像把魔琺科技超百平的攝影棚搬回了家。”

動捕攝影棚

在內(nèi)容方向上，魔琺有言將自身定位為短視頻生成平臺，以貼合時下的社交媒體短視頻趨勢。

過去，3D內(nèi)容多以長視頻形式出現(xiàn)，3D動畫、3D電影動輒40分鐘起步，背后則是一整個PGC制作團(tuán)隊。

如今，微信視頻號、抖音、快手等視頻媒體社交平臺的出現(xiàn)推動了短視頻生態(tài)的繁榮，一段幾分鐘甚至數(shù)十秒時間的影像就可以成為一個完整的表述單位，承擔(dān)起信息傳遞、商品展示的重?fù)?dān)。

而隨著像魔琺有言這樣主打UGC的3D內(nèi)容制作平臺的出現(xiàn)，3D內(nèi)容的生產(chǎn)不再總是依賴于專業(yè)的特效制作團(tuán)隊，僅需通過生成內(nèi)容、編輯鏡頭、視頻包裝三步操作，即可打造一個高質(zhì)量的3D視頻。

對于用戶來說，短視頻、魔琺有言其實都有一個共同點：制作成本、上手門檻低。

以往在需要虛擬人出鏡的3D動畫、3D電影制作時，整個制作流程都需要動畫師使用專業(yè)動畫制作軟件，通過手工操作角色模型上的數(shù)百個動作節(jié)點控制角色行動，完成動畫錄制。

“在當(dāng)前市場上，制作一個高質(zhì)量高標(biāo)準(zhǔn)的超寫實虛擬人需要3-5個月的工作量，且只有行業(yè)前１%的專業(yè)人員可以完成，每個3D虛擬人的成本在30-60萬左右。”

這還只是制作虛擬人的成本，如果加上3D動畫制作，根據(jù)粗略估計，一個中級動畫師1天大約只可以制作2-3秒的動畫，這極大拉長了動輒一小時起步的3D動畫電影的制作節(jié)奏。

而即便是效率更高、效果更好的表演動畫，對于普通用戶來說也并非壓縮成本的最佳選擇，同時仍舊存在一定上手門檻，不利于C端創(chuàng)作。

因此，在C端創(chuàng)建虛擬人動畫、視頻的抓手最后還是回到了AIGC。

基于自研的全球首個商業(yè)場景文生動作大模型，以及幾百小時的高質(zhì)量的三維動畫數(shù)據(jù)的積累，魔琺有言的AIGC三維動畫生成的結(jié)果已經(jīng)非常接近于真人表現(xiàn)。

圖源：魔琺有言

高質(zhì)量的3D特效制作成本中很大一部分占比在于渲染，這是整個過程中對算力需求較高的環(huán)節(jié)，剛需高性能顯卡，而即便使用傳統(tǒng)的云渲染產(chǎn)品，整個流程的成本費(fèi)用也會在萬元以上。僅僅只是3D場景的制作，從創(chuàng)意設(shè)計到最終效果呈現(xiàn)，市場報價就在數(shù)十萬元左右，這還不算以月為單位計的制作時間成本。

那么有言呢？通過自研的AI渲染方案，有言將3D渲染的速度提升到了分鐘級。“無論是B端用戶還是C端用戶，一分鐘4K級視頻現(xiàn)在的渲染等待時間只需要十分鐘，對應(yīng)的成本只需要幾塊錢。”

而在解決完畫面建模的成本難題后，完成一個完整的3D虛擬人視頻還需要以文字腳本和聲音內(nèi)容作為視頻的骨骼串通全局。作為一站式AIGC視頻生成平臺，魔琺有言自然也內(nèi)置了腳本創(chuàng)作和聲音生成功能。

打開魔琺有言，只需要在腳本生成框中輸入一個idea，就能快速生成全篇文案，若用戶對于自身輸入的提示內(nèi)容不滿意，還可以通過AI優(yōu)化功能，讓AI幫你寫提示詞。

一鍵腳本生成（來源：魔琺有言）

而在電商領(lǐng)域，前面提到，一場完整的虛擬人直播需要虛擬人對直播間信息做出反應(yīng)，對于由動捕技術(shù)驅(qū)動的直播來說，只需要動捕演員就能完成，而對于完全由AI驅(qū)動的直播來說，AIGC文本、聲音生成技術(shù)是完成這一必要條件的竅門。

在直播場景下，AI文字生成技術(shù)可用在彈幕回復(fù)粉絲提問上，當(dāng)然，使用場景更多的口播交互則需要聲音生成技術(shù)完成。

利用魔琺科技自研的深度學(xué)習(xí)TTS算法，用戶只需要輸入文本，就可以實時生成高自然度、高質(zhì)量、可編輯的語音，生成的語音幾乎與真人無異，在場景化表現(xiàn)、節(jié)奏感、音質(zhì)等方面都表現(xiàn)出色。

在今年7月，魔琺科技還將推出定制IP人物音色的功能，屆時用戶只需要提供時長在10-20秒的音頻，就可以生成高自然度的專屬音色。

值得注意的是，魔琺有言生成過程中的AI腳本、3D生成、鏡頭優(yōu)化等功能都需要消耗“言幣”，實際體驗下來，算上修改、預(yù)覽等操作，體驗版本600言幣福利剛好能覆蓋2-3個短視頻的制作流程。而對于視頻制作頻率更高的用戶，也可以購買個人版，以解鎖更多AIGC創(chuàng)作權(quán)益。

圖源：魔琺有言

目前，魔琺有言已經(jīng)廣泛應(yīng)用于培訓(xùn)、電商、金融、快消、廣電等各行各業(yè)。在直播領(lǐng)域，魔琺有言不僅能定制虛擬主播形象，也能定制包括大舞臺、小舞臺、演播室、室內(nèi)空間、戶外空間在內(nèi)的多種表演場地方案場景設(shè)計。

不久后，用戶無需自己設(shè)計，只要上傳品牌素材，就能體驗超過500種不同風(fēng)格的3D場景，實現(xiàn)個性化、差異化的創(chuàng)意場景定制，高質(zhì)量的商用3D資產(chǎn)制作也將任由C端用戶自由使用。

 AIGC內(nèi)容結(jié)合VR/AR技術(shù)，人人都能抓住的時代紅利 

在開放日即將結(jié)束的時候，魔琺科技用蘋果Vision Pro為我們打開了3D虛擬人應(yīng)用的新場景。

在Vision Pro中，與虛擬人的面對面交互由屏幕過渡到空間，我們與虛擬人的“隔閡”消失了，取而代之的是可以手貼手互動的虛擬朋友以及360°全景3D空間。

在Vision Pro中觀看數(shù)字人展示場景

“蘋果Vision Pro推出后，我們發(fā)現(xiàn)有不少B端客戶都有在Vision Pro展示虛擬人形象的需求，在虛擬空間中與虛擬人交互的體驗是平面屏幕完全無法比擬的，Vision Pro帶來的現(xiàn)實感太過強(qiáng)烈。”

魔琺科技CEO柴教授認(rèn)為，在VR/AR有足夠的能力去成為下一代的計算平臺的情況下，對于3D內(nèi)容的需求將會更多。每一個計算品類都需要相應(yīng)的內(nèi)容去填充應(yīng)用生態(tài)。

而現(xiàn)在，3D內(nèi)容正是Vision Pro急需填充的板塊。

在Vision Pro上，用戶可以通過前置攝像頭掃描面部信息，并基于機(jī)器學(xué)習(xí)技術(shù)和編碼神經(jīng)網(wǎng)絡(luò)生成Persona數(shù)字分身。當(dāng)用戶使用FaceTime通話時，數(shù)字分身還可以模仿用戶的面部表情及手部動作。

圖源：蘋果

這個數(shù)字分身功能就相當(dāng)于VisionPro自帶的虛擬人形象，只不是蘋果給數(shù)字分身的“限制”過多。

在最初版的Persona功能中，數(shù)字分身被局限于一個方形的浮動框內(nèi)，與手機(jī)屏幕視頻對話無異。

而后，在visionOS 1.1版本中，蘋果激活了Spatial Personas功能，數(shù)字分身開始向空間角色概念過渡，Spatial Personas去除了原先虛擬人外圍的浮動框，進(jìn)一步提升了空間感。

圖源：蘋果

但僅從實際效果來看，空間感提升的同時靈異感也在增加，新的數(shù)字形象卸下了了浮動框卻沒有擺脫隱形的束縛，它不僅沒有手臂、腿和腳，同時對于人體的“建模”也局限在正面，這使得數(shù)字形象更像是漂浮在空間中的幽靈，隨隨便便轉(zhuǎn)個身都能直接導(dǎo)致邊緣虛化。

這也導(dǎo)致數(shù)字形象真實感下降，同時形象被固定、無法編輯，這樣的虛擬人似乎只能用在會議場景。

蘋果為何要選擇將空間角色塑造成這種形式？在對Spatial Personas的諸多討論中，有一個觀點得到了廣泛認(rèn)可：對于一個虛擬形象來說，當(dāng)你賦予它越多的真實性，那么人類大腦對其真實性的要求就越高。

這也說明了超寫實虛擬人的制作難度之大。“對于卡通人物，大腦并不會在意它有多少根手指，但面對超寫實人類，大腦甚至都會注意皮膚上的光線反射細(xì)節(jié)。”

圖源：魔琺科技

蘋果選擇用討巧的方法降低數(shù)字人生成的真實感，這放在社交場景可以理解為“讓用戶時刻清楚自己身在MR空間中”，但放在需要諸如VR購物、VR文旅等需要清楚展示模型的場景是，不真實的人物細(xì)節(jié)會剝奪頭顯創(chuàng)造出的沉浸感。

不久前，國內(nèi)電商門戶淘寶宣布將推出適用于Vision Pro的購物原生應(yīng)用。只要商家所售賣的商品有制作3D建模，用戶就可以將其放置在自己所處的現(xiàn)實環(huán)境中的任意平面上，不僅可以1:1顯示商品尺寸，還可以自由翻轉(zhuǎn)從不同角度觀察商品的細(xì)節(jié)。

圖源：網(wǎng)絡(luò)

雖然淘寶Vision Pro版目前只能展示商品的3D建模，但在Vision Pro應(yīng)用、功能匱乏的當(dāng)下，電商平臺們的適配應(yīng)用基本還是延續(xù)了手機(jī)時代的設(shè)計思路，大家都在摸著手機(jī)、PC的經(jīng)驗過河，現(xiàn)在大火的AI數(shù)字人直播大概率也會被搬上Vision Pro這一新的帶貨舞臺。

還可以加入VR購物前的試衣環(huán)節(jié)

VR/AR作為新的計算終端，與手機(jī)、PC對比其核心差異在于信息呈現(xiàn)方式、交互方式發(fā)生了巨大變化，尤其是3D內(nèi)容在這些終端中的表達(dá)達(dá)到了極致。

細(xì)化到虛擬人領(lǐng)域，未來3D虛擬人或?qū)⑷嫒〈?D數(shù)字人，成為電商直播的主力，畢竟在Vision Pro空間中，2D數(shù)字人的表現(xiàn)相比初版的Persona數(shù)字分身差不了多少，誰又愿意在空間中還要盯著一塊“屏幕”呢？

此外，3D虛擬人的火熱也不只是在電商領(lǐng)域，在所有需要品牌營銷的地方，3D虛擬人都是出圈的存在。從游戲角色到企業(yè)數(shù)字員工、產(chǎn)品代言人，各行各業(yè)幾乎都有說的上名號的數(shù)字形象，可以說，3D虛擬人的繁榮是由市場、3D廠商、用戶聯(lián)手打造的。

火山語音數(shù)字員工小燦（圖源：火山語音）

在市場層面，據(jù)《中國虛擬數(shù)字人影響力指數(shù)報告》顯示，僅2023年一年全國就新增“數(shù)字人”“虛擬人”相關(guān)企業(yè)41.7萬余家，開始在政府公共服務(wù)、健康醫(yī)療、教育培訓(xùn)等許多領(lǐng)域逐步取代一些重復(fù)性、機(jī)械性或解釋性的人力勞動工作。

在廠商層面，以魔琺科技為代表的AIGC廠商推出了一系列3D視頻生成方案，通過AI降低生成門檻，為3D內(nèi)容爆發(fā)提供了前置工具。

而有了這些前置工具，創(chuàng)作者得以利用3D生成技術(shù)以AIGC形式創(chuàng)作出媲美PGC的內(nèi)容，繁榮內(nèi)容生態(tài)。更有甚者，當(dāng)Vision Pro、Quest 3等設(shè)備適配應(yīng)用、創(chuàng)作工具越來越多后，創(chuàng)作者還可以利用VR/AR的交互形式直接進(jìn)行3D創(chuàng)作。

圖源：網(wǎng)絡(luò)

有了工具+終端的支持，決定創(chuàng)作者們效率的不再是生產(chǎn)工具，而僅僅只是一個靈感。

 結(jié)語 

AIGC時代，3D虛擬人創(chuàng)作平臺的出現(xiàn)不只是多了一個創(chuàng)作工具那么簡單。

VR行業(yè)起伏多年，許多人都將VR的失意歸結(jié)為“稀缺的3D內(nèi)容帶不動剛需內(nèi)容場景的虛擬現(xiàn)實”，3D內(nèi)容制作成本過高，投入與產(chǎn)出不成正比。

正如魔琺科技所說，“做3D是很痛苦的事情，但3D內(nèi)容是未來，這些事總要有人來做。”

6年來，魔琺科技投入了數(shù)億資金研發(fā)，堅定不移的做高質(zhì)量3D內(nèi)容，篤定3D虛擬人賽道，一步步跨過3D內(nèi)容AIGC的門檻，為虛擬世界的建立打造基礎(chǔ)建設(shè)。

現(xiàn)在，3D內(nèi)容高成本、高技術(shù)的壁壘已被有言打破，創(chuàng)作者手中有了新的革命性工具，不僅降低了傳統(tǒng)虛擬人動畫、視頻中的人力成本與時間投入，還為創(chuàng)作者打開了通往全新敘事方式的大門。

圖源：魔琺有言

智能輔助與創(chuàng)意共生的時代已來，在制作平臺的積木底座搭建完成后，繁榮3D內(nèi)容的下一棒就交給創(chuàng)作者們了。