這幾天,OpenAI發(fā)布的視頻模型“Sora”再度讓AIGC的熱度達(dá)到頂峰。當(dāng)你告訴Sora,拍一段挺瘦的也挺時(shí)尚的亞洲女性,漫步在東京的街頭。很快,Sora拍出了一個(gè)一分鐘長(zhǎng)度的視頻:街道積水的倒影、霓虹閃爍的燈牌......誰(shuí)能想象得到,這個(gè)視頻竟然完全是AI生成的作品。
這個(gè)視頻還包含很多的分鏡。上一秒是一個(gè)全景鏡頭,能看到整個(gè)身子的畫(huà)面,下一秒鏡頭就切換成了臉部特寫(xiě),連臉上的痘印都栩栩如生。
再告訴Sora想做一個(gè)男巫,施展魔法,生成閃電,Sora就用AI生成了這樣的作品:
還有老奶奶教大家做面食:
宇航員在外星球探索:
Sora能通過(guò)文字生成這樣的視頻,效果舉世震驚。人們震驚于如此精細(xì)的人物質(zhì)感,一定離不開(kāi)大量的訓(xùn)練數(shù)據(jù),從何尋得這些數(shù)據(jù)引起了人們的好奇心。
很快,有科學(xué)家指出能實(shí)現(xiàn)如此細(xì)節(jié)效果,是結(jié)合了MetaHuman的技術(shù)訓(xùn)練。MetaHuman基于UE5(虛幻引擎5)使用虛擬化微多邊形幾何體系統(tǒng)和虛擬陰影貼圖,能創(chuàng)建逼真的數(shù)字人類(lèi)。
MetaHuman
AIGC時(shí)代「虛擬咔咔」,技術(shù)對(duì)標(biāo)MetaHuman的虛擬人工具
國(guó)內(nèi)大多數(shù)虛擬人軟件普遍采用面部幾何結(jié)構(gòu)分析、模擬動(dòng)畫(huà)生成技術(shù)等技術(shù)路徑,而北京齊樂(lè)無(wú)窮文化科技有限公司開(kāi)發(fā)的“虛擬咔咔”是一個(gè)基于云的應(yīng)用程序,它能創(chuàng)建高度逼真的人類(lèi)角色,并應(yīng)用在不同的數(shù)字項(xiàng)目中,如視頻及電影、游戲或虛擬現(xiàn)實(shí)程序中。
虛擬咔咔在技術(shù)上對(duì)標(biāo)MetaHuman,通過(guò)3D建模和動(dòng)畫(huà)技術(shù),結(jié)合深度學(xué)習(xí)、大規(guī)模數(shù)據(jù)集和計(jì)算機(jī)視覺(jué)技術(shù),訓(xùn)練神經(jīng)網(wǎng)絡(luò),自主研發(fā)了空間骨骼點(diǎn)位精確計(jì)算,并集成人臉動(dòng)畫(huà)和人體動(dòng)作捕捉等先進(jìn)技術(shù),創(chuàng)建出接近真人的虛擬人。
虛擬咔咔的深度學(xué)習(xí)模型在生成對(duì)抗網(wǎng)絡(luò)(GANs)和變分自編碼器(VAEs)學(xué)習(xí)大量虛擬人樣本,并運(yùn)用神經(jīng)網(wǎng)絡(luò)深度理解人臉特征及表情,進(jìn)行姿勢(shì)預(yù)估和關(guān)鍵點(diǎn)檢測(cè),大量人臉數(shù)據(jù)進(jìn)入大模型內(nèi)進(jìn)行處理和標(biāo)注,然后推理和生成,進(jìn)而通過(guò)空間骨骼點(diǎn)位的計(jì)算,打造高度逼真的虛擬人。
虛擬咔咔打造超寫(xiě)實(shí)虛擬人
虛擬咔咔內(nèi)置了1500多種可調(diào)節(jié)的人體參數(shù)與300多種底層人臉模型庫(kù),能夠?qū)崿F(xiàn)自由捏臉,1:1真實(shí)還原。僅需通過(guò)調(diào)整平臺(tái)的面部數(shù)值,即可對(duì)128個(gè)面部特征點(diǎn)位、698根頭部骨骼驅(qū)動(dòng)進(jìn)行調(diào)整。
通過(guò)圖像生成模型和面部信息數(shù)據(jù),融入AI參與與反饋機(jī)制,在虛擬人表情生成角度縮小和真人的差距,個(gè)性化調(diào)整,生成符合預(yù)期的動(dòng)態(tài)虛擬人,在接入面部捕捉系統(tǒng)后,讓4500個(gè)以上的面部表情數(shù)據(jù)得到精確計(jì)算并呈現(xiàn)。
虛擬咔咔“千人千面”
作為國(guó)內(nèi)在技術(shù)上對(duì)標(biāo)MetaHuman的虛擬人創(chuàng)作工具,虛擬咔咔在三維建模和動(dòng)畫(huà)技術(shù)深耕,已經(jīng)打造了許多優(yōu)質(zhì)的超寫(xiě)實(shí)虛擬人。
如 拉卡拉集團(tuán)創(chuàng)始人、董事長(zhǎng) 孫陶然:
拉卡拉集團(tuán)創(chuàng)始人、董事長(zhǎng) 孫陶然(虛擬人)
虛擬咔咔利用自主研發(fā)的AI技術(shù),集成并應(yīng)用,解決了過(guò)往虛擬人創(chuàng)作過(guò)程中操作難度大、開(kāi)發(fā)成本高的問(wèn)題,讓國(guó)內(nèi)進(jìn)入“虛擬人To C”的時(shí)代。
Sora讓世界沸騰,我們離"國(guó)產(chǎn)Sora"還有多遠(yuǎn)
在AI大模型時(shí)代的不斷推動(dòng)下,AIGC逐漸改變了許多場(chǎng)景,不過(guò)由于技術(shù)上的壁壘,國(guó)內(nèi)還沒(méi)能達(dá)到OpenAI的水準(zhǔn)。360公司創(chuàng)始人周鴻祎在近日表示,國(guó)內(nèi)大模型發(fā)展水平已經(jīng)接近GPT-3.5,但跟4.0比還有一段距離。
可見(jiàn)國(guó)內(nèi)的AGI發(fā)展還有很大空間。隨著文生圖、圖片對(duì)話技術(shù)的成熟,文生視頻已成為多模態(tài)大模型下一步發(fā)展的重點(diǎn)。
不過(guò)國(guó)內(nèi)的廠商從未停止研發(fā)的步伐。虛擬咔咔平臺(tái)在虛擬人技術(shù)層面,正利用AI不斷優(yōu)化虛擬人的生成效果。
在虛擬人聲音層面,虛擬咔咔具有了自研的“情感語(yǔ)音合成技術(shù)”,并且通過(guò)“聲音情感表情合成技術(shù)”直接生成虛擬人的動(dòng)態(tài)表情。除此之外,虛擬咔咔還具備萬(wàn)種人體動(dòng)作數(shù)據(jù),能在AI處理下讓虛擬人自主運(yùn)動(dòng),在動(dòng)作控制維度展示出強(qiáng)大的能力。
虛擬咔咔打造的AI虛擬法律顧問(wèn)“包晴天”
虛擬咔咔在技術(shù)上,對(duì)標(biāo)國(guó)際頭部平臺(tái)MetaHuman,會(huì)不斷通過(guò)升級(jí)算法及神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),配合更大規(guī)模的虛擬人訓(xùn)練數(shù)據(jù),優(yōu)化虛擬人模型、骨骼結(jié)構(gòu)及運(yùn)動(dòng)軌跡數(shù)據(jù)、面部特征及表情合成算法、運(yùn)動(dòng)控制及姿態(tài)數(shù)據(jù)技術(shù),拓展虛擬人的生成能力,融合更多元素如三維模型、音頻、表情信息、特效等,進(jìn)一步豐富虛擬人生成狀態(tài)與形式,提升虛擬人的智能化、交互性和表現(xiàn)力。
據(jù)悉,虛擬咔咔已經(jīng)簽約國(guó)內(nèi)頭部MCN機(jī)構(gòu),為用戶提供虛擬直播和內(nèi)容創(chuàng)作服務(wù)。AI時(shí)代飛速發(fā)展,相信國(guó)產(chǎn)替代進(jìn)口的Sora也即將面世。
*聲明:企業(yè)通稿非VR陀螺官方稿,法律問(wèn)題一律與VR陀螺無(wú)關(guān)。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息