這幾天,OpenAI發(fā)布的視頻模型“Sora”再度讓AIGC的熱度達到頂峰。當你告訴Sora,拍一段挺瘦的也挺時尚的亞洲女性,漫步在東京的街頭。很快,Sora拍出了一個一分鐘長度的視頻:街道積水的倒影、霓虹閃爍的燈牌......誰能想象得到,這個視頻竟然完全是AI生成的作品。
這個視頻還包含很多的分鏡。上一秒是一個全景鏡頭,能看到整個身子的畫面,下一秒鏡頭就切換成了臉部特寫,連臉上的痘印都栩栩如生。
再告訴Sora想做一個男巫,施展魔法,生成閃電,Sora就用AI生成了這樣的作品:
還有老奶奶教大家做面食:
宇航員在外星球探索:
Sora能通過文字生成這樣的視頻,效果舉世震驚。人們震驚于如此精細的人物質(zhì)感,一定離不開大量的訓(xùn)練數(shù)據(jù),從何尋得這些數(shù)據(jù)引起了人們的好奇心。
很快,有科學(xué)家指出能實現(xiàn)如此細節(jié)效果,是結(jié)合了MetaHuman的技術(shù)訓(xùn)練。MetaHuman基于UE5(虛幻引擎5)使用虛擬化微多邊形幾何體系統(tǒng)和虛擬陰影貼圖,能創(chuàng)建逼真的數(shù)字人類。
MetaHuman
AIGC時代「虛擬咔咔」,技術(shù)對標MetaHuman的虛擬人工具
國內(nèi)大多數(shù)虛擬人軟件普遍采用面部幾何結(jié)構(gòu)分析、模擬動畫生成技術(shù)等技術(shù)路徑,而北京齊樂無窮文化科技有限公司開發(fā)的“虛擬咔咔”是一個基于云的應(yīng)用程序,它能創(chuàng)建高度逼真的人類角色,并應(yīng)用在不同的數(shù)字項目中,如視頻及電影、游戲或虛擬現(xiàn)實程序中。
虛擬咔咔在技術(shù)上對標MetaHuman,通過3D建模和動畫技術(shù),結(jié)合深度學(xué)習(xí)、大規(guī)模數(shù)據(jù)集和計算機視覺技術(shù),訓(xùn)練神經(jīng)網(wǎng)絡(luò),自主研發(fā)了空間骨骼點位精確計算,并集成人臉動畫和人體動作捕捉等先進技術(shù),創(chuàng)建出接近真人的虛擬人。
虛擬咔咔的深度學(xué)習(xí)模型在生成對抗網(wǎng)絡(luò)(GANs)和變分自編碼器(VAEs)學(xué)習(xí)大量虛擬人樣本,并運用神經(jīng)網(wǎng)絡(luò)深度理解人臉特征及表情,進行姿勢預(yù)估和關(guān)鍵點檢測,大量人臉數(shù)據(jù)進入大模型內(nèi)進行處理和標注,然后推理和生成,進而通過空間骨骼點位的計算,打造高度逼真的虛擬人。
虛擬咔咔打造超寫實虛擬人
虛擬咔咔內(nèi)置了1500多種可調(diào)節(jié)的人體參數(shù)與300多種底層人臉模型庫,能夠?qū)崿F(xiàn)自由捏臉,1:1真實還原。僅需通過調(diào)整平臺的面部數(shù)值,即可對128個面部特征點位、698根頭部骨骼驅(qū)動進行調(diào)整。
通過圖像生成模型和面部信息數(shù)據(jù),融入AI參與與反饋機制,在虛擬人表情生成角度縮小和真人的差距,個性化調(diào)整,生成符合預(yù)期的動態(tài)虛擬人,在接入面部捕捉系統(tǒng)后,讓4500個以上的面部表情數(shù)據(jù)得到精確計算并呈現(xiàn)。
虛擬咔咔“千人千面”
作為國內(nèi)在技術(shù)上對標MetaHuman的虛擬人創(chuàng)作工具,虛擬咔咔在三維建模和動畫技術(shù)深耕,已經(jīng)打造了許多優(yōu)質(zhì)的超寫實虛擬人。
如 拉卡拉集團創(chuàng)始人、董事長 孫陶然:
拉卡拉集團創(chuàng)始人、董事長 孫陶然(虛擬人)
虛擬咔咔利用自主研發(fā)的AI技術(shù),集成并應(yīng)用,解決了過往虛擬人創(chuàng)作過程中操作難度大、開發(fā)成本高的問題,讓國內(nèi)進入“虛擬人To C”的時代。
Sora讓世界沸騰,我們離"國產(chǎn)Sora"還有多遠
在AI大模型時代的不斷推動下,AIGC逐漸改變了許多場景,不過由于技術(shù)上的壁壘,國內(nèi)還沒能達到OpenAI的水準。360公司創(chuàng)始人周鴻祎在近日表示,國內(nèi)大模型發(fā)展水平已經(jīng)接近GPT-3.5,但跟4.0比還有一段距離。
可見國內(nèi)的AGI發(fā)展還有很大空間。隨著文生圖、圖片對話技術(shù)的成熟,文生視頻已成為多模態(tài)大模型下一步發(fā)展的重點。
不過國內(nèi)的廠商從未停止研發(fā)的步伐。虛擬咔咔平臺在虛擬人技術(shù)層面,正利用AI不斷優(yōu)化虛擬人的生成效果。
在虛擬人聲音層面,虛擬咔咔具有了自研的“情感語音合成技術(shù)”,并且通過“聲音情感表情合成技術(shù)”直接生成虛擬人的動態(tài)表情。除此之外,虛擬咔咔還具備萬種人體動作數(shù)據(jù),能在AI處理下讓虛擬人自主運動,在動作控制維度展示出強大的能力。
虛擬咔咔打造的AI虛擬法律顧問“包晴天”
虛擬咔咔在技術(shù)上,對標國際頭部平臺MetaHuman,會不斷通過升級算法及神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),配合更大規(guī)模的虛擬人訓(xùn)練數(shù)據(jù),優(yōu)化虛擬人模型、骨骼結(jié)構(gòu)及運動軌跡數(shù)據(jù)、面部特征及表情合成算法、運動控制及姿態(tài)數(shù)據(jù)技術(shù),拓展虛擬人的生成能力,融合更多元素如三維模型、音頻、表情信息、特效等,進一步豐富虛擬人生成狀態(tài)與形式,提升虛擬人的智能化、交互性和表現(xiàn)力。
據(jù)悉,虛擬咔咔已經(jīng)簽約國內(nèi)頭部MCN機構(gòu),為用戶提供虛擬直播和內(nèi)容創(chuàng)作服務(wù)。AI時代飛速發(fā)展,相信國產(chǎn)替代進口的Sora也即將面世。
*聲明:企業(yè)通稿非VR陀螺官方稿,法律問題一律與VR陀螺無關(guān)。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息