編譯/VR陀螺
今天,美國(guó)專利商標(biāo)局正式授予蘋果公司一項(xiàng)專利,該專利涉及利用基于血流追蹤的機(jī)器學(xué)習(xí)生成下一代逼真的虛擬化身。蘋果公司技術(shù)開發(fā)集團(tuán)副總裁Mike Rockwell在介紹蘋果Vision Pro時(shí)提出了示例。
Rockwell表示:“對(duì)于像FaceTime這樣的數(shù)字通信,Vision Pro不僅僅能傳達(dá)你的眼睛,還能創(chuàng)造一個(gè)真實(shí)的你。這是我們?cè)陂_發(fā)Vision Pro時(shí)面臨的困難挑戰(zhàn)。我們利用機(jī)器學(xué)習(xí)技術(shù),創(chuàng)造了一種新穎的解決方案。”
在使用Vision Pro的前置傳感器進(jìn)行快速注冊(cè)后,系統(tǒng)會(huì)使用編碼器-解碼器神經(jīng)網(wǎng)絡(luò)創(chuàng)建用戶的數(shù)字化身。這個(gè)網(wǎng)絡(luò)是在數(shù)千人的不同群體中訓(xùn)練出來的。它能提供自然的表現(xiàn)形式,動(dòng)態(tài)匹配用戶的面部和手部動(dòng)作。用戶有了“角色”,就可以與十多億臺(tái)支持FaceTime的設(shè)備進(jìn)行交流。當(dāng)他人在另一個(gè)Vision Pro中觀看時(shí),用戶的“角色”會(huì)呈現(xiàn)出傳統(tǒng)視頻無法達(dá)到的體積和深度。
基于機(jī)器學(xué)習(xí)的血流追蹤
蘋果公司獲得的專利涉及利用基于機(jī)器學(xué)習(xí)的血流追蹤技術(shù)生成虛擬化身的系統(tǒng)、方法和計(jì)算機(jī)可讀介質(zhì)。為了生成逼真的化身,可以根據(jù)主體可能做出的面部表情來模仿血流動(dòng)向。也就是說,當(dāng)一個(gè)人說話或做出不同的面部表情,或做任何其他使面部變形的動(dòng)作時(shí),血液會(huì)在面部周圍以不同的方式流動(dòng)。當(dāng)血液移動(dòng)時(shí),受試者臉部的顏色可能會(huì)因血流的變化而改變(例如,受試者的血液集中在皮下的位置)。該過程可包括訓(xùn)練階段和應(yīng)用階段。
第一階段包括根據(jù)使用攝影測(cè)量系統(tǒng)捕獲的血流圖像數(shù)據(jù)訓(xùn)練紋理自動(dòng)編碼器。拍攝對(duì)象的許多圖像都有不同的表情,這樣就可以獲得表情與面部血流顯現(xiàn)方式之間的基本真實(shí)數(shù)據(jù)。可以通過從反照率圖中提取光照分量來確定血流量。反照率圖描述的是具有完美漫射光的臉部紋理,以及被攝體皮膚的靜態(tài)版本。
因此,提取的照明分量顯示了特定表情從反照率貼圖中偏移的位置。因此,紋理自動(dòng)編碼器可將主體的表情映射到二維血流紋理圖。在一個(gè)或多個(gè)實(shí)施例中,紋理自動(dòng)編碼器可將一系列表情視為輸入,從而生成特定的二維血流紋理圖。
第二階段包括利用二維血流紋理圖生成虛擬化身。例如,可以使用多通道渲染技術(shù)生成化身,在多通道渲染過程中,將二維血液紋理圖作為附加通道進(jìn)行渲染。
再比如,可以根據(jù)二維血液紋理圖將特定表情的血流紋理疊加到主體的三維網(wǎng)格上。
在本專利中,自動(dòng)編碼器指的是一種用于以無監(jiān)督方式對(duì)數(shù)據(jù)進(jìn)行分類的人工神經(jīng)網(wǎng)絡(luò)。自動(dòng)編碼器的目的是以優(yōu)化的形式學(xué)習(xí)一組數(shù)據(jù)的表示方法。經(jīng)過訓(xùn)練的自動(dòng)編碼器將具有編碼器部分、解碼器部分和潛變量,它們代表數(shù)據(jù)的優(yōu)化表示。
該專利涉及自然虛擬化身創(chuàng)建,可用于未來的iPhone、iPad、Mac 和蘋果Vision Pro。
圖源:patentlyapple
蘋果專利圖 2 顯示了網(wǎng)格和紋理自動(dòng)編碼器的訓(xùn)練流程圖;圖 5 顯示了利用血液紋理貼圖渲染虛擬化身的方法流程圖;圖 6 顯示了化身生成流程圖。
圖源:patentlyapple
蘋果專利圖 3 顯示了一個(gè)流程圖,其中訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò),以提供表情和血流紋理之間的映射。
想了解更多專利詳情,請(qǐng)查閱蘋果公司的授權(quán)專利11830182。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息