發(fā)布時間:2020-03-11 11:22 | 標簽:
微軟 3D 2D
微信掃一掃:分享
微信里點“發(fā)現(xiàn)”,掃一下
二維碼便可將本文分享至朋友圈
在VR、AR開發(fā)中,3D建模需要耗費大量的人力和精力,而且建模也是成本最高的部分。在社交應(yīng)用中,如果能夠?qū)崿F(xiàn)與真人“完全一樣”的虛擬人物模型,那虛擬現(xiàn)實也就不遠了。
近年來,使用可見光、深度傳感器進行建模的方式逐漸被應(yīng)用起來,但更多公司在追求更簡單、成本更低的方式,比如直接用2D圖片進行3D建模。包括Facebook,英偉達等科技巨頭的人工智能(AI)研究實驗室,以及一些初創(chuàng)公司都在這個領(lǐng)域里不斷探索。
近日,微軟研究院(Microsoft Research)的研究團隊發(fā)表了一篇預(yù)印論文,他們在論文中詳細介紹了一個新的AI框架,該框架采用“可縮放”訓練技術(shù),可將2D圖像進行3D形狀的模擬生成。研究人員表示,在使用2D圖像進行訓練時,該框架始終可以比現(xiàn)有的模型生成效果更好的3D形狀,這對于游戲開發(fā)、視頻制作、動畫等領(lǐng)域是一個極佳的自動化工具。
(在VR陀螺微信公眾號后臺回復“微軟”可獲得論文原文。)
微軟AI模型生成的3D沙發(fā)、椅子和浴缸
通常來說,一個模型框架要將2D轉(zhuǎn)換為3D圖像,需要通過柵格化處理來進行微分步驟渲染,因此,過去研究人員在該領(lǐng)域的努力都專注于開發(fā)定制渲染模型。然而,通過此類模型處理的圖像會顯得不夠真實自然,也不適合用于生成游戲以及圖形產(chǎn)業(yè)的工業(yè)效果圖。
微軟團隊則是使用了工業(yè)渲染器,這個渲染器可以根據(jù)顯示數(shù)據(jù)來生成圖像。此外,研究人員還訓練了3D形狀生成模型,以便渲染形狀,并生成與2D數(shù)據(jù)集分布相匹配的圖像。換句話說,這是一種新穎的代理神經(jīng)渲染器,可以直接渲染由3D形狀生成模型生成的連續(xù)體素網(wǎng)格。
在實驗過程中,研究團隊在上述3D形狀生成模型中采用了3D卷積GAN架構(gòu)。GAN又稱為生成式對抗網(wǎng)絡(luò),是一個由兩部分組成的AI模型,它可以基于3D模型生成的數(shù)據(jù)集和真實的數(shù)據(jù)集,合成來自不同對象類別的圖像,并在整個訓練過程中從不同角度進行渲染。
微軟AI模型生成的3D蘑菇圖像
此外,研發(fā)人員在論文中表示,它們的新方法還充分利用了2D照片中光照和陰影的信息,具體而言,是利用表面之間的曝光差值,進行檢測凹面和凸面,以及內(nèi)部結(jié)構(gòu),從而判斷物體三維物體的中心,從而實現(xiàn)更好的模擬訓練,生成更逼真的3D模型。
據(jù)研究人員介紹,他們的下一步計劃是將整套方法整合出一個相對完整的系統(tǒng),將顏色、材料、光照等細節(jié)統(tǒng)統(tǒng)加入進來,從而打造一個“更為全面”真實照片轉(zhuǎn)換三維模型的數(shù)據(jù)集。
第一時間了解XR資訊
關(guān)注VR陀螺官網(wǎng)(vrtuoluo.cn)
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)