最新資訊

微軟最新技術(shù)論文：2D圖像直接轉(zhuǎn)3D詳解

發(fā)布時(shí)間：2020-03-11 11:22 | 標(biāo)簽：微軟 3D 2D

微信掃一掃：分享

微信里點(diǎn)“發(fā)現(xiàn)”，掃一下
二維碼便可將本文分享至朋友圈

在VR、AR開發(fā)中，3D建模需要耗費(fèi)大量的人力和精力，而且建模也是成本最高的部分。在社交應(yīng)用中，如果能夠?qū)崿F(xiàn)與真人“完全一樣”的虛擬人物模型，那虛擬現(xiàn)實(shí)也就不遠(yuǎn)了。

近年來，使用可見光、深度傳感器進(jìn)行建模的方式逐漸被應(yīng)用起來，但更多公司在追求更簡單、成本更低的方式，比如直接用2D圖片進(jìn)行3D建模。包括Facebook，英偉達(dá)等科技巨頭的人工智能（AI）研究實(shí)驗(yàn)室，以及一些初創(chuàng)公司都在這個(gè)領(lǐng)域里不斷探索。

近日，微軟研究院（Microsoft Research）的研究團(tuán)隊(duì)發(fā)表了一篇預(yù)印論文，他們?cè)谡撐闹性敿?xì)介紹了一個(gè)新的AI框架，該框架采用“可縮放”訓(xùn)練技術(shù)，可將2D圖像進(jìn)行3D形狀的模擬生成。研究人員表示，在使用2D圖像進(jìn)行訓(xùn)練時(shí)，該框架始終可以比現(xiàn)有的模型生成效果更好的3D形狀，這對(duì)于游戲開發(fā)、視頻制作、動(dòng)畫等領(lǐng)域是一個(gè)極佳的自動(dòng)化工具。

（在VR陀螺微信公眾號(hào)后臺(tái)回復(fù)“微軟”可獲得論文原文。）

微軟AI模型生成的3D沙發(fā)、椅子和浴缸

通常來說，一個(gè)模型框架要將2D轉(zhuǎn)換為3D圖像，需要通過柵格化處理來進(jìn)行微分步驟渲染，因此，過去研究人員在該領(lǐng)域的努力都專注于開發(fā)定制渲染模型。然而，通過此類模型處理的圖像會(huì)顯得不夠真實(shí)自然，也不適合用于生成游戲以及圖形產(chǎn)業(yè)的工業(yè)效果圖。

微軟團(tuán)隊(duì)則是使用了工業(yè)渲染器，這個(gè)渲染器可以根據(jù)顯示數(shù)據(jù)來生成圖像。此外，研究人員還訓(xùn)練了3D形狀生成模型，以便渲染形狀，并生成與2D數(shù)據(jù)集分布相匹配的圖像。換句話說，這是一種新穎的代理神經(jīng)渲染器，可以直接渲染由3D形狀生成模型生成的連續(xù)體素網(wǎng)格。

在實(shí)驗(yàn)過程中，研究團(tuán)隊(duì)在上述3D形狀生成模型中采用了3D卷積GAN架構(gòu)。GAN又稱為生成式對(duì)抗網(wǎng)絡(luò)，是一個(gè)由兩部分組成的AI模型，它可以基于3D模型生成的數(shù)據(jù)集和真實(shí)的數(shù)據(jù)集，合成來自不同對(duì)象類別的圖像，并在整個(gè)訓(xùn)練過程中從不同角度進(jìn)行渲染。

微軟AI模型生成的3D蘑菇圖像

此外，研發(fā)人員在論文中表示，它們的新方法還充分利用了2D照片中光照和陰影的信息，具體而言，是利用表面之間的曝光差值，進(jìn)行檢測(cè)凹面和凸面，以及內(nèi)部結(jié)構(gòu)，從而判斷物體三維物體的中心，從而實(shí)現(xiàn)更好的模擬訓(xùn)練，生成更逼真的3D模型。

據(jù)研究人員介紹，他們的下一步計(jì)劃是將整套方法整合出一個(gè)相對(duì)完整的系統(tǒng)，將顏色、材料、光照等細(xì)節(jié)統(tǒng)統(tǒng)加入進(jìn)來，從而打造一個(gè)“更為全面”真實(shí)照片轉(zhuǎn)換三維模型的數(shù)據(jù)集。

來源：澎湃新聞

第一時(shí)間了解XR資訊

關(guān)注VR陀螺官網(wǎng)（vrtuoluo.cn）

投稿/爆料：tougao@youxituoluo.com

稿件/商務(wù)合作：六六（微信 13138755620）

加入行業(yè)交流群：六六（微信 13138755620）