編譯/VR陀螺

英偉達(dá)新的AI模型GET3D旨在加快3D內(nèi)容的創(chuàng)建速度。該模型可以在幾秒鐘內(nèi)輸出許多紋理的3D網(wǎng)格，可以在標(biāo)準(zhǔn)圖形引擎中無(wú)縫使用，而這只需要一張2D圖像作為輸入即可。

GET3D是 " Generate Explicit Textured 3D（生成顯性紋理三維）"的縮寫，是一種生成性3D模型，可以合成任何拓?fù)浣Y(jié)構(gòu)的高質(zhì)量3D多邊形網(wǎng)格。一張二維圖像就足以作為生成過(guò)程的輸入。

圖源：Nvidia

生成的多邊形網(wǎng)格由帶紋理的三角形組成，這是一種標(biāo)準(zhǔn)格式，可以無(wú)縫導(dǎo)入3D程序、游戲引擎或電影渲染器。

3D對(duì)象在導(dǎo)入后是完全可編輯的，例如，可以進(jìn)行縮放、旋轉(zhuǎn)和照明。通過(guò)英偉達(dá)的StyleGAN-Nada，開(kāi)發(fā)人員可以進(jìn)一步改變3D模型的形狀或紋理，只需使用文本命令，例如，將傳統(tǒng)汽車轉(zhuǎn)變?yōu)榫嚒?/p>

從合成的2D圖像生成3D模型

英偉達(dá)的研究團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)兩步的生成過(guò)程。幾何分支生成具有任何所需拓?fù)浣Y(jié)構(gòu)的多邊形網(wǎng)格。紋理分支則會(huì)生成一個(gè)紋理字段，該字段可以表示顏色，例如，多邊形網(wǎng)格表面點(diǎn)處的特定材料。

最后，與GA網(wǎng)絡(luò)一樣，鑒別器根據(jù)3D模型的合成照片評(píng)估輸出的質(zhì)量，并不斷優(yōu)化它以匹配目標(biāo)圖像。

GET3D是用大約100萬(wàn)張不同角度的3D模型的合成2D圖像進(jìn)行訓(xùn)練的。據(jù)英偉達(dá)稱，在英偉達(dá) A100 GPU上訓(xùn)練需要花費(fèi)大約2天時(shí)間。

GET3D加速了3D內(nèi)容的進(jìn)程

GET3D能夠生成的3D模型取決于訓(xùn)練數(shù)據(jù)。例如，如果你用合成的汽車或動(dòng)物圖像訓(xùn)練系統(tǒng)，它可以生成3D汽車或動(dòng)物。英偉達(dá)表示，訓(xùn)練數(shù)據(jù)集越大、越多樣化，生成的3D模型就越詳細(xì)、越多樣化。

圖源：Nvidia

據(jù)英偉達(dá)稱，在一個(gè)現(xiàn)成的英偉達(dá) GPU上，該模型在訓(xùn)練后每秒可以生成大約20個(gè)形狀，這些形狀組合起來(lái)就形成了一個(gè)3D模型。生成過(guò)程在用戶的計(jì)算機(jī)上進(jìn)行，因此不受內(nèi)容限制，如云端人工智能服務(wù)中已知的那些限制。

"GET3D使我們離AI驅(qū)動(dòng)3D內(nèi)容創(chuàng)作的普及化更近了一步，"英偉達(dá)在多倫多的研究實(shí)驗(yàn)室負(fù)責(zé)人Sanja Fidler說(shuō)道，該工具就是在那里開(kāi)發(fā)的。

據(jù)英偉達(dá)的研究團(tuán)隊(duì)稱，GET3D的一個(gè)限制是，目前只能用已知相機(jī)位置的合成圖像的2D剪影進(jìn)行訓(xùn)練。在未來(lái)的版本中，相機(jī)位置預(yù)估的進(jìn)展可能會(huì)成為使用真實(shí)圖像進(jìn)行訓(xùn)練的基礎(chǔ)。

目前，GET3D也只能按類別進(jìn)行訓(xùn)練?？珙悇e的模型可以增加生成的3D模型的種類，提高系統(tǒng)的靈活性。

作為一個(gè)開(kāi)源模型，GET3D可以在Github上免費(fèi)使用。

來(lái)源：mixed-news