近年來，隨著虛擬技術(shù)的發(fā)展，虛擬人物及面部捕捉技術(shù)越來越受到科技大廠的關(guān)注，從Epic Games與數(shù)字王國合作開發(fā)的實(shí)時(shí)數(shù)字面部捕捉技術(shù)，到Facebook公布Codec Avatars技術(shù)，再到騰訊攜手Epic開發(fā)虛擬數(shù)字人物。從技術(shù)方向來看，大廠們在虛擬人物上保持著高度的統(tǒng)一。騰訊、Facebook、數(shù)字王國以及國內(nèi)眾多游戲大廠都在不同程度的嘗試這一技術(shù)。

近日，在騰訊游戲?qū)W院的欄目中，騰訊互動(dòng)娛樂新體驗(yàn)與技術(shù)部助理總經(jīng)理，專家工程師顧煜分享了他們此次與Epic Games合作研發(fā)虛擬數(shù)字人Siren的開發(fā)歷程。

壞的開始

Siren是一個(gè)虛擬數(shù)字人項(xiàng)目，名字取自北歐神話，女妖塞壬。相傳她擁有天籟般的歌喉，常用歌聲誘惑過路的航海者而使航船觸礁沉沒。

黎叔（沈黎，騰訊互動(dòng)娛樂新體驗(yàn)與技術(shù)部理副總經(jīng)理）起這名字的時(shí)候，光注意了名字的調(diào)性，英文不錯(cuò)的我們，也都紛紛叫好。古有貞子破屏而出，今有塞壬讓宅男破幕而入，這個(gè)愿景激勵(lì)著我們努力。

不曾想，今后的宣傳中，無數(shù)人跳出來說，起什么代號不好，偏偏要起一個(gè)“死人“的代號。所有的能力，都會遮蔽雙眼。英文不錯(cuò)，反是負(fù)擔(dān)，我們都忽略了Siren還能被解讀成死人。

好在當(dāng)時(shí)，我們并不知道這一切。倘若不然，想必在研發(fā)的過程中，大家會多了些許負(fù)擔(dān)。而對于這樣一個(gè)艱巨復(fù)雜的項(xiàng)目，沒有信心的我們，若非無知無畏，若非輕裝上陣，早已落荒而逃。


這個(gè)項(xiàng)目來源于一次合作。Epic和騰訊希望找機(jī)會做技術(shù)合作，于是我們和Epic CTO開會交流。

會中各種方向討論，都不算靠譜，或者是太雞毛蒜皮，或者是太虛無飄渺。最后他拋了一個(gè)想法，想要合作做虛擬音樂會，也就是一段超高質(zhì)量的MV，大家覺得還不錯(cuò)，于是匆匆結(jié)束下午的會議，進(jìn)入了大家喜聞樂見的晚餐環(huán)節(jié)。

晚上商務(wù)宴請，一頓潮汕火鍋涮完，CTO碎碎念著，說大家不太喜歡這個(gè)想法，閑談中聊到這個(gè)項(xiàng)目，沒有那種眼中有光、心中有火的狀態(tài)。

然而這并不重要，一肚子牛肉要消化，明天總要到來。所謂方向，即使一開始并不起眼，也許熬著熬著，做著做著，也就柳暗花明了。

但事實(shí)是殘酷的。大多數(shù)想法，都不會做著做著才變得驚艷。一個(gè)好的想法，自然有打動(dòng)人的力量，即使一開始那么不起眼，當(dāng)你聽到它，就會覺得，就是它了。虛擬演唱會的想法，還缺一點(diǎn)意思。

第二天，Epic的CTO同學(xué)又帶來新的想法，這次的方向，就是虛擬人。所謂虛擬人，就是高質(zhì)量的CG人物，能夠亂真，可以交互。

這是一個(gè)有趣的想法。

并不是每個(gè)有趣的想法，都有價(jià)值，我們又該如何判斷它的價(jià)值呢？

決策

對于未知領(lǐng)域，究竟什么想法靠譜，什么想法不靠譜，很依賴于人的直覺，但也有一些客觀的方式可以判斷。依我看來，有四個(gè)維度可以幫助做決策。

你先要看可行性，再好的想法，做不出來也是白搭。我們可以承受適當(dāng)?shù)娘L(fēng)險(xiǎn)，風(fēng)險(xiǎn)越大，越看不清的方向，就越需要控制投入的規(guī)模。虛擬人這個(gè)想法，有不錯(cuò)的可行性，電影行業(yè)特技已可亂真，而游戲行業(yè)靜態(tài)畫面也能媲美照片，在這個(gè)飛速發(fā)展的時(shí)代，的確孕育了實(shí)時(shí)渲染的數(shù)字人技術(shù)的可能性。PC消費(fèi)級硬件的性能突飛猛進(jìn)，已經(jīng)奠定了基石。

可行性不光看大環(huán)境，自己團(tuán)隊(duì)是不是適合做這個(gè)事情，也是一個(gè)重要的考慮因素。我們團(tuán)隊(duì)有不錯(cuò)的游戲開發(fā)經(jīng)驗(yàn)，也能勝任高級渲染技術(shù)的開發(fā)，而更重要的是，Epic的CTO Kim Libreri，來自電影行業(yè)，從事電影特效多年，贏得過兩次奧斯卡獎(jiǎng)項(xiàng)，有足夠的行業(yè)洞見和人脈資源，是一個(gè)最佳的帶頭人。

看完可行性，再要看它有沒有技術(shù)壁壘。如果投入做一個(gè)很簡單的技術(shù)，其他團(tuán)隊(duì)很容易就能復(fù)刻，那么投入的價(jià)值就不那么大。既然是探索新領(lǐng)域，我們希望“用時(shí)間換空間”，投入更長的時(shí)間，獲得持續(xù)的積累，而我們也希望這個(gè)積累，能產(chǎn)生一些壁壘，讓別人很難輕易復(fù)制。虛擬人很符合技術(shù)壁壘的定義。這個(gè)項(xiàng)目在多個(gè)領(lǐng)域需要做出突破，在建模精度、RIG質(zhì)量、渲染效果、實(shí)時(shí)表情捕捉等各個(gè)方面都有巨大的挑戰(zhàn)。這里有相當(dāng)多的領(lǐng)域，橫跨了游戲和電影行業(yè)。而所有跨越邊界的技術(shù)，都不好做。游戲談起渲染質(zhì)量，電影樂了；電影聊起實(shí)時(shí)交互，游戲笑了。陌生行業(yè)的鴻溝，那些越過邊界的不確定性，那些遇到難題的不知所措，就是技術(shù)的壁壘。

“The brick walls are there for a reason. The brick walls are not there to keep us out. The brick walls are there to give us a chance to show how badly we want something. Because the brick walls are there to stop the people who don’t want it badly enough. They’re there to stop the other people.

Randy Pausch”

網(wǎng)上廣為流傳的“最后一課”的教授，也講過，墻并非無緣無故而來，墻把我們擋在外面，只是要給我們一次機(jī)會，一次證明自己的機(jī)會。它在那里，只是想把那些意志不夠堅(jiān)定的人阻擋在外面。這堵墻，就是技術(shù)的壁壘，它不僅僅是努力的目標(biāo)，也是努力的信心。因?yàn)槲覀冎?，?dāng)我們翻過這堵墻，它就是我們的壁壘，阻擋那些不夠堅(jiān)定的競爭者。

然后要看它有沒有技術(shù)價(jià)值，這個(gè)技術(shù)，會不會產(chǎn)生有價(jià)值的積累，應(yīng)用到其它產(chǎn)品中。實(shí)驗(yàn)室的前沿技術(shù)，大多不能應(yīng)用在實(shí)際的產(chǎn)品中。而能用在產(chǎn)品中的技術(shù)，往往有不夠高端。我們要尋找的，是那些略高于目前技術(shù)水準(zhǔn)的技術(shù)，可以在2-3年后，應(yīng)用到產(chǎn)品開發(fā)中。

虛擬人技術(shù)，跨越了多個(gè)領(lǐng)域。其中渲染質(zhì)量的提升，相當(dāng)多的理念都可以受益于電影行業(yè)的技術(shù)。在渲染領(lǐng)域，電影行業(yè)的今天，就是游戲行業(yè)的明天。提前了解一些更高端的技術(shù)，對未來的游戲研發(fā)技術(shù)，也有實(shí)質(zhì)性的提升。而研發(fā)過程中，也能產(chǎn)生大量的副產(chǎn)品，這些副產(chǎn)品，同樣可以用于游戲研發(fā)，提升研發(fā)的過程技術(shù)。比如AAA游戲以及一些敘事游戲，類似《底特律—變?nèi)恕?、《Hellblade》等，早已開始用類似的制作管線生產(chǎn)過場。而更基礎(chǔ)的照相建模、動(dòng)作捕捉，也在游戲開發(fā)中越來越廣泛使用。在國內(nèi)行業(yè)中，大量外包公司也已經(jīng)提供類似的服務(wù)，如果自己擁有這樣的設(shè)備，可以大大加速迭代的速度，也能深入研究，開發(fā)更多有趣的功能。

最后看它能不能吸引眼球，能不能被外部認(rèn)可。再好的技術(shù)，做出來無人關(guān)注也是不行的。一個(gè)團(tuán)隊(duì)的可持續(xù)發(fā)展，需要吸引人們的注意力。而這個(gè)項(xiàng)目，定位在跨越恐怖谷，如果能做出來，一定會非常吸引眼球。

為什么說恐怖谷會是一個(gè)吸引人的價(jià)值點(diǎn)呢？需要了解這一點(diǎn)，必須要講一下恐怖谷理論。恐怖谷理論在1970年由日本機(jī)器人專家森政弘提出：

“森政弘的假設(shè)指出，由于機(jī)器人與人類在外表、動(dòng)作上相似，所以人類亦會對機(jī)器人產(chǎn)生正面的情感；直到一個(gè)特定程度，他們的反應(yīng)便會突然變得極為負(fù)面。哪怕機(jī)器人與人類只有一點(diǎn)點(diǎn)的差別，都會顯得非常顯眼刺眼，整個(gè)機(jī)器人顯得非常僵硬恐怖，使人有面對僵尸的感覺?？墒?，當(dāng)機(jī)器人和人類的相似度繼續(xù)上升，相當(dāng)于普通人之間的相似度的時(shí)候，人類對他們的情感反應(yīng)會再度回到正面，產(chǎn)生人類與人類之間的移情作用。”

在電影行業(yè)，已經(jīng)非常接近跨越恐怖谷的階段，大量計(jì)算機(jī)視覺作出的虛擬人，在場景中和真實(shí)演員一起演出，粗看并無破綻。但電影畢竟擁有海量的資源，計(jì)算資源接近無限。而在實(shí)時(shí)渲染領(lǐng)域，并沒有類似的技術(shù)，在計(jì)算能力受限，成本不高的消費(fèi)者領(lǐng)域，缺乏同等級別的技術(shù)。如果通過這個(gè)項(xiàng)目能在實(shí)時(shí)內(nèi)容領(lǐng)域產(chǎn)出足夠高質(zhì)量的技術(shù)，那么吸引眼球這個(gè)目標(biāo)并不難做到。

綜上，虛擬人這個(gè)想法，非常理想，符合上述所有條件。我們馬上熱血沸騰，和Epic一拍即合。

我們對項(xiàng)目目標(biāo)的定義，是非常簡潔的一句：Crossing the boundary。跨越影視和實(shí)時(shí)渲染邊界，制作可實(shí)時(shí)交互的數(shù)字人物。

合作

于是，一個(gè)跨國合作項(xiàng)目就開始走出了艱難的第一步。誰也不曾想到，日后的研發(fā)和合作過程是多么困難。

這次的合作，相比過往項(xiàng)目，更為艱難，我們想要建立一個(gè)跨國團(tuán)隊(duì)。顯而易見的是，我們跨越了文化，也跨越了時(shí)區(qū)，不那么明顯卻同樣重要的是，我們跨越了行業(yè)，一起工作在陌生的領(lǐng)域。

這個(gè)項(xiàng)目的團(tuán)隊(duì)來自四個(gè)公司，分屬四個(gè)國家。

美國的Epic是整個(gè)項(xiàng)目的發(fā)起人和協(xié)調(diào)人，它是領(lǐng)路人，帶領(lǐng)整個(gè)團(tuán)隊(duì)，跨過影視和游戲行業(yè)的鴻溝，它也是整個(gè)項(xiàng)目的整合者，負(fù)責(zé)把所有的工作整合到一起。塞爾維亞的3Lateral是高精度模型和Rig的開發(fā)商，負(fù)責(zé)制作高精度的人物模型，同時(shí)制作高精度的Rig來驅(qū)動(dòng)模型。英國的Cubic Motion，負(fù)責(zé)實(shí)時(shí)的表情捕捉和還原。NEXT Studios則作為整個(gè)項(xiàng)目的Owner，在其中負(fù)責(zé)Unreal引擎的渲染增強(qiáng)和性能優(yōu)化，提供基于Unreal引擎的高質(zhì)量的人物渲染，我們也積極參與各個(gè)研發(fā)的全過程，學(xué)習(xí)流程。

由于四個(gè)國家跨越四個(gè)時(shí)區(qū)，這讓每次周會成為一個(gè)痛苦的經(jīng)歷，總有一個(gè)或者兩個(gè)地區(qū)的人們，在一個(gè)很尷尬的時(shí)間參會。而因?yàn)橐恍┎豢擅髡f的原因，在國內(nèi)經(jīng)常無法訪問一個(gè)常用的視頻會議服務(wù)。但這些，都不算太大的困難，真正的困難，始終在人身上。

2017年2月，項(xiàng)目成立，NEXT第一批研發(fā)團(tuán)隊(duì)開工。

我們盡可能把內(nèi)部最好的渲染人才都投入了這個(gè)項(xiàng)目，但這個(gè)方向還是比較前沿，實(shí)時(shí)渲染真實(shí)的人像，自COD的Paper開始，已經(jīng)持續(xù)進(jìn)步了很多年，主流AAA游戲，都能做到非常真實(shí)的人像渲染了。但對于這個(gè)項(xiàng)目，還嫌不夠，我們還需要研究更好的渲染算法，開發(fā)更多的特性。

原定的方式，是Epic找一流的技術(shù)專家，給予我們指導(dǎo)，建議方向，我們來做研究。開發(fā)團(tuán)隊(duì)開始研讀Paper，頻繁交流。早期的幾次周會，都是從論文出發(fā)，進(jìn)行討論。渲染領(lǐng)域的同學(xué)，用公式和想象，進(jìn)行隔空過招；非渲染領(lǐng)域的同學(xué)，聽得昏昏欲睡，恨不得奪門而逃。

然而我們很快就遇到了瓶頸。

遠(yuǎn)端的資深專家，工作繁忙，只是抽空給予指導(dǎo)?？墒乔把氐匿秩绢I(lǐng)域，大量細(xì)節(jié)，除非對方直接參與深度研究和實(shí)現(xiàn)，否則很難僅憑印象，來做討論和指導(dǎo)。當(dāng)我們做出代碼實(shí)現(xiàn)，如果結(jié)果有爭議，遇到具體問題需要解決，無論是多牛的專家，沒有深入一起做實(shí)現(xiàn)，投入足夠的時(shí)間，就不能判斷究竟實(shí)現(xiàn)錯(cuò)誤，還是論文方向錯(cuò)誤。而一周一兩次的遠(yuǎn)程溝通，信息密度和頻度都不足以彌合信息的Gap。于是，一些圖像特性的開發(fā)，陷入了膠著，誰也不能說服誰。我們徒勞地做著各種各樣的嘗試，或是自發(fā)的，或是來自遠(yuǎn)程的建議，但始終沒法有突破。

此外，前沿的渲染，也很難從純技術(shù)側(cè)予以推動(dòng)，具體來說，大多數(shù)時(shí)候，一個(gè)特性的實(shí)現(xiàn)，也需要和技術(shù)美術(shù)（TA）一起把最終的效果做出來，才能有說服力。我們這里的團(tuán)隊(duì)，也有一定的技術(shù)美術(shù)能力，但還沒有到能領(lǐng)導(dǎo)方向的程度。

隨著合作進(jìn)一步進(jìn)行，大家逐漸意識到，依賴純程序、低頻度的交流，已經(jīng)很難推動(dòng)特性研發(fā)了。

合作問題的最終解決，是Epic側(cè)換了接口人，由技術(shù)美術(shù)專家主導(dǎo)，和我們渲染程序員交流。大家很快就發(fā)現(xiàn)，在更好的合作性下，兩個(gè)互補(bǔ)的工種推動(dòng)工作，一切都順利了很多。程序的實(shí)現(xiàn)，也更快有了美術(shù)側(cè)的應(yīng)用，技術(shù)美術(shù)給出針對性的意見，也會推薦其他的實(shí)現(xiàn)方式，繼續(xù)讓程序員嘗試。

有些工作，依賴工種能力的互補(bǔ)，會勝于同類能力上的增補(bǔ)。

模特

眼看時(shí)間一點(diǎn)點(diǎn)過去，過了兩個(gè)多月了，其他幾個(gè)團(tuán)隊(duì)還沒有開工，他們有不同的檔期安排。

我們理應(yīng)非常恐慌，恐慌來自于自信的不足，從沒做過的業(yè)務(wù)，不知從而入手，不知進(jìn)度如何?？墒?，我們卻有謎一樣的自信，自信來自于Epic的胸有成竹，同類的事情他們做過多次，只要不出問題，一定能做到更好。

2017年的GDC過后，Epic的團(tuán)隊(duì)也開始更多投入Siren項(xiàng)目。Epic有一個(gè)精英團(tuán)隊(duì)，專攻各種特殊技術(shù)，他們的項(xiàng)目節(jié)奏，圍繞各種展會，交付種種黑科技。Siren也是他們下一個(gè)重要的目標(biāo)。

因?yàn)槭沁h(yuǎn)程項(xiàng)目，信息交流不暢，多方一起開工，就發(fā)現(xiàn)了很多問題。

比如，我們要渲染人，就需要選一個(gè)模特去做3D建模掃描。之前我們得到的所有信息，就是找一個(gè)漂亮的女孩子，參與2-3天的全程掃描，后續(xù)再有2-3天的配合工作，就能完成目標(biāo)。于是NEXT的籌備工作，打算從公司內(nèi)部找人參與，物色了一些不錯(cuò)的人選，也和對方Leader談好了，需要支援一段時(shí)間，大家相談甚歡。

可是，很快我們就發(fā)現(xiàn)，要做的事情，似乎超過了2-3天的全職時(shí)間。一會要模特去做一下牙齒數(shù)據(jù)采集，一會要模特去拍個(gè)參考照片，一會要模特去選適合的衣服。這還沒開始正式掃描，就已經(jīng)有那么多瑣事了，正式開工以后，肯定會有更多的事情。

我們面臨了一個(gè)困難的決策，繼續(xù)用已經(jīng)選好的模特，還是換一個(gè)專業(yè)和全職的模特。

其時(shí)離需要拍LookDev的參考照片時(shí)間已經(jīng)不足3周，臨陣換人，時(shí)間有點(diǎn)緊。但一次次讓公司內(nèi)部其他部門同事請假來支持我們，并不是長久之計(jì)。本來是一個(gè)線上的業(yè)務(wù)，一不小心，跟線下打起了交道，活活做成了O2O（online to offline）的項(xiàng)目。

無奈之下，我們只好在最后關(guān)頭換模特。我們找了外部公司，找到了日后的合作演員：姜冰潔。

曲線-中間節(jié)點(diǎn)

從2017年GDC，到我們2017年底的節(jié)點(diǎn)，還有很長的時(shí)間，因?yàn)檎麠l數(shù)據(jù)生產(chǎn)的Pipeline非常長，從掃描到生產(chǎn)，有很多的步驟流程，有多家公司合作。

作為一個(gè)團(tuán)隊(duì)，我們也不能一直沒有產(chǎn)出。于是Epic團(tuán)隊(duì)找了一個(gè)中間節(jié)點(diǎn)。7月底的Siggraph是一個(gè)不錯(cuò)的節(jié)點(diǎn)，時(shí)間上比較合適，有機(jī)會產(chǎn)出一些成果。

Epic團(tuán)隊(duì)定了個(gè)方向，做一個(gè)VR的面對面Show，他們掃描了Mike Seymou，F(xiàn)x Guide的創(chuàng)始人。用一套完全一樣的Pipeline，把Mike模型導(dǎo)入了Unreal，一路趟了很多坑，把引擎流程中不適合的地方一一走通。NEXT這里做的一部分渲染特性也被整合進(jìn)版本，進(jìn)行了一輪驗(yàn)證。

做這些功能的時(shí)候，NEXT的小哥哥們心里還是有點(diǎn)抵制的。本來說好了做一個(gè)美女，突然中間加入了一個(gè)新目標(biāo)，去做一個(gè)老爺爺… 大家可以看一下照片，感受一下畫風(fēng)的突變。
新的目標(biāo)造成了巨大的心靈創(chuàng)傷，但我們的程序員還是非常敬業(yè)的。他們調(diào)整心態(tài)，把不同代碼分支的特性，整合進(jìn)了Mike的分支。

Mike的演示在VR中進(jìn)行。團(tuán)隊(duì)進(jìn)行了性能的優(yōu)化，確保有盡可能高的幀數(shù)。Epic團(tuán)隊(duì)重用了當(dāng)年做Hellblade的所有流程，加上各種新功能，做成一個(gè)1.5的版本，就直奔Siggraph了。

我們的謎樣自信，在這次展會被小小打擊了一下，知道此事并不簡單。

可能是藝高人膽大吧，今后的合作中，每次有重要展示節(jié)點(diǎn)之前，版本總是一塌糊涂的，但合作各方居然也能欣然前往會場。在Siggraph展出前夕也是如此，各種優(yōu)化效果需要調(diào)整，性能不達(dá)標(biāo)，Cubic Motion的表情捕捉又不能穩(wěn)定工作，甚至忙到Siggraph的第二天展示，還陸陸續(xù)續(xù)有新的修正被加入現(xiàn)場版本。

好在Siggraph展出非常成功，在Hellblade的整套管線上，技術(shù)又得到了進(jìn)一步的升級，人物渲染的質(zhì)量、捕捉和建模的精度，都有了不少的提升。如果說Hellblade的人物，還有一點(diǎn)數(shù)字痕跡，那么Siggraph中的Mike，已經(jīng)很難識別出是一個(gè)CG制作出的人物。Mike在講話的時(shí)候，口型還略有奇怪，看上去有些僵硬，但如果拋開口型不看，上半部分的臉，完全達(dá)到了最初的設(shè)想，真假難辨。

整體來說，這個(gè)中間節(jié)點(diǎn)是成功的。但我們也進(jìn)行了深刻地反思，為什么展前如此狼狽，我們今后需要如何改良流程。改良的結(jié)果，是完全無效。一模一樣的忙亂，在今后的研發(fā)中多次重現(xiàn)，我們經(jīng)歷了騰訊內(nèi)部匯報(bào)的幾天忙亂，經(jīng)歷了GDC前夕的通宵折騰，經(jīng)歷了后續(xù)Siggraph展出前的緊急突擊?？偸窃谡故粳F(xiàn)場奮戰(zhàn)，直到最后一刻，才能最終搞定。

也許高科技就是這么矯情，輕易不肯展示它的魅力吧。

渲染

Siggraph這個(gè)中間節(jié)點(diǎn)的工作非常成功，驗(yàn)證了新的流程，Cubic Motion新的捕捉技術(shù)也慢慢成熟。

而另一頭，我們的主要版本，也在緩緩?fù)七M(jìn)。

我們先在5月前后拍攝了姜冰潔的Look Dev參考照片。所謂的Look Dev，就是指我們需要拍攝模特在各個(gè)光照方向下的照片，多角度捕捉，然后在后期Unreal渲染開發(fā)中，會嘗試用引擎還原當(dāng)時(shí)的光照情況，然后把數(shù)字模型放在一樣的位置渲染，逐幀對比渲染圖片和實(shí)際照片的區(qū)別，盡可能調(diào)到一摸一樣。

這個(gè)做法可算讓人大開眼界，因?yàn)橛螒蜾秩酒鋵?shí)沒有要求如此精確，基于目測而不是精確的對比，渲染到大致差不多就行了。換一個(gè)角度看問題，的確會得出不一樣的做法，游戲的畫面和真實(shí)的差距太遠(yuǎn)，想不到要如此準(zhǔn)確去評估渲染質(zhì)量。而電影本就是要以假亂真，自然用最精確的方法去推動(dòng)質(zhì)量改善。

據(jù)說電影行業(yè)一直就是用這樣去做測試，因?yàn)镃G的制作過程非常長，有很多步驟，他們要不惜成本保證每一步質(zhì)量都盡可能好。如果不這么做，那么經(jīng)過多個(gè)步驟以后，誤差就會累計(jì)和放大，結(jié)果就沒有辦法看了。

我手邊沒有標(biāo)準(zhǔn)Look Dev的對比照片，找了兩張近似的。后面兩張照片，一張是真實(shí)照片，一張是Unreal中的渲染照片，注意看頭發(fā)部分，可以區(qū)分真實(shí)和Unreal渲染照片。實(shí)際Look Dev工作中，會精確找到光照一樣、角度一樣的兩張照片，來做針對性調(diào)整。當(dāng)然數(shù)字環(huán)境和真實(shí)畢竟還是不一樣的，不可能100%還原。從上述照片來看，我們也的確盡力做到最好了。
有了科學(xué)的方法，也不代表我們就能做出一流的效果。高端渲染，后期的改動(dòng)相當(dāng)微妙，我們也不具備能力分辨細(xì)微的畫面差別。所以我們還需要一個(gè)CG Supervisor。

CG Supervisor是一種非常神秘的職位，這個(gè)職位的術(shù)語，在影視行業(yè)用得較多，游戲開發(fā)行業(yè)往往稱之為Art Director。他們對渲染差異非常敏感，很多時(shí)候我們只能模糊感知到畫面有所不同，但他們卻能精確定位問題，給出修改方向建議，告知如何調(diào)整。

“The computer graphics supervisor, or CG Supervisor, is a person involved in the production of computer generated imagery, be it animation or visual effects. Due to the variety of productions and duties required, most CG supervisors are specialized in one area such as art , programming , or management.”

來自電影行業(yè)的CG Supervisor和電影制作的TA，指導(dǎo)我們的渲染功能開發(fā)，指導(dǎo)整個(gè)項(xiàng)目的美術(shù)素材制作，幫助我們一步步把基礎(chǔ)模型的品質(zhì)提高，把渲染功能完善。整個(gè)Look Dev的過程，貫穿了項(xiàng)目的始終，直到后期，還在不停地進(jìn)行修正，力圖達(dá)到最好的顯示效果。

掃描

如果說程序的開發(fā)，還是我們力所能及，可以參與的，那么模型的制作，就不是我們能把控的。開工數(shù)月，還沒有開始掃描模型，我們很驚慌，因?yàn)槟Ｐ褪呛竺嫠兄谱鞯钠瘘c(diǎn)。

聯(lián)合團(tuán)隊(duì)在6月份一起去了塞爾維亞，帶著模特，去了3Lateral公司掃描高精度模型。

掃描的過程，是一個(gè)照相建模的過程。我們讓女演員在場地中站好，按下快門，數(shù)百臺高清相機(jī)同時(shí)啟動(dòng)，從全方位拍下模特兒的各個(gè)角度的照片。這個(gè)圖是一個(gè)簡單的示意，我們當(dāng)時(shí)使用的設(shè)備，會更大更復(fù)雜。
整個(gè)使用過程并不復(fù)雜，復(fù)雜的是整套設(shè)備。在十幾平方的掃描房，搭建各種架子，放入數(shù)百臺相機(jī)，光是固定相機(jī)和完成連線，這就是一個(gè)極其巨大的工程。電源線、相機(jī)控制線，接入多臺電腦的USB HUB，然后電腦又通過網(wǎng)絡(luò)連接到一起，用一臺電腦作主控。主控電腦上發(fā)出操作指令后，多臺連接相機(jī)的電腦用合適的拍攝參數(shù)，同時(shí)操作數(shù)百臺相機(jī)拍攝。數(shù)百臺單反相機(jī)快門同時(shí)觸發(fā)，匯成一聲巨大的咔嚓。然后千百兆比特的照片在網(wǎng)絡(luò)中傳輸，匯總到主控電腦，做進(jìn)一步的處理。

捕捉臉部模型的設(shè)備，是在幾周前才開始組裝的。整個(gè)系統(tǒng)從結(jié)構(gòu)上來看并不算復(fù)雜，但由于部件比較多，所以整體容易出問題。比如有一陣子，按下快門后，有幾組相機(jī)沒有隨著其他相機(jī)一起拍攝。

這類設(shè)備的Debug過程，和電腦裝機(jī)差不多，無非就是換換零件，插拔線頭，重新啟動(dòng)。老外們忙了半天，開始懷疑到USB Hub。我們湊過去看熱鬧，發(fā)現(xiàn)整套設(shè)備各種高大上，但其中的USB Hub設(shè)備，用了中國的某流行的低端品牌。連我家里都嫌棄的品牌，他們居然用在工業(yè)級別的設(shè)備上？

我們趕緊告知他們，這個(gè)牌子質(zhì)量一般，建議全換掉。只可惜，塞爾維亞體驗(yàn)不到早上下單晚上到貨的服務(wù)。他們只好先從公司找了幾個(gè)備用的USB Hub，換下出問題的幾個(gè)Hub。但是這些Hub的問題不是不能用，而是不穩(wěn)定，時(shí)好時(shí)壞。大多數(shù)時(shí)間是可用的。整個(gè)系統(tǒng)有上百個(gè)Hub，出問題概率就不低了，有某個(gè)Hub出問題了，就要重拍，大家在提心吊膽中進(jìn)行著后續(xù)的拍攝。

幾天拍攝很快過去了，我們一邊幫忙，一邊學(xué)習(xí)。期間采集了大量的數(shù)據(jù)，包括靜態(tài)臉部數(shù)據(jù)，身體數(shù)據(jù)，牙齒數(shù)據(jù)，眼睛的特寫數(shù)據(jù)和各種表情數(shù)據(jù)。姜冰潔一會擺成人字，一會擺成S字，一會瞪大眼睛，一會鼓起腮幫，做出多樣的動(dòng)作，滿足著各種掃描需求。

完成采集數(shù)據(jù)后，Epic、Cubic Motion和我們各自回國，后續(xù)的建模工作，就全留給3Lateral了。

幾周后，靜態(tài)的模型逐漸交貨。我們的團(tuán)隊(duì)也就開始了LookDev的過程。3Lateral團(tuán)隊(duì)繼續(xù)忙著做后面的Rig系統(tǒng)，為面部表情做好準(zhǔn)備。

動(dòng)作捕捉

有了模型，有了渲染，還少了一個(gè)重要的環(huán)節(jié)：如何讓這個(gè)虛擬人物可以動(dòng)起來。

受限于技術(shù)和精度要求，動(dòng)起來這個(gè)任務(wù)，被分成兩部分。一部分是動(dòng)作捕捉，一部分是表情捕捉。外界也有些動(dòng)補(bǔ)技術(shù)，可以合二為一，但對于這個(gè)項(xiàng)目，精度和效率都不能達(dá)到需求。

動(dòng)作捕捉是相對成熟一些的技術(shù)。動(dòng)作捕捉已經(jīng)發(fā)展了挺多年，主流的技術(shù)都有不錯(cuò)的表現(xiàn)。在AAA游戲開發(fā)中，我們制作動(dòng)畫數(shù)據(jù)時(shí)候也一直在接觸。只是這一次，需要實(shí)時(shí)響應(yīng)，稍有麻煩。我們使用了Optitrack的技術(shù)，動(dòng)補(bǔ)的數(shù)據(jù)，需要直接在電腦上采集，然后Streaming到Unreal中，再展現(xiàn)到我們的Rig中。好在這一塊技術(shù)上也不算太復(fù)雜，主要就是很多工程上的細(xì)節(jié)需要去做。

貼完傳感器，開始捕捉各種動(dòng)作，先走通了UE里面的Live過程，再開始仔細(xì)根據(jù)動(dòng)作捕捉，研究身體Rig應(yīng)該如何改進(jìn)。在模型的關(guān)節(jié)處總有各種問題，需要一一調(diào)整，但總體來說，還容易搞定。

最難的地方，無疑是臉部表情了。

第一時(shí)間了解XR資訊
關(guān)注VR陀螺官網(wǎng)（vrtuoluo.cn）

關(guān)注微信公眾號：VR陀螺（vrtuoluo）,定時(shí)推送，VR/AR行業(yè)干貨分享、爆料揭秘、互動(dòng)精彩多。