2021年12月10日，由廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、廣東省虛擬現(xiàn)實(shí)產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟、深圳市科學(xué)技術(shù)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場(chǎng)協(xié)會(huì)指導(dǎo)，陀螺科技主辦，深圳市科技開(kāi)發(fā)交流中心、恒悅創(chuàng)客魔方協(xié)辦，行業(yè)頭部媒體游戲陀螺、VR陀螺、陀螺電競(jìng)、陀螺財(cái)經(jīng)、陀螺傳媒聯(lián)合主辦的2021未來(lái)商業(yè)生態(tài)鏈接大會(huì)暨第六屆金陀螺獎(jiǎng)?lì)C獎(jiǎng)典禮（簡(jiǎn)稱“FBEC2021”）在深圳大中華喜來(lái)登酒店6樓宴會(huì)廳盛大開(kāi)幕！

在中國(guó)力量·2021 5G XR產(chǎn)業(yè)峰會(huì)現(xiàn)場(chǎng)，阿里巴巴達(dá)摩院XR實(shí)驗(yàn)室負(fù)責(zé)人 譚平：以“XR技術(shù)漫談”為主題發(fā)表了演講。

以下為演講實(shí)錄：

我是阿里巴巴的譚平，現(xiàn)在負(fù)責(zé)的是XR實(shí)驗(yàn)室這一塊的工作。今天非常榮幸能有這樣的機(jī)會(huì)來(lái)和行業(yè)里面的各位朋友，來(lái)分享一下我們對(duì)于XR這一塊的思考。

AR/VR不僅僅只是游戲

今天先從始作俑者ROBLOX講起。ROBLOX是在美國(guó)今年上市的游戲公司，它的招股書(shū)中把“元宇宙”這個(gè)詞寫(xiě)了進(jìn)去，引來(lái)了非常多的討論。這個(gè)公司是什么樣的一個(gè)情況？

Roblox是一個(gè)游戲公司，在美國(guó)有非常大量的用戶，特別是青少年用戶。據(jù)統(tǒng)計(jì)，美國(guó)16歲以下的青少年可能一半都玩過(guò)他們的游戲。

這個(gè)游戲的特點(diǎn)是什么？它是一個(gè)開(kāi)放的游戲平臺(tái)，用戶可以在平臺(tái)上創(chuàng)建自己的游戲，比如說(shuō)你可以創(chuàng)建一個(gè)賽車(chē)游戲，或者創(chuàng)建一個(gè)射擊類(lèi)的游戲，這個(gè)游戲被創(chuàng)建出來(lái)之后再把它分發(fā)出去，讓大家在上面來(lái)玩。用戶創(chuàng)造的游戲里面，最火的游戲日活已經(jīng)到了千萬(wàn)級(jí)。Roblox是一個(gè)可以創(chuàng)造游戲的游戲平臺(tái)，因此可以被稱為是“元游戲”。他們公司在招股書(shū)里修飾了一下，把游戲世界說(shuō)成是宇宙，于是就成了“元宇宙”。

但從我們的角度來(lái)看，這件事情之所以引起社會(huì)對(duì)于AR、VR如此的關(guān)注，如此多互聯(lián)網(wǎng)巨頭都投身于這個(gè)領(lǐng)域中，是因?yàn)樗h(yuǎn)遠(yuǎn)不止游戲。

最近著名科學(xué)家錢(qián)學(xué)森的幾封信件在網(wǎng)上流傳得非常廣泛。我們大家一起看一下。我特別想強(qiáng)調(diào)中間的這封信件。錢(qián)學(xué)森老先生在90年代的時(shí)候就斷言，虛擬現(xiàn)實(shí)技術(shù)是計(jì)算機(jī)技術(shù)革命之后的又一項(xiàng)技術(shù)革命，它將引發(fā)一系列全世界的變革，一定會(huì)是人類(lèi)歷史中的大事情。他把虛擬現(xiàn)實(shí)技術(shù)提到一個(gè)如此的高度，它當(dāng)然不會(huì)僅僅只是游戲。

在我看來(lái)，AR/VR技術(shù)將會(huì)促使信息世界和物理世界合二為一。所謂的信息世界，是過(guò)去在PC、手機(jī)上構(gòu)建出來(lái)的互聯(lián)網(wǎng)世界，而物理世界是我們今天生活的、活生生的三維世界。隨著技術(shù)的進(jìn)一步發(fā)展，三維建模和數(shù)字孿生這樣的技術(shù)會(huì)將真實(shí)世界逐步地?cái)?shù)字化、虛擬化，使得整個(gè)真實(shí)世界有一個(gè)數(shù)字化的版本。AR和VR技術(shù)將進(jìn)一步融合虛擬和現(xiàn)實(shí)，使得人從感官上可以不用再去區(qū)分什么是真實(shí)，什么是虛擬，兩個(gè)世界會(huì)達(dá)到高度的融合。未來(lái)機(jī)器人的進(jìn)一步發(fā)展可能讓我們?cè)谔摂M世界里面做一些改變以后，直接改造或者改變真實(shí)的物理世界，通過(guò)機(jī)器人把虛擬世界的變化閉環(huán)到真實(shí)世界當(dāng)中去，這是一個(gè)非常重大的事件。

空間感知和理解是AR/VR的工作基礎(chǔ)

AR/VR眼鏡的工作基礎(chǔ)是對(duì)于空間的感知和空間的理解。

左邊有一幅AR眼鏡，用戶戴著它，從左邊可以看到汽車(chē)的后部，當(dāng)用戶走到前面，從側(cè)面觀察的時(shí)候可以看到汽車(chē)的側(cè)面，這樣會(huì)給用戶造成一個(gè)錯(cuò)覺(jué)，似乎這個(gè)地方有一輛汽車(chē)在這里擺著，實(shí)際上這里什么都沒(méi)有。這一系列都是視覺(jué)的錯(cuò)誤效果，本質(zhì)上這是基于空間位置的一項(xiàng)顯示技術(shù)。在絕大多數(shù)的AR/VR眼鏡上會(huì)有傳感器，比如用相機(jī)和陀螺儀來(lái)做空間位置的追蹤，會(huì)有微投影儀來(lái)顯示畫(huà)面，把畫(huà)面呈現(xiàn)出來(lái)給用戶就可以實(shí)現(xiàn)虛實(shí)融合的效果。

我們團(tuán)隊(duì)過(guò)去在這些方向上有一些積累。在空間內(nèi)容的獲取方面，我們?cè)O(shè)計(jì)了一款專(zhuān)屬設(shè)備，配有激光雷達(dá)和彩色相機(jī)，通過(guò)設(shè)備可以對(duì)于真實(shí)的物理空間進(jìn)行掃描，構(gòu)建出VR模型，然后可以應(yīng)用到VR看房、VR看店中。我們?cè)c一個(gè)品牌的店鋪合作，將他們的店鋪虛擬化，用戶可以在里面漫游，可以查看商品的詳情，甚至直接下單。

之前設(shè)備是要用激光雷達(dá)的，隨著技術(shù)的進(jìn)一步發(fā)展，最新的技術(shù)成果是可以逐步擺脫激光雷達(dá)的依賴，可以用純視覺(jué)方案來(lái)構(gòu)建三維的VR模型。這里給大家展示了一個(gè)從單張圖像直接通過(guò)機(jī)器學(xué)習(xí)的方法，通過(guò)人工智能的方法來(lái)獲得三維信息。

多場(chǎng)景應(yīng)用落地

最左邊是一張輸入的圖，中間是一個(gè)深入的圖，不同顏色代表不同的距離，再右邊是深度圖轉(zhuǎn)換成為三維點(diǎn)云來(lái)渲染的形式。這樣的技術(shù)使得未來(lái)VR內(nèi)容的生產(chǎn)能夠擺脫對(duì)于專(zhuān)業(yè)設(shè)備的依賴，使得這件事情能夠更加普惠，讓普通人用一般的全景相機(jī)甚至未來(lái)用手機(jī)可以大量、低成本來(lái)生產(chǎn)VR的內(nèi)容，加速內(nèi)容的制造。

剛才所講的VR內(nèi)容，更多還停留在可視化的層面。在非常多的應(yīng)用里面還需要模型的語(yǔ)義和結(jié)構(gòu)。如果是一個(gè)建筑物的話，它的承重墻在哪里，它的門(mén)和窗戶在哪個(gè)地方。這塊我們研究了BIM建模，通過(guò)對(duì)CDA圖紙的分析和處理來(lái)構(gòu)建BIM模型，可以應(yīng)用于智慧園區(qū)和安防運(yùn)維的項(xiàng)目上。

最左邊是去年結(jié)合疫情的需求，以這樣的技術(shù)來(lái)做的VR展會(huì)。右邊是用這個(gè)技術(shù)來(lái)做VR看樓，可以讓用戶看到自己的房型里面采光、視線，實(shí)現(xiàn)更加精細(xì)化的戶型選擇。在這個(gè)方向，我們也一直在持續(xù)做技術(shù)方面的探索。去年我們發(fā)布了世界上第一個(gè)大規(guī)模真實(shí)CAD圖紙的數(shù)據(jù)集，并且提供了大量的標(biāo)注數(shù)據(jù)。在CAD數(shù)據(jù)集上有詳細(xì)地標(biāo)注出來(lái)什么是門(mén)、什么是窗、什么是家具、什么是承重墻這樣的結(jié)構(gòu)，電線和水管等等分別在什么地方。

基于這樣的數(shù)據(jù)可以做一些最新人工智能的圖紙識(shí)別來(lái)幫助整個(gè)BIM建模的過(guò)程提效。當(dāng)然這一塊的技術(shù)可提升的空間依然非常大，即便是在一些相對(duì)簡(jiǎn)單的結(jié)構(gòu)上，今天的識(shí)別率依然只有80%。在這方面希望未來(lái)有更多的同行加入其中，與我們一起推動(dòng)技術(shù)的進(jìn)步，我們把數(shù)據(jù)集開(kāi)源出來(lái)了，希望能夠促進(jìn)數(shù)據(jù)的進(jìn)步。

另外一個(gè)就是剛才講的空間?？臻g構(gòu)建出來(lái)以后，一個(gè)很重要的事情就是如何進(jìn)行空間定位。左邊是跟寶馬汽車(chē)的合作的案例，例如車(chē)開(kāi)到商場(chǎng)以后，回來(lái)以后找不到了。這個(gè)案例是什么呢？車(chē)現(xiàn)在很智能的，車(chē)有傳感器，開(kāi)到地庫(kù)去，它知道自己停在哪個(gè)位置，車(chē)把位置推送到用戶的手機(jī)，用戶的手機(jī)做AR導(dǎo)航就可以把你帶回去。當(dāng)然，先要對(duì)于車(chē)庫(kù)進(jìn)行三維的建圖，建圖完成之后還要定位。

右邊是一個(gè)概念視頻。設(shè)想AR的技術(shù)普惠以后，戴上眼鏡參觀阿里巴巴的西溪園區(qū)，可以進(jìn)行打卡、合影和應(yīng)用。

下面是和北京的一家美術(shù)館進(jìn)行合作的AR觀展體驗(yàn)。我自己讀理工科出身，看到藝術(shù)家的作品經(jīng)常很困惑，借助AR/VR的技術(shù)，戴上AR眼鏡以后可以看到更豐富的藝術(shù)解釋?zhuān)梢詭椭覀冞@些人來(lái)理解藝術(shù)家的理念。

在視覺(jué)定位方向，我們也在探索技術(shù)的前沿。最新的工作是大幅度壓縮模型的尺寸。比如說(shuō)剛才講到要在車(chē)庫(kù)里面找車(chē)，AR導(dǎo)航需要構(gòu)建車(chē)庫(kù)的地圖。這里放了一個(gè)例子，左邊單棟樓宇的模型，在過(guò)去傳統(tǒng)方法來(lái)講要有一個(gè)2G的內(nèi)存才能把樓宇的模型放下來(lái)，這對(duì)于端上的體驗(yàn)來(lái)講是不太友好的，即便做云端的串流，用戶從這棟樓跑到另外一棟樓就要下載2G的內(nèi)容，很痛苦。我們做了一個(gè)方法把模型壓縮到10M大小的情況下依然能保持一個(gè)良好的體驗(yàn)，希望對(duì)我們產(chǎn)品的進(jìn)一步應(yīng)用能有幫助。

我們?cè)谔摂M人上面也有一些工作。這是一個(gè)虛擬人的案例，這個(gè)案例是阿里巴巴的一個(gè)公益項(xiàng)目，數(shù)字人小莫。小莫非常多才多藝，可以把我們說(shuō)話的語(yǔ)音和文本變成手語(yǔ)的表達(dá)，這對(duì)于聽(tīng)障礙人士是非常有幫助的事情。因?yàn)槲覀兛梢酝ㄟ^(guò)聽(tīng)廣播和看電視來(lái)獲得大量的信息，但對(duì)于聽(tīng)障礙人士是非常困難的，虛擬人能把文字信息變成手語(yǔ)來(lái)方便聽(tīng)力障礙人士獲得信息。

我們還有一個(gè)工作：把手語(yǔ)的視頻轉(zhuǎn)化成為文字或者語(yǔ)言，方便我們理解聽(tīng)障人士想表達(dá)什么，促進(jìn)大家更方便地交流。在這個(gè)方向上，我們也有一些前沿學(xué)術(shù)的進(jìn)展。最左邊這里是用了非常少數(shù)的RGB相機(jī)做動(dòng)態(tài)人數(shù)的三維案例，這里用了四個(gè)相機(jī)，從四個(gè)相機(jī)的畫(huà)面里面可以把人物細(xì)節(jié)的三維模型構(gòu)建出來(lái)，未來(lái)可以用做通訊場(chǎng)景當(dāng)中。右邊是用真人來(lái)驅(qū)動(dòng)高寫(xiě)實(shí)的虛擬人的表情案例，我們可以用一個(gè)真人來(lái)驅(qū)動(dòng)這樣虛擬的形象，并且將這樣的虛擬形象應(yīng)用于各種各樣的場(chǎng)景。比如一些客服等等應(yīng)用。

    AR/VR技術(shù)正在加速普及。各種應(yīng)用不斷出現(xiàn)，相關(guān)技術(shù)也快速迭代。相信一個(gè)更加美好的互聯(lián)網(wǎng)時(shí)代即將到來(lái)。我今天的分享就講到這里，謝謝大家！