2021年12月10日,由廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、廣東省虛擬現(xiàn)實(shí)產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟、深圳市科學(xué)技術(shù)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場協(xié)會(huì)指導(dǎo),陀螺科技主辦,深圳市科技開發(fā)交流中心、恒悅創(chuàng)客魔方協(xié)辦,行業(yè)頭部媒體游戲陀螺、VR陀螺、陀螺電競、陀螺財(cái)經(jīng)、陀螺傳媒聯(lián)合主辦的2021未來商業(yè)生態(tài)鏈接大會(huì)暨第六屆金陀螺獎(jiǎng)?lì)C獎(jiǎng)典禮(簡稱“FBEC2021”)在深圳大中華喜來登酒店6樓宴會(huì)廳盛大開幕!
在中國力量·2021 5G XR產(chǎn)業(yè)峰會(huì)現(xiàn)場,阿里巴巴達(dá)摩院XR實(shí)驗(yàn)室負(fù)責(zé)人 譚平:以“XR技術(shù)漫談”為主題發(fā)表了演講。
以下為演講實(shí)錄:
我是阿里巴巴的譚平,現(xiàn)在負(fù)責(zé)的是XR實(shí)驗(yàn)室這一塊的工作。今天非常榮幸能有這樣的機(jī)會(huì)來和行業(yè)里面的各位朋友,來分享一下我們對于XR這一塊的思考。
AR/VR不僅僅只是游戲
今天先從始作俑者ROBLOX講起。ROBLOX是在美國今年上市的游戲公司,它的招股書中把“元宇宙”這個(gè)詞寫了進(jìn)去,引來了非常多的討論。這個(gè)公司是什么樣的一個(gè)情況?
Roblox是一個(gè)游戲公司,在美國有非常大量的用戶,特別是青少年用戶。據(jù)統(tǒng)計(jì),美國16歲以下的青少年可能一半都玩過他們的游戲。
這個(gè)游戲的特點(diǎn)是什么?它是一個(gè)開放的游戲平臺,用戶可以在平臺上創(chuàng)建自己的游戲,比如說你可以創(chuàng)建一個(gè)賽車游戲,或者創(chuàng)建一個(gè)射擊類的游戲,這個(gè)游戲被創(chuàng)建出來之后再把它分發(fā)出去,讓大家在上面來玩。用戶創(chuàng)造的游戲里面,最火的游戲日活已經(jīng)到了千萬級。Roblox是一個(gè)可以創(chuàng)造游戲的游戲平臺,因此可以被稱為是“元游戲”。他們公司在招股書里修飾了一下,把游戲世界說成是宇宙,于是就成了“元宇宙”。
但從我們的角度來看,這件事情之所以引起社會(huì)對于AR、VR如此的關(guān)注,如此多互聯(lián)網(wǎng)巨頭都投身于這個(gè)領(lǐng)域中,是因?yàn)樗h(yuǎn)遠(yuǎn)不止游戲。
最近著名科學(xué)家錢學(xué)森的幾封信件在網(wǎng)上流傳得非常廣泛。我們大家一起看一下。我特別想強(qiáng)調(diào)中間的這封信件。錢學(xué)森老先生在90年代的時(shí)候就斷言,虛擬現(xiàn)實(shí)技術(shù)是計(jì)算機(jī)技術(shù)革命之后的又一項(xiàng)技術(shù)革命,它將引發(fā)一系列全世界的變革,一定會(huì)是人類歷史中的大事情。他把虛擬現(xiàn)實(shí)技術(shù)提到一個(gè)如此的高度,它當(dāng)然不會(huì)僅僅只是游戲。
在我看來,AR/VR技術(shù)將會(huì)促使信息世界和物理世界合二為一。所謂的信息世界,是過去在PC、手機(jī)上構(gòu)建出來的互聯(lián)網(wǎng)世界,而物理世界是我們今天生活的、活生生的三維世界。隨著技術(shù)的進(jìn)一步發(fā)展,三維建模和數(shù)字孿生這樣的技術(shù)會(huì)將真實(shí)世界逐步地?cái)?shù)字化、虛擬化,使得整個(gè)真實(shí)世界有一個(gè)數(shù)字化的版本。AR和VR技術(shù)將進(jìn)一步融合虛擬和現(xiàn)實(shí),使得人從感官上可以不用再去區(qū)分什么是真實(shí),什么是虛擬,兩個(gè)世界會(huì)達(dá)到高度的融合。未來機(jī)器人的進(jìn)一步發(fā)展可能讓我們在虛擬世界里面做一些改變以后,直接改造或者改變真實(shí)的物理世界,通過機(jī)器人把虛擬世界的變化閉環(huán)到真實(shí)世界當(dāng)中去,這是一個(gè)非常重大的事件。
空間感知和理解是AR/VR的工作基礎(chǔ)
AR/VR眼鏡的工作基礎(chǔ)是對于空間的感知和空間的理解。
左邊有一幅AR眼鏡,用戶戴著它,從左邊可以看到汽車的后部,當(dāng)用戶走到前面,從側(cè)面觀察的時(shí)候可以看到汽車的側(cè)面,這樣會(huì)給用戶造成一個(gè)錯(cuò)覺,似乎這個(gè)地方有一輛汽車在這里擺著,實(shí)際上這里什么都沒有。這一系列都是視覺的錯(cuò)誤效果,本質(zhì)上這是基于空間位置的一項(xiàng)顯示技術(shù)。在絕大多數(shù)的AR/VR眼鏡上會(huì)有傳感器,比如用相機(jī)和陀螺儀來做空間位置的追蹤,會(huì)有微投影儀來顯示畫面,把畫面呈現(xiàn)出來給用戶就可以實(shí)現(xiàn)虛實(shí)融合的效果。
我們團(tuán)隊(duì)過去在這些方向上有一些積累。在空間內(nèi)容的獲取方面,我們設(shè)計(jì)了一款專屬設(shè)備,配有激光雷達(dá)和彩色相機(jī),通過設(shè)備可以對于真實(shí)的物理空間進(jìn)行掃描,構(gòu)建出VR模型,然后可以應(yīng)用到VR看房、VR看店中。我們曾與一個(gè)品牌的店鋪合作,將他們的店鋪虛擬化,用戶可以在里面漫游,可以查看商品的詳情,甚至直接下單。
之前設(shè)備是要用激光雷達(dá)的,隨著技術(shù)的進(jìn)一步發(fā)展,最新的技術(shù)成果是可以逐步擺脫激光雷達(dá)的依賴,可以用純視覺方案來構(gòu)建三維的VR模型。這里給大家展示了一個(gè)從單張圖像直接通過機(jī)器學(xué)習(xí)的方法,通過人工智能的方法來獲得三維信息。
多場景應(yīng)用落地
最左邊是一張輸入的圖,中間是一個(gè)深入的圖,不同顏色代表不同的距離,再右邊是深度圖轉(zhuǎn)換成為三維點(diǎn)云來渲染的形式。這樣的技術(shù)使得未來VR內(nèi)容的生產(chǎn)能夠擺脫對于專業(yè)設(shè)備的依賴,使得這件事情能夠更加普惠,讓普通人用一般的全景相機(jī)甚至未來用手機(jī)可以大量、低成本來生產(chǎn)VR的內(nèi)容,加速內(nèi)容的制造。
剛才所講的VR內(nèi)容,更多還停留在可視化的層面。在非常多的應(yīng)用里面還需要模型的語義和結(jié)構(gòu)。如果是一個(gè)建筑物的話,它的承重墻在哪里,它的門和窗戶在哪個(gè)地方。這塊我們研究了BIM建模,通過對CDA圖紙的分析和處理來構(gòu)建BIM模型,可以應(yīng)用于智慧園區(qū)和安防運(yùn)維的項(xiàng)目上。
最左邊是去年結(jié)合疫情的需求,以這樣的技術(shù)來做的VR展會(huì)。右邊是用這個(gè)技術(shù)來做VR看樓,可以讓用戶看到自己的房型里面采光、視線,實(shí)現(xiàn)更加精細(xì)化的戶型選擇。在這個(gè)方向,我們也一直在持續(xù)做技術(shù)方面的探索。去年我們發(fā)布了世界上第一個(gè)大規(guī)模真實(shí)CAD圖紙的數(shù)據(jù)集,并且提供了大量的標(biāo)注數(shù)據(jù)。在CAD數(shù)據(jù)集上有詳細(xì)地標(biāo)注出來什么是門、什么是窗、什么是家具、什么是承重墻這樣的結(jié)構(gòu),電線和水管等等分別在什么地方。
基于這樣的數(shù)據(jù)可以做一些最新人工智能的圖紙識別來幫助整個(gè)BIM建模的過程提效。當(dāng)然這一塊的技術(shù)可提升的空間依然非常大,即便是在一些相對簡單的結(jié)構(gòu)上,今天的識別率依然只有80%。在這方面希望未來有更多的同行加入其中,與我們一起推動(dòng)技術(shù)的進(jìn)步,我們把數(shù)據(jù)集開源出來了,希望能夠促進(jìn)數(shù)據(jù)的進(jìn)步。
另外一個(gè)就是剛才講的空間。空間構(gòu)建出來以后,一個(gè)很重要的事情就是如何進(jìn)行空間定位。左邊是跟寶馬汽車的合作的案例,例如車開到商場以后,回來以后找不到了。這個(gè)案例是什么呢?車現(xiàn)在很智能的,車有傳感器,開到地庫去,它知道自己停在哪個(gè)位置,車把位置推送到用戶的手機(jī),用戶的手機(jī)做AR導(dǎo)航就可以把你帶回去。當(dāng)然,先要對于車庫進(jìn)行三維的建圖,建圖完成之后還要定位。
右邊是一個(gè)概念視頻。設(shè)想AR的技術(shù)普惠以后,戴上眼鏡參觀阿里巴巴的西溪園區(qū),可以進(jìn)行打卡、合影和應(yīng)用。
下面是和北京的一家美術(shù)館進(jìn)行合作的AR觀展體驗(yàn)。我自己讀理工科出身,看到藝術(shù)家的作品經(jīng)常很困惑,借助AR/VR的技術(shù),戴上AR眼鏡以后可以看到更豐富的藝術(shù)解釋,可以幫助我們這些人來理解藝術(shù)家的理念。
在視覺定位方向,我們也在探索技術(shù)的前沿。最新的工作是大幅度壓縮模型的尺寸。比如說剛才講到要在車庫里面找車,AR導(dǎo)航需要構(gòu)建車庫的地圖。這里放了一個(gè)例子,左邊單棟樓宇的模型,在過去傳統(tǒng)方法來講要有一個(gè)2G的內(nèi)存才能把樓宇的模型放下來,這對于端上的體驗(yàn)來講是不太友好的,即便做云端的串流,用戶從這棟樓跑到另外一棟樓就要下載2G的內(nèi)容,很痛苦。我們做了一個(gè)方法把模型壓縮到10M大小的情況下依然能保持一個(gè)良好的體驗(yàn),希望對我們產(chǎn)品的進(jìn)一步應(yīng)用能有幫助。
我們在虛擬人上面也有一些工作。這是一個(gè)虛擬人的案例,這個(gè)案例是阿里巴巴的一個(gè)公益項(xiàng)目,數(shù)字人小莫。小莫非常多才多藝,可以把我們說話的語音和文本變成手語的表達(dá),這對于聽障礙人士是非常有幫助的事情。因?yàn)槲覀兛梢酝ㄟ^聽廣播和看電視來獲得大量的信息,但對于聽障礙人士是非常困難的,虛擬人能把文字信息變成手語來方便聽力障礙人士獲得信息。
我們還有一個(gè)工作:把手語的視頻轉(zhuǎn)化成為文字或者語言,方便我們理解聽障人士想表達(dá)什么,促進(jìn)大家更方便地交流。在這個(gè)方向上,我們也有一些前沿學(xué)術(shù)的進(jìn)展。最左邊這里是用了非常少數(shù)的RGB相機(jī)做動(dòng)態(tài)人數(shù)的三維案例,這里用了四個(gè)相機(jī),從四個(gè)相機(jī)的畫面里面可以把人物細(xì)節(jié)的三維模型構(gòu)建出來,未來可以用做通訊場景當(dāng)中。右邊是用真人來驅(qū)動(dòng)高寫實(shí)的虛擬人的表情案例,我們可以用一個(gè)真人來驅(qū)動(dòng)這樣虛擬的形象,并且將這樣的虛擬形象應(yīng)用于各種各樣的場景。比如一些客服等等應(yīng)用。
AR/VR技術(shù)正在加速普及。各種應(yīng)用不斷出現(xiàn),相關(guān)技術(shù)也快速迭代。相信一個(gè)更加美好的互聯(lián)網(wǎng)時(shí)代即將到來。我今天的分享就講到這里,謝謝大家!
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息
上一篇: FBEC2021 | JBD首席運(yùn)營官 徐慧文:光機(jī)尺寸達(dá)到1CC,才能讓眼鏡變成接近正常眼鏡的形態(tài)
下一篇: FBEC2021 | OPPO XR 技術(shù)負(fù)責(zé)人 徐毅:AR體驗(yàn)做得更好需要發(fā)展感知能力和交互能力