Jetson TX1 開發(fā)板官方圖
其次,假設(shè)使用的是TX1,TX1是Nvidia針對機(jī)器學(xué)習(xí)推出的嵌入式系統(tǒng)平臺,處理器性能提升并不明顯,側(cè)面反映了Magic Leap設(shè)備目前通用計算的量不大,而含256個CUDA核心的GPU肯定是為了MR設(shè)備的高圖形運(yùn)算需求而生的,但是帶來了另外的發(fā)熱以及功耗方面的困擾: 巨大的風(fēng)扇和開發(fā)板直接用AC電源輸出,這塊峰值功率達(dá)到10W的開發(fā)板,不知未來小型化的前景如何,雖然一個“外置式”的計算模塊對重量要求可能會降低,但是“板磚”估計也不能被接受的。 技術(shù)總是在不斷衍進(jìn)的。剛剛發(fā)布的Nitendo Switch就搭載了Nvidia最新一代的Tegra Parker處理器。不排除Magic Leap已經(jīng)跳過了TX1直接上Parker平臺,畢竟TX1硬傷太明顯,Nvidia并沒有在這一代平臺上發(fā)力,有可能集中精力在做下一代Parker平臺。 附上Parker與TX1、TK1 Spec對比 看上去是干活的,但是究竟干得怎么樣? 首先,這里要明確一個觀點:技術(shù)的邊界是趨同的(特別是做軟件、算法層面的公司)。在對真正前沿科技的探索上,同領(lǐng)域的頂級公司技術(shù)差距其實并不大(因為大家用的技術(shù)框架其實都很類似)。 舉個例子, 在圖像識別領(lǐng)域,每年ImageNet的比賽頂級team之間的差距并不大(標(biāo)準(zhǔn)實驗室環(huán)境下),每年的冠軍也是輪流換,真正有巨大提升的,是Hinton12年用深度學(xué)習(xí)來做圖像識別那一年,之后大家都換成了深度學(xué)習(xí)框架,競爭又變成了一個兩個百分點的競爭。 當(dāng)然如果變成了復(fù)雜環(huán)境或者說真實環(huán)境,大家的技術(shù)體驗就更相似了:40%正確率和60%正確率,對于用戶來說都是一樣的:不準(zhǔn)! 另外一個例子就是VR行業(yè):Oculus相對VIVE,起步早一些,但是實際能拿出的產(chǎn)品從體驗上來看區(qū)別不大,甚至PS VR雖然技術(shù)指標(biāo)不如前兩者,實際上卻是出貨量最大也最受好評的VR平臺。 所以,如果我們把Hololens所定義的MR當(dāng)做這個行業(yè)目前的標(biāo)桿,躋身行業(yè)一線玩家行列,需要具備什么樣的條件呢? 首先是空間視覺能力,或者說是基于嵌入式平臺的SLAM(即時定位與地圖構(gòu)建,或并發(fā)建圖與定位)。Hololens之所以帶來這么大的震撼,主要也是因為這是第一個公開銷售并集成了Inside-out追蹤技術(shù)的HMD系統(tǒng)(什么是Inside-out空間定位技術(shù),簡單來說就是利用設(shè)備自身,而不依靠外部的傳感器等配件,實現(xiàn)虛擬場景里的空間定位,以及更多的人機(jī)交互)。 在這之前,所有HMD搭載的定位系統(tǒng)都是outside-in方案,即需要外置的攝像頭拍攝頭盔或者控制器的mark點來定位。從使用難度來講相去不可以道里計(用過VIVE的都懂)。Inside-out技術(shù)簡示
其次,光有Inside-out本身是不足以支撐混合現(xiàn)實體驗的,還需要空間信息或者說深度信息的疊加,才能夠真正實現(xiàn)定位+空間重建來支撐完整的混合現(xiàn)實體驗。深度信息與SLAM的疊加從技術(shù)難度上來說并不高,但是目前鑒于大家連inside-out還沒做好,空間信息的疊加還需等待。 SLAM本身并不是一個新東西,國內(nèi)也有相當(dāng)多的團(tuán)隊在做,比較突出的包括速感科技,Perceptin等等,但是目前都還是作為一個雙目空間攝像頭模塊存在,Ximmerse拿出了自己的inside-out方案,也是取了個巧,利用攝像頭拍攝手柄上的光點進(jìn)行定位,還不能算是廣義上的inside-out方案。 國外目前在做空間視覺的創(chuàng)業(yè)公司包括Infinity AR,Occitipal等等,今年CES2017幾家公司也均有參展,Infinity AR的Demo是一個飛機(jī)在桌子上起落飛翔的動態(tài)演示,但是跑道與桌子的貼合包括整體影像的晃動都很劇烈,演示效果離Hololens的穩(wěn)定狀態(tài)還有比較大的差距。 相比之下Occitpal的演示則更令人印象深刻,整體體驗非常好,但我個人懷疑是針對特定的演示場景做了優(yōu)化,實際產(chǎn)品能達(dá)到什么樣的效果尚數(shù)未知。 大公司方面,Oculus去年宣布了自己的一體機(jī)Santa Cruz,承諾會有inside-out定位功能,Google Tango一直是移動SLAM的先行者,蘋果也收購了相當(dāng)多AR相關(guān)的公司,據(jù)傳也在研究眼鏡產(chǎn)品,高通也已經(jīng)發(fā)布了自己的VR一體機(jī)產(chǎn)品,號稱有inside-out追蹤功能,其他公司包括ODG,Lumus,Meta等等,目前還都是在提供基于不同光學(xué)方案的AR眼鏡產(chǎn)品,由于不具有空間視覺功能,尚不能認(rèn)定為MR產(chǎn)品。 第二點,就是要有好的AR光學(xué)方案,Hololens包括Magic Leap都是采用了全息波導(dǎo)衍射光柵的光學(xué)鏡片,而其他公司如ODG及Meta等則采用自由曲面、棱鏡或者幾者混合的光學(xué)方案。 顯示技術(shù)應(yīng)當(dāng)說在目前來看,技術(shù)迭代的路線整體是向光波導(dǎo)光學(xué)靠攏的,只有光波導(dǎo)才能做到真正像現(xiàn)在正常眼鏡一樣大小輕重的HMD產(chǎn)品。 但是目前光波導(dǎo)鏡片面臨量產(chǎn)難度大,成本高,F(xiàn)OV(field of view, 簡單來說,就是玩家游戲時的視野)不足的問題,相對來說自由曲面或者棱鏡的光學(xué)方案則門檻更低,相對供應(yīng)鏈更成熟,顯示效果跟目前成熟的光波導(dǎo)鏡片來看也完全不差甚至猶有過之。 Meta用很笨拙的方案就做到了90度FOV,而今年CES Lumus展出的50度光波導(dǎo)鏡片方案已經(jīng)是目前最領(lǐng)先的光波導(dǎo)鏡片了,更不要說他巨大的頭部器件和發(fā)熱。本人實測Lumus
第三點,就是一些硬件包括其背后體現(xiàn)的思路,具體應(yīng)當(dāng)說包含三點:四攝像頭SLAM,結(jié)構(gòu)光以及HPU。 首先是四攝像頭,感興趣的同學(xué)大概已經(jīng)發(fā)現(xiàn)了一個奇怪的巧合:Oculus的一體機(jī)Santa Cruz也是采用了四攝像頭方案(不過Hololens的方案是左右各兩個,Santa Cruz的方案是上下各兩個)。 我猜Magic Leap也會采用四攝像頭的方案,主要是為了在保證mapping的angular resolution的基礎(chǔ)上,同時兼顧tracking的FOV,說白了,就是為了看得更準(zhǔn)更寬,從而保證了定位和追蹤的穩(wěn)定性,這是雙目甚至單目解決不了的。 結(jié)構(gòu)光:Hololens的深度信息均來自結(jié)構(gòu)光攝像頭,包括手勢識別,但這里一個有意思的事情是,很多人做SLAM的時候也會結(jié)合結(jié)構(gòu)光信息來做,但這在HMD上是無法應(yīng)用的,因為結(jié)構(gòu)光在做空間識別的時候,識別范圍較遠(yuǎn),是不能夠識別近距離的手的具體信息的,所以如果使用了結(jié)構(gòu)光來做SLAM,實際上是無法同時應(yīng)用手勢識別的。 在Hololens具體操作時,也是預(yù)先掃描了周邊環(huán)境的深度信息,然后才開始做手勢識別交互。 HPU是另一個被傳得神乎其神的東西,實際上是微軟定制的Cadence Tensilica的DSP,內(nèi)含24個核心,主要用來處理跟視覺,手勢,環(huán)境感知相關(guān)的一切算法。 所以算力提升對于MR行業(yè)來說仍然是亟需解決的問題,想想Magic Leap開發(fā)板上巨大的散熱器~ 所以總結(jié)來看,目前除了微軟,行業(yè)內(nèi)的其他玩家都或多或少的缺乏MR產(chǎn)品的一部分核心能力,而Magic Leap,無論從其展示的思路還是靠譜的小道消息,是最靠近這個技術(shù)路線并且已經(jīng)有相當(dāng)技術(shù)積累的公司。 所以,那些神視頻到底怎么回事? 首先,Magic Leap總共發(fā)布過4段視頻(辦公室機(jī)器人大戰(zhàn)、太陽系、A new morning以及星戰(zhàn))+2個動圖Demo(鯨魚以及手心小象)。 其中辦公室機(jī)器人大戰(zhàn)、鯨魚以及手心小象都是特效視頻,其余的均為“Shot directly from Magic Leap”。所以之前很多媒體報道中所謂“均為特效”是不實的,不過實拍的內(nèi)容中細(xì)琢磨的話也有很多小tricks,下面詳細(xì)分析一下: 1. 兩張截圖分別來自兩段視頻,但都非常清晰的顯示了一個問題:桌子可以非常完美的把R2D2的身體擋住,當(dāng)機(jī)器人走到桌子旁邊或者鏡頭位置變化到有物體在前面“遮擋”圖像的時候,被遮擋的圖像就完美的不顯示了!這是怎么做到的呢? 我們知道眼鏡類的產(chǎn)品,鏡片是所有光線進(jìn)入眼睛的最后一道門戶,理論上鏡片上的圖像是疊加在所有外在信息之上的,這種“被遮擋”的錯覺顯然是因為眼鏡根據(jù)深度信息發(fā)現(xiàn)圖像產(chǎn)生了“被遮擋”的關(guān)系,從而停止渲染那部分區(qū)域的圖像,讓自然光線透過鏡片,實現(xiàn)了類似“被遮擋”的效果。 道理都說得通,問題是這里的被遮擋關(guān)系展現(xiàn)的太完美了,不僅圖像穩(wěn)定清晰,被遮擋的邊緣也沒有絲毫誤差,這就很有意思了。可以對比一下Hololens在使用環(huán)境下,雖然也能做到部分的“被遮擋”效果,但是會產(chǎn)生很頻繁的畫面抖動,因為并不確定被遮擋的邊緣以及面積到底有多少。 竊以為Magic Leap在這些演示視頻中,雖然確實是實時渲染而且是實拍的,但是肯定對場景做了預(yù)先的精細(xì)掃描和建模,才能夠達(dá)到這么好的效果。 這也是平時在看SLAM項目的時候的一大問題:演示視頻或者場景由于有事先特定的優(yōu)化,能夠?qū)崿F(xiàn)比真實使用中好得多的效果,有的時候限于時間因素不能反復(fù)測試,經(jīng)常會被這樣的“小把戲”欺騙,等真的詳細(xì)DD的時候,又發(fā)現(xiàn)了這樣那樣技術(shù)上難以克服的問題。 2. 關(guān)于太陽系的這一段視頻也是非常有趣的,展現(xiàn)了Magic Leap的“光場顯示”技術(shù),即在不同的景深上可以成像。演示視頻中一會兒太陽很清晰,一會兒地球很清晰,是很明顯的光場顯示技術(shù)的應(yīng)用。 這里又有一個很有趣的問題了,不是說好了用光波導(dǎo)的嗎?光場技術(shù)到底是什么情況?實際上Magic Leap確實是有很深的光場顯示包括光纖顯示技術(shù)的儲備,但是由于種種問題,離真正產(chǎn)品化路還非常遠(yuǎn),應(yīng)該說這段視頻只是秀肌肉,短時間之內(nèi)是不可能看到類似的產(chǎn)品面世的。 光場顯示其實國內(nèi)有團(tuán)隊在做,我也在中科院某所看過類似的Demo,整個光學(xué)系統(tǒng)就比目前的頭盔還大,還只能實現(xiàn)7個焦距上的光場顯示,完全不具備產(chǎn)品化價值(Magic Leap據(jù)說要好很多)。 而光纖顯示,大家從光纖的屬性上其實也能推測到,這么脆弱的介質(zhì),稍微用一用就會有變形,錯位等等的問題,產(chǎn)品化的路也很漫長。 3. 關(guān)于其他的演示視頻 其實除了鯨魚那段演示視頻確實是太浮夸了之外(其實你想象所有人都戴著眼鏡但是P掉了就好),其余無論小象的demo還是機(jī)器人大戰(zhàn)的demo,都是在目前的技術(shù)環(huán)境下可以實現(xiàn)的,大家完全不必對技術(shù)這么悲觀,這段算勉強(qiáng)洗個地。 最后,最重要的是MR(混合現(xiàn)實)的未來 之所以說了這么久Magic Leap的故事,是因為MR讓我振奮。以下簡單說說我的觀點: 1. VR、AR殊途同歸,未來只有MR。 設(shè)想一下,VR一體機(jī)和AR眼鏡,最主要的區(qū)別是什么呢?其實就是一個是透明的,一個是不透明的。 目前來看VR擁有更大視角以及不透明的視野,而AR眼鏡視角小,但是能看到現(xiàn)實世界。無論VR還是AR的創(chuàng)業(yè)者,都很明白空間視覺的重要性,因為它本質(zhì)上就是用戶體驗,更大的視角,更透明的世界,他們都想要。 另一方面來說,眼球追蹤,手勢識別,全景音效以及更好的人體工學(xué)也都是所有從業(yè)者共同追求的,未來會成為所有HMD產(chǎn)品的標(biāo)配。而大視角、高分辨率也會是所有產(chǎn)品的一個共同追求。 這樣看來,透明或者不透明,其實就不是問題了,只要多做一個遮罩,甚至是鏡片上附一層可調(diào)透光度的膜,就可以解決這個問題。目前所有VR/AR從業(yè)者所努力的方向可以說是統(tǒng)一的,那就是VR與 AR合二為一。 2. 從實際技術(shù)演進(jìn)來看,MR設(shè)備更容易成熟。 2016-2017年,VR行業(yè)在國內(nèi)可以說從天堂到地獄,從16年初的萬人空巷到17年初的慘慘戚戚,客觀上反映了VR設(shè)備在普及上遇到的問題,其中最最主要的問題就是眩暈感遲遲無法解決,用戶的平均使用時間基本上在15分鐘左右,根本無法支撐真正優(yōu)質(zhì)內(nèi)容的產(chǎn)生,從而導(dǎo)致了惡性循環(huán)。 在我看來,眩暈感或許是5年內(nèi)VR設(shè)備無法邁過的門檻,除非用類似萬向跑步機(jī)的外設(shè),否則簡單的“房間級”追蹤,還是無法完美解決用戶的暈動癥問題。藥物可能是解決這個問題的最佳方案。而MR設(shè)備則不同,能看到外面的場景包括相對小很多的FOV,都會讓用戶在實際使用中更容易接受。 3. PC、手機(jī)之后,下一代計算平臺將會是以語音交互為核心的HMD產(chǎn)品。 如果你留心看CES2017,一個很大的改變就是AR作為一個單獨的品類開始參展,ODG,Lumus,Vuzix,Sony,Infinity AR,Occitipal等等,成為了CES 2017少有的亮點。今年VR參展的數(shù)量很少,不過用VR進(jìn)行展示的企業(yè)很多,VR已經(jīng)變成一個Feature。 無論是Oculus開始招募AR團(tuán)隊,還是蘋果要發(fā)布自己的AR產(chǎn)品,華為招募了前Oculus大牛做AR/VR/MR技術(shù)負(fù)責(zé)人等等,都清晰的說明了一個信息:巨頭正在跑步入場。 正如之前所提過的,技術(shù)的邊界是趨同的,當(dāng)巨頭們看到Hololens這樣的產(chǎn)品是可實現(xiàn)的之后,相關(guān)的創(chuàng)新包括探索也會層出不窮,相關(guān)的技術(shù)人才、技術(shù)儲備也會導(dǎo)致整個市場的百花齊放,我們正處在快速迭代的時代,科技水平的發(fā)展真的要用“日新月異”來形容。 以語音交互為核心的HMD作為下一代計算平臺出現(xiàn)在尋常百姓家的日子,已經(jīng)越來越近了。 來源;洪泰幫 關(guān)注微信公眾號:VR陀螺(vrtuoluo),定時推送,VR/AR行業(yè)干貨分享、爆料揭秘、互動精彩多。投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息