長久以來多數(shù)普通人對(duì)于VR游戲或者是當(dāng)下流行的“元宇宙（Metaverse）”的想象上限，基本上不會(huì)超出2018年那部電影——《頭號(hào)玩家》。而事實(shí)上在那部電影里的角色，在進(jìn)入“綠洲世界”看到自己的虛擬人物時(shí)，下意識(shí)都會(huì)通過動(dòng)動(dòng)雙手來判斷自己與這一虛擬世界的擬真度與交互尺度，但要知道主角其實(shí)是沒用任何手柄的。

如今不少VR游戲或應(yīng)用已經(jīng)開始引入更高精度的手勢交互，用戶漸漸開始可以通過VR頭顯，實(shí)現(xiàn)虛擬世界中的“裸手”操作，用一雙手就能創(chuàng)造“魔法”。當(dāng)然，這樣的手勢互動(dòng)依然還需要更高精度的技術(shù)支持。

圖片來源于網(wǎng)絡(luò)

近日，愛奇藝深度學(xué)習(xí)云算法團(tuán)隊(duì)聯(lián)合慕尼黑工業(yè)大學(xué)的研究者提出了一套高精度手部重建系統(tǒng)，通過算法“學(xué)習(xí)”各種精度的手部圖片即能實(shí)現(xiàn)高精度 3D 重建。簡言之，這個(gè)系統(tǒng)“適配”到帶有攝像功能的眼鏡或者頭盔中，那么使用者即使不用手柄，也能實(shí)現(xiàn)與虛擬世界的高質(zhì)量對(duì)話。從效果看，該論文在已經(jīng)在頗受認(rèn)可的HO3D在線測評(píng)榜上，持續(xù)數(shù)月排名首位。在Freihand 在線測評(píng)榜上，截至論文編寫時(shí)仍排名首位。

該技術(shù)很可能在愛奇藝下一代VR設(shè)備甚至是“元宇宙”虛擬現(xiàn)實(shí)中大顯身手。

當(dāng)VR頭顯設(shè)備能夠逐漸擺脫傳統(tǒng)手柄的束縛，讓用戶能實(shí)現(xiàn)更加自然的手勢交互與應(yīng)用體驗(yàn)時(shí)，成為了VR新風(fēng)口的“元宇宙”或許才真正擁有了走出電影，走進(jìn)現(xiàn)實(shí)的機(jī)會(huì)。

更精細(xì)的手勢識(shí)別技術(shù)，讓用戶打卡平行時(shí)空的多重身份

當(dāng)下，通過手勢識(shí)別打破次元壁，獲得更佳臨場感，已成為當(dāng)前VR、AR消費(fèi)級(jí)頭顯設(shè)備重點(diǎn)研究的方向之一。這也是為什么自從Oculus Quest手勢追蹤功能推出后，便被Oculus寄予厚望。

為了鼓勵(lì)更多開發(fā)者嘗試該功能，Oculus重點(diǎn)推介了基于手勢追蹤功能開發(fā)的VR應(yīng)用《First Steps With Hand Tracking》以及VR益智游戲《Tiny Castles》。其中，《Tiny Castles》游戲關(guān)卡設(shè)計(jì)并不復(fù)雜，動(dòng)作場面也只能算跨過了及格線，但這款游戲最重要的一點(diǎn)在于，它是一款真正面向普通用戶，并且“純粹”采用手勢追蹤功能而開發(fā)的VR動(dòng)作益智游戲。其強(qiáng)調(diào)并主打“裸手”操作，當(dāng)玩家將扮演一個(gè)神明角色，通過手部交互系統(tǒng)裸手克服各種挑戰(zhàn)，包括解決復(fù)雜謎題、操作古老機(jī)器、與敵人作戰(zhàn)等。

圖片來源于網(wǎng)絡(luò)

這意味著玩家可以真正放下手柄，完全依靠VR頭顯對(duì)于雙手的手勢識(shí)別來完成相應(yīng)的游戲操作。這樣子的操作不僅更符合使用直覺，同時(shí)也讓人看到了VR游戲更大的可能性。

目前已上線自帶手勢識(shí)別功能的VR游戲也充分說明了VR應(yīng)用在探索“一雙手在虛擬世界為用戶帶來更沉浸臨場感”的迫切。Facebook和magnopus曾開發(fā)VR手勢游戲《Elixir》，以及VR魔法游戲《Waltz of the Wizard》。在這兩款游戲中，用戶可以用手與房間中的魔法物件互動(dòng)，然后獲得多種有趣的魔法。

圖片來源于網(wǎng)絡(luò)

《Waltz of the Wizard》在更新了全新的DLC之后，用戶能利用一種魔咒來保護(hù)自己不受敵人傷害。實(shí)際上，這一種魔咒是游戲的關(guān)鍵，因?yàn)樗С肿远x，就像是《哈利波特》中巫師使用魔杖所能達(dá)到的效果。施法的方法有許多，用戶可以雙手并用使出全力，或是蓄力再發(fā)射，發(fā)射咒語的速度也會(huì)影響魔咒光束的效果，同時(shí)也可以用手勢點(diǎn)燃煙火、握住魔藥瓶、擺弄物品、隔空寫字、隔空取物。

而Cubism這樣的益智類輕量游戲，更是以完美將游戲性與手勢操作的結(jié)合“聲名遠(yuǎn)揚(yáng)”。在游戲中，使用拇指和食指捏合可以完成“拿”的動(dòng)作，捏住不放可以“轉(zhuǎn)”，松開捏合的兩指完成“放”。捏住透明立體圖形邊緣的細(xì)線可以進(jìn)行觀察。

圖片來源于網(wǎng)絡(luò)

裸手手勢識(shí)別在VR游戲中的應(yīng)用正在告訴用戶，在一個(gè)個(gè)游戲世界里，用戶不再只是用戶，可以真正融入這個(gè)世界，獲取在另一個(gè)空間的多種身份。

目前，從評(píng)價(jià)最好的原生VR游戲《半條命：愛莉克斯》來看，在這類游戲場景下，盡管人們與虛擬世界的交互盡管已經(jīng)非常成熟，但若要完成撿東西、扔?xùn)|西、扣動(dòng)扳機(jī)等復(fù)雜動(dòng)作，更精確的手勢操作依然還需要手柄的輔助，這不僅僅是《半條命：愛莉克斯》獨(dú)自面對(duì)的挑戰(zhàn)，也是讓很多游戲開發(fā)者頭疼的問題。

不論是Facebook自家的Oculus Quest 2，還是國內(nèi)少有專注于VR硬件制造與內(nèi)容開發(fā)的愛奇藝所推出的奇遇2Pro，其手柄設(shè)計(jì)都還是只能盡可能利用6DOF手柄去模擬真實(shí)的手部動(dòng)作與手勢交互，但這一切轉(zhuǎn)化到游戲中時(shí)，多少還是會(huì)與現(xiàn)實(shí)場景有所差異，從而造成沉浸感不足的遺憾。

因?yàn)橹钡浇裉?，盡管VR頭顯已經(jīng)在運(yùn)算能力與手勢識(shí)別上有了相當(dāng)巨大的進(jìn)步，但對(duì)于入門級(jí)的設(shè)備而言，依然面臨著相當(dāng)大的技術(shù)瓶頸。“尤其是在對(duì)于真正的裸手手勢識(shí)別的實(shí)現(xiàn)，這不單單只是硬件層面的問題，更多還需要依靠軟件算法上的進(jìn)步，才能獲得更高精度的識(shí)別，從而帶來更加具有臨場感與沉浸感的手勢操作，并進(jìn)一步讓VR用戶得以擺脫手柄的束縛，完全沉浸在虛擬世界中。” 愛奇藝深度學(xué)習(xí)云算法團(tuán)隊(duì)表示。

圖片來源于網(wǎng)絡(luò)

當(dāng)然這類技術(shù)的實(shí)現(xiàn)在早期往往都需要依靠海量的學(xué)術(shù)研究作為技術(shù)突破的基礎(chǔ)，近日，計(jì)算機(jī)視覺領(lǐng)域國際頂會(huì) ICCV 2021 收錄了一篇題為《I2UV-HandNet: Image-to-UV Prediction Network for Accurate and High-fidelity 3D Hand Mesh Modeling》的論文。

圖注：I2UV-HandNet 框架圖，由 AffineNet 和 SRNet 組成

論文由愛奇藝深度學(xué)習(xí)云算法團(tuán)隊(duì)聯(lián)合慕尼黑工業(yè)大學(xué)的研究者完成，他們提出一套名為 I2UV-HandNet 的高精度手部重建系統(tǒng)，通過算法“學(xué)習(xí)” 超高精度的人手圖片即能實(shí)現(xiàn)高精度3D手部重建。

用更通俗易懂的方式來說，如果將來能讓這項(xiàng)技術(shù)應(yīng)用到帶有攝像功能的AR眼鏡或者VR頭顯中，那么使用者即使不用手柄，也能實(shí)現(xiàn)與虛擬世界的高質(zhì)量手勢互動(dòng)。

目前，研究者們與技術(shù)人員正在嘗試將該技術(shù)應(yīng)用到愛奇藝下一代VR設(shè)備中，從而減少對(duì)手柄的依賴，打造出更輕、更快和更舒適的VR設(shè)備。同時(shí)，手部重建、手勢交互技術(shù)目前也同步在愛奇藝其他業(yè)務(wù)場景和硬件終端進(jìn)行落地探索，未來無疑也會(huì)被應(yīng)用到更多現(xiàn)實(shí)場景中。

毫無疑問，手勢交互的不斷演進(jìn)，除了能加強(qiáng)更多輕量級(jí)VR游戲的開發(fā)，也對(duì)于正在逐漸走出紙面走向現(xiàn)實(shí)的“元宇宙”產(chǎn)生極大助益，畢竟當(dāng)人們想要在一個(gè)真正無限的虛擬世界里大展拳腳時(shí)，絕對(duì)不會(huì)想要被手柄這類“古典”設(shè)備束縛住了手腳。

“元宇宙”大門漸開，技術(shù)演進(jìn)讓沉浸娛樂更早到來

2018年史蒂文·斯皮爾伯格執(zhí)導(dǎo)的電影《頭號(hào)玩家》中展現(xiàn)的風(fēng)靡全球的虛擬游戲世界“綠洲”（Oasis），其實(shí)就是元宇宙最簡單直接所應(yīng)該呈現(xiàn)的樣子。為了逃避現(xiàn)實(shí)世界的混亂，玩家紛紛投入綠洲的懷抱，在其中獲得新的身份來社交和娛樂。綠洲不僅能為玩家提供逼真的感官體驗(yàn)，本身還擁有完整社會(huì)形態(tài)、商業(yè)經(jīng)濟(jì)規(guī)范，數(shù)字內(nèi)容和物品都可以買賣。而正是這些無限類似于現(xiàn)實(shí)世界的虛擬世界規(guī)則，構(gòu)成了元宇宙。

回到現(xiàn)實(shí)中，社交、娛樂科技公司也正在積極定義著他們理想中的元宇宙。

一直致力于拓展VR應(yīng)用邊界的Facebook，恰恰也還是元宇宙的強(qiáng)力推行者。其CEO馬克·扎克伯格，他在6月底內(nèi)部員工演講中表示，F(xiàn)acebook的首要目標(biāo)就是把科幻小說里的“元宇宙”帶入生活。

圖片來源于網(wǎng)絡(luò)

扎克伯格說：“我認(rèn)為在未來五年左右的時(shí)間里，在我們公司的下一個(gè)篇章中，能讓人們對(duì)Facebook的認(rèn)知從社交媒體公司轉(zhuǎn)變?yōu)樵钪婀尽?rdquo;

VR顯然是這個(gè)篇章中重要的一頁。對(duì)于VR用戶來講，由于他們主動(dòng)選擇進(jìn)入VR中的虛擬世界，因此不容易受到恐怖谷效果影響。他們對(duì)于VR的預(yù)期，更多是希望從VR中獲得“超能力”，而不是還原日常生活，因此即使VR的體驗(yàn)感已經(jīng)超出自然，也能夠給人一種沉浸的感受。這不僅挑戰(zhàn)開發(fā)者需要使用創(chuàng)造力，同樣挑戰(zhàn)技術(shù)公司的技術(shù)創(chuàng)新能力。

就像《半條命：愛莉克斯》手勢交互設(shè)計(jì)師Kerry Davis在之前接受媒體采訪時(shí)提到的：“很明顯，用虛擬手來代表手勢交互是重要的。即使游戲中沒有采用全身虛擬形象，你至少可以通過虛擬手來代表自己，融入VR中的場景。就像在現(xiàn)實(shí)生活中那樣，你在VR中也會(huì)渴望與周圍環(huán)境自然互動(dòng)，因此在VR中體現(xiàn)出手的外觀足夠重要。”

由此可見，自然的手勢識(shí)別在VR交互中是一個(gè)十分重要的技術(shù)，甚至可以說是被視為計(jì)算機(jī)理解人體語言的一種必要途徑。

但手部、人體重建卻是用自然的肢體語言實(shí)現(xiàn)人機(jī)交互的關(guān)鍵技術(shù)，相比一些可穿戴設(shè)備，更能帶來體驗(yàn)和沉浸度。例如手柄無法模擬手指每一個(gè)關(guān)節(jié)的活動(dòng)，手部重建則能實(shí)現(xiàn)更加精細(xì)的操控。這意味著能夠擴(kuò)展至游戲、數(shù)字化工廠、虛擬場景培訓(xùn)等更多場景，讓人在虛擬世界中更具存在感。

人類在虛擬世界獲得的真實(shí)程度通常用臨場感和沉浸感來形容。而相比于沉浸感，臨場感更強(qiáng)調(diào)人和場景之間的關(guān)系，也可以說是人在場景里的存在感。

扎克伯格說：“從上中學(xué)開始，我真正想要做的事情基本上給人一種打造具體化互聯(lián)網(wǎng)的感覺，在那里你可以置身于環(huán)境中，傳送到不同的地方，和朋友待在一起。”

而如今能夠帶來這種臨場感的，除了VR/AR之外，他還加入了元宇宙：“VR和AR所能做的，以及元宇宙將廣泛幫助人們體驗(yàn)的是一種臨場感，我認(rèn)為這種臨場感會(huì)讓我們互動(dòng)方式變得更自然。”

圖片來源于網(wǎng)絡(luò)

這一切的實(shí)現(xiàn)其實(shí)仰賴的依然是像Facebook或是愛奇藝這樣的將娛樂與科技相結(jié)合的平臺(tái)級(jí)公司，以及他們不斷實(shí)現(xiàn)的技術(shù)突破。一方面用戶需要能夠在其中感受到接近真實(shí)卻又超越真實(shí)的體驗(yàn)，另一方面通過手勢識(shí)別打破次元壁，獲得更佳臨場感，又成為了能夠讓消費(fèi)級(jí)VR設(shè)備進(jìn)一步降低成本向更廣泛的普通用戶普及的核心要素。

在對(duì)于如何將技術(shù)不斷應(yīng)用到內(nèi)容中，以求讓用戶不斷獲得沉浸感上，愛奇藝始終處在探索到前沿。今年年初，愛奇藝就通過THE9“虛實(shí)之城”沉浸式虛擬演唱會(huì)提供了其對(duì)于“元宇宙”的部分實(shí)現(xiàn)：打造一套通用解決方案，對(duì)現(xiàn)有內(nèi)容IP進(jìn)行技術(shù)擴(kuò)展，從而在某個(gè)特定場景內(nèi)打造出媲美“元宇宙”的體驗(yàn)。

“XR”+影視劇集、綜藝、話劇、演唱會(huì)、交響樂、體育競賽...每種結(jié)合可能成為“元宇宙”構(gòu)成之一。而隨著VR設(shè)備的進(jìn)一步普及，以及愛奇藝能夠在未來的設(shè)備上基于更低成本的深度學(xué)習(xí)算法完成的高精度手勢識(shí)別，不僅僅只是游戲，更多使用場景或硬件終端都將會(huì)極大的增強(qiáng)相應(yīng)的“沉浸體驗(yàn)”。

未來，虛擬偶像直播當(dāng)中，如果要跟用戶直接溝通的話，那種高精度的手勢識(shí)別可以有更好的一些體驗(yàn)。Facebook與愛奇藝這樣的平臺(tái)級(jí)公司以手勢識(shí)別和與交互的范式革新的探索，展開了人類深入虛擬世界探索的更多可能。當(dāng)用戶在虛擬世界里，能夠近乎真實(shí)的感受到一雙手能自如地操控時(shí)，人類關(guān)于“元宇宙”的構(gòu)建或許才真正起步。

聲明：新聞稿非VR陀螺官方稿，法律問題一律與VR陀螺無關(guān)