VR為用戶創(chuàng)造了一個(gè)完全封閉的沉浸式交互3D空間。能夠打破這種“與世隔絕”的限制，讓虛擬世界與現(xiàn)實(shí)世界相融，并提供新的觀看和交互方式的MR展現(xiàn)出巨大的潛能。

一鍵切換沉浸觀影模式（圖源：蘋果）

從蘋果Vision Pro目前展示的體驗(yàn)內(nèi)容和場(chǎng)景來(lái)看，首先從原有內(nèi)容生態(tài)移植的作品將是最早一批，而后隨著開(kāi)發(fā)者對(duì)于蘋果開(kāi)發(fā)工具以及產(chǎn)品的研究愈發(fā)深入，基于其核心眼動(dòng)+手勢(shì)交互以及3D空間計(jì)算特性的內(nèi)容將作為第二批開(kāi)始涌現(xiàn)。

而無(wú)論是未來(lái)第一批還是第二批內(nèi)容，由蘋果Vision Pro超高性能配置所引發(fā)的MR浪潮，3D高畫質(zhì)的內(nèi)容都將成為其中最為核心的一類。

 MR大勢(shì)所趨，云或?qū)⒏膶懱摂M世界規(guī)則 

6月的蘋果全球開(kāi)發(fā)者大會(huì)結(jié)束后，人們的注意力轉(zhuǎn)向了蘋果Vision Pro以及XR產(chǎn)業(yè)鏈相關(guān)公司，市場(chǎng)對(duì)MR的關(guān)注度持續(xù)提高。蘋果針對(duì)該平臺(tái)重新設(shè)計(jì)了系統(tǒng)、芯片、光學(xué)、交互、平臺(tái)以及開(kāi)發(fā)工具，最終形成了一套完整的產(chǎn)品生態(tài)。雙4K Micro OLED屏幕、M2+R1雙處理器、高精度傳感器、12個(gè)攝像頭，結(jié)合蘋果的生態(tài)系統(tǒng)，Vision Pro每一項(xiàng)參數(shù)都朝著“頂配”的方向設(shè)計(jì)。

而蘋果推出如此高規(guī)格的產(chǎn)品，則與其本身的定位有關(guān)，蘋果將MR頭顯視為用于可滿足娛樂(lè)、日?；顒?dòng)、辦公場(chǎng)景以及提升生產(chǎn)力的工具。如此一來(lái)，硬件參數(shù)的提升對(duì)內(nèi)容的質(zhì)量也有了更高的要求，不僅是清晰度、流暢度、穩(wěn)定性，還有強(qiáng)調(diào)沉浸度的交互感。

Quest Store（圖源：Meta）

一直以來(lái)，大部分的VR設(shè)備重點(diǎn)都聚焦在全沉浸的VR上，而自去年開(kāi)始，陸續(xù)發(fā)布的VR終端開(kāi)始結(jié)合VST功能，在VR的基礎(chǔ)上拓展虛實(shí)融合的MR場(chǎng)景成為了所有終端廠商不謀而合的一致目標(biāo)，而蘋果更是將VST的透視效果拉到了天花板級(jí)別，讓體驗(yàn)達(dá)到與OST（基于光學(xué)的透視效果）方案足以匹敵的水平。

VST是實(shí)現(xiàn)MR融合的技術(shù)形式之一，起初用于解決VR安全問(wèn)題，用來(lái)完成定位并設(shè)置安全邊界，而后其功能逐漸擴(kuò)展，進(jìn)一步融合Lidar、空間映射、空間錨點(diǎn)、場(chǎng)景理解等AR功能。

隨著光學(xué)技術(shù)的進(jìn)步，未來(lái)會(huì)有更豐富的視覺(jué)呈現(xiàn)形式應(yīng)用于人們的工作生活和娛樂(lè)體驗(yàn)中，MR融合已是大勢(shì)所趨。

盡管MR帶來(lái)了新的操作體驗(yàn)，但市面上完成度高的應(yīng)用并不多，大部分MR項(xiàng)目仍處于Demo階段。究其原因，首先搭載VST的設(shè)備上市時(shí)間較短，通常應(yīng)用開(kāi)發(fā)時(shí)間短則數(shù)月，多則數(shù)年，開(kāi)發(fā)者接觸的時(shí)間并不算長(zhǎng)，而且，大部分開(kāi)發(fā)者的核心場(chǎng)景仍圍繞VR為主。而且，之前大部分終端VST效果有限，通過(guò)1600萬(wàn)像素?cái)z像頭所捕捉的現(xiàn)實(shí)世界畫面效果稍顯粗糙，畸變、延遲、SLAM穩(wěn)定性仍需要提升。MR主打“與現(xiàn)實(shí)空間實(shí)時(shí)交互”的功能，更不用提很多設(shè)備連空間定位功能都不具備，可實(shí)現(xiàn)的交互能力也參差不齊。

此外，MR對(duì)硬件側(cè)實(shí)時(shí)渲染有很高的要求，由于所有資源均為3D，計(jì)算量遠(yuǎn)遠(yuǎn)大于2D內(nèi)容，如果要渲染高分辨率的畫面，對(duì)于計(jì)算性能以及帶寬的傳輸都是一大難點(diǎn)。

XR硬件參差不齊，大部分硬件算力又十分有限。如何降低各類成本，降低高品質(zhì)內(nèi)容與硬件設(shè)備的性能之間的強(qiáng)關(guān)聯(lián)屬性？云技術(shù)或許有望成為MR時(shí)代改寫規(guī)則、解決成本和算力問(wèn)題的有效解決方案。

作為蔚領(lǐng)時(shí)代探索MR世界的第一步，其《春草傳·木禾危機(jī)》雖然目前尚未完全MR化，但這一部影視級(jí)畫面表達(dá)的沉浸式3D交互作品，還融合了云、AI、數(shù)字人等核心技術(shù)，或許作為第一批高畫質(zhì)移植類作品中驗(yàn)證技術(shù)融合價(jià)值的有力參考。

 蔚領(lǐng)時(shí)代《春草傳·木禾危機(jī)》開(kāi)啟探索MR第一步

7月26日，蔚領(lǐng)時(shí)代在上海浦東舉辦以“聚勢(shì)·破界”為主題的發(fā)布會(huì)。會(huì)上，其展示了集游戲、云渲染、AI（AIGC）的影視級(jí)沉浸式3D交互作品《春草傳·木禾危機(jī)》。

《春草傳·木禾危機(jī)》是《春草傳》的續(xù)作，第一部作品也以“電影級(jí)云原生”為核心標(biāo)簽，一經(jīng)發(fā)出就積累了非常高的人氣。如他們?cè)贐站發(fā)布的《春草傳》技術(shù)演示視頻播放量已經(jīng)超過(guò)百萬(wàn)。同時(shí)主角“春草”更是憑借高精度的動(dòng)作和細(xì)膩的表情，以數(shù)字人演員身份正式出道，進(jìn)一步深化作品IP價(jià)值。

圖源：B站截圖

《春草傳·木禾危機(jī)》作為續(xù)作，在前作的基礎(chǔ)上融合了非常多前沿技術(shù)的探索。相比第一部《春草傳》，現(xiàn)場(chǎng)蔚領(lǐng)時(shí)代使用Meta Quest Pro、Goovis以及裸眼3D屏幕和傳統(tǒng)TV四種形式來(lái)展示了第二部的體驗(yàn)，雖然并沒(méi)有使用大家所理解的MR空間交互，但在VR/MR終端中，所呈現(xiàn)出來(lái)的3D和巨幕震撼效果，要遠(yuǎn)超2D電視和裸眼3D桌面顯示效果。在蔚領(lǐng)時(shí)代看來(lái)，這是其邁向MR的第一步，未來(lái)還將探索更深更沉浸的空間交互體驗(yàn)?！洞翰輦?middot;木禾危機(jī)》巧妙地融合影視和游戲，既具備觀賞故事性，同時(shí)也保留了一定的可玩性和交互性。

《春草傳·木禾危機(jī)》將以“連續(xù)劇”的形式分集推出，完整地講述一個(gè)故事，同時(shí)讓用戶參與到故事的推進(jìn)中，這不僅大幅縮短了游戲從立項(xiàng)到上線的時(shí)間，同時(shí)通過(guò)分集推出的形式，也改變了傳統(tǒng)游戲的商業(yè)模式，可以讓用戶以訂閱的形式“追劇”。

讓人印象深刻的是作品堪稱“電影級(jí)”的畫面效果，據(jù)了解該游戲地圖由復(fù)雜精細(xì)的船體和山體大規(guī)模堆疊而成，作品包體光模型就已經(jīng)達(dá)到了40GB。

成本是開(kāi)發(fā)者重點(diǎn)關(guān)注的因素，據(jù)蔚領(lǐng)時(shí)代創(chuàng)始人兼董事長(zhǎng)郭建君介紹：“《春草傳》每一分鐘的成本接近130萬(wàn)，我們做了7個(gè)月。而《春草傳·木禾危機(jī)》每分鐘的成本從130萬(wàn)降到30多萬(wàn)，我們的制作時(shí)間僅4個(gè)月。明年的時(shí)間我們要把制作成本從30多萬(wàn)變成10萬(wàn)~15萬(wàn)每分鐘，如果有大量的團(tuán)隊(duì)實(shí)現(xiàn)高效的生產(chǎn)力，我相信能夠?qū)崿F(xiàn)蔚領(lǐng)第二曲線的生產(chǎn)目標(biāo)。”

雖然在體驗(yàn)媒介和開(kāi)發(fā)的部分，融入了諸多新技術(shù)，不過(guò)與前作一樣的是，《春草傳·木禾危機(jī)》依然保留了云原生的屬性。在2D平面終端上實(shí)現(xiàn)云原生，與在以3D為核心的MR終端上實(shí)現(xiàn)，其數(shù)據(jù)量的差異可想而知，更不用說(shuō)未來(lái)的MR終端即將要向雙眼8K的標(biāo)準(zhǔn)邁進(jìn)，對(duì)于作品畫面表現(xiàn)的要求只會(huì)越來(lái)越高，而渲染的壓力也是指數(shù)級(jí)提升。

圖源：蔚領(lǐng)時(shí)代

 實(shí)現(xiàn)云原生電影級(jí)沉浸式交互背后的技術(shù)底層

過(guò)去的游戲開(kāi)發(fā)和影視制作的路徑是完全不同的，無(wú)論是資產(chǎn)容量還是內(nèi)容質(zhì)量，制作一款游戲都不需要大規(guī)模分工。而《春草傳·木禾危機(jī)》作為蔚領(lǐng)時(shí)代集云渲染、云原生、AI等技術(shù)的大成者，相比傳統(tǒng)開(kāi)發(fā)大幅實(shí)現(xiàn)了降本增效。

云游戲與本地游戲的一大區(qū)別就在于算力差異，將渲染算力從手機(jī)側(cè)轉(zhuǎn)移到服務(wù)端側(cè)，算力將大幅提升，云游戲的畫面相比僅在手機(jī)端渲染有明顯的畫質(zhì)提升。

然而不少M(fèi)R內(nèi)容難以落地的原因在于MR設(shè)備所附帶的算力始終有限，當(dāng)下的目標(biāo)是解決算力和傳輸?shù)膯?wèn)題。

通過(guò)蔚領(lǐng)時(shí)代基于深度神經(jīng)網(wǎng)絡(luò)構(gòu)建的“端側(cè)實(shí)時(shí)超分”技術(shù)，可以解決MR項(xiàng)目難以落地的問(wèn)題，降低端側(cè)要求的同時(shí)使用一部分空閑的端側(cè)算力來(lái)實(shí)現(xiàn)云游戲的效果。

《春草傳·木禾危機(jī)》畫面分辨率要達(dá)到4K以上，在MR側(cè)平鋪顯示時(shí)才會(huì)有清晰震撼的視覺(jué)效果。而碼率的不足對(duì)于畫面的質(zhì)量也會(huì)產(chǎn)生巨大影響，導(dǎo)致畫面不清晰或畫面延時(shí)。端側(cè)實(shí)時(shí)超分能有效解決這一問(wèn)題，通過(guò)在服務(wù)端運(yùn)行1080P渲染，端側(cè)本地超分提升至4K畫質(zhì)，就可以在當(dāng)前傳輸條件下，在MR平鋪效果中實(shí)現(xiàn)更清晰的畫質(zhì)。同時(shí)，還能將云端的渲染從4K降低至1080P，有效節(jié)省計(jì)算資源。

圖源：蔚領(lǐng)時(shí)代

云游戲的端側(cè)實(shí)時(shí)超分相比主流短視頻端側(cè)超分，計(jì)算量和IO基本上都是短視頻應(yīng)用的4倍。為了讓超分技術(shù)落到實(shí)處，蔚領(lǐng)時(shí)代將技術(shù)核心聚焦到了近段時(shí)間風(fēng)頭正盛的AI。

AI技術(shù)在優(yōu)化3D資產(chǎn)方面有著舉足輕重的作用。蔚領(lǐng)時(shí)代AI Lab團(tuán)隊(duì)利用AI在性能方面進(jìn)行深度優(yōu)化：

首先，通過(guò)量化、剪枝、重參數(shù)化等方式，極致壓縮模型大小，增強(qiáng)模型學(xué)習(xí)和表達(dá)能力；其次，通過(guò)算子定制優(yōu)化方式，在神經(jīng)網(wǎng)絡(luò)推理側(cè)實(shí)現(xiàn)更高的層間并行度；最后，通過(guò)在CPU/GPU/NPU（AI芯片）中針對(duì)不同模塊選擇最合適的計(jì)算單元，實(shí)現(xiàn)最底層的內(nèi)存共享，避免操作冗繁，給用戶帶來(lái)更好的娛樂(lè)體驗(yàn)。

蔚領(lǐng)時(shí)代還攻關(guān)了“多GPU協(xié)同渲染”核心技術(shù)課題。據(jù)了解蔚領(lǐng)時(shí)代旗下業(yè)務(wù)部門“硅基大陸”主要研究GPU服務(wù)器，搭載我們自身云渲染技術(shù)，可為更多行業(yè)提供充裕的硬件和軟件支持。

搭建云端GaaS能力，不僅在游戲領(lǐng)域有著重要作用，在各行各業(yè)都有著非常大的需求。

蔚領(lǐng)時(shí)代認(rèn)為，云端GaaS能力的建設(shè)，有可能會(huì)成為未來(lái)MR虛擬時(shí)代需要匹配的基礎(chǔ)基建和算力基座。而基于已有能力展示MR內(nèi)容的創(chuàng)新，也是蔚領(lǐng)時(shí)代重點(diǎn)打磨《春草傳·木禾危機(jī)》的原因之一。

圖源：蔚領(lǐng)時(shí)代

郭建君表示：“我們戴上MR設(shè)備是需要支付成本的，這個(gè)成本就是舒適性，它畢竟是一個(gè)穿戴式大眼鏡，同時(shí)還有安全性方面的考慮。當(dāng)我們支付成本的時(shí)候需要換取一些東西，換什么呢？換的就是沉浸感，但是一個(gè)可以互動(dòng)的動(dòng)漫在沉浸感的塑造上不夠理想。所以MR本質(zhì)上對(duì)于游戲行業(yè)的要求，應(yīng)該是讓游戲可以從互動(dòng)的動(dòng)漫升級(jí)為可以互動(dòng)的影視，達(dá)到影視級(jí)別的視覺(jué)效果，大家才會(huì)在沉浸感上得到一定的滿足。”

 MR將是人類感受虛擬世界的主要入口，用MR構(gòu)建蔚領(lǐng)第二價(jià)值曲線

近期，蘋果正式開(kāi)放Vision Pro開(kāi)發(fā)者硬件申請(qǐng)，并提出了諸多針對(duì)應(yīng)用開(kāi)發(fā)指南。蘋果Vision Pro讓MR開(kāi)發(fā)者看到了更大的創(chuàng)意發(fā)揮空間。而MR視覺(jué)和交互兩大體驗(yàn)的升維，讓蔚領(lǐng)時(shí)代看到了MR的前景。

目前的主流觀點(diǎn)之一是：MR有望成為新一代通用計(jì)算平臺(tái)?；仡櫷ㄓ糜?jì)算平臺(tái)的發(fā)展，以屏幕為代表的輸出設(shè)備發(fā)生非常大的變化，從PC到智能手機(jī)，再到更小MR，屏幕在向“物理小尺寸、虛擬無(wú)限屏”變化，通過(guò)MR獲得的體驗(yàn)也是PC和手機(jī)難以媲美的。

目前僅依靠2D屏幕無(wú)法直接進(jìn)入到《頭號(hào)玩家》那樣的虛擬世界，但通過(guò)3D，MR有望掀起新浪潮。

郭建君先是回顧了蔚領(lǐng)時(shí)代的發(fā)展歷程，5G傳輸速率的提升，云計(jì)算ToC的巨大前景，游戲場(chǎng)景與云的完美契合，這些機(jī)遇點(diǎn)使得蔚領(lǐng)時(shí)代順利從0到1推進(jìn)云游戲，但以手機(jī)為代表的移動(dòng)終端不一定是云游戲的最大需求場(chǎng)景，對(duì)算力和內(nèi)容有著極大需求的還有MR。

他表示：“當(dāng)前數(shù)字經(jīng)濟(jì)正在進(jìn)入互聯(lián)網(wǎng)3.0階段，互聯(lián)網(wǎng)經(jīng)歷從數(shù)據(jù)、算法時(shí)代，開(kāi)始向可視化升級(jí)發(fā)展，在這一大趨勢(shì)下，MR將是人類感受虛擬世界的主要入口，實(shí)時(shí)渲染技術(shù)則是沉浸式視覺(jué)體驗(yàn)時(shí)代的基礎(chǔ)。MR作為重要的視覺(jué)載體，是我們從現(xiàn)實(shí)世界穿越到一個(gè)更加復(fù)雜，或者說(shuō)更加可視化的虛擬世界的重要入口。因此在我們看來(lái)，下一個(gè)時(shí)代的核心就是從計(jì)算到可視化的渲染。”

圖源：蔚領(lǐng)時(shí)代

成立于2019年的蔚領(lǐng)時(shí)代，一直被外界界定為一家實(shí)時(shí)云渲染解決方案提供商。云游戲是蔚領(lǐng)時(shí)代的第一曲線，而在云游戲之上，郭建君有著自己的想法：“我們是一家科技公司，我們想做的第二曲線是幫助XR內(nèi)容實(shí)現(xiàn)工業(yè)化生產(chǎn)，但是難在游戲本身還沒(méi)有工業(yè)化，影視實(shí)現(xiàn)了工業(yè)化，我們又先在影視領(lǐng)域進(jìn)行學(xué)習(xí)。而蔚領(lǐng)時(shí)代將與更多產(chǎn)業(yè)伙伴達(dá)成生態(tài)戰(zhàn)略合作，進(jìn)一步完善其以實(shí)時(shí)云渲染為底層技術(shù)邏輯的元宇宙生態(tài)，向下一代數(shù)字世界算力基座的偉大目標(biāo)全力奔跑。”

朝著這個(gè)目標(biāo)，蔚領(lǐng)公布了由4大事業(yè)部和2大能力中心構(gòu)成的全新組織架構(gòu)—— 虛擬方舟工作室、云游戲事業(yè)部，硅基大陸事業(yè)部，數(shù)字人事業(yè)部以及AI Lab與“宇宙魔方”開(kāi)發(fā)者平臺(tái)兩大中心。

虛擬方舟工作室作為蔚領(lǐng)時(shí)代標(biāo)桿案例的輸出方，主要負(fù)責(zé)將其核心技術(shù)能力以產(chǎn)品的形式呈現(xiàn)出來(lái)，如《春草傳》系列均由該團(tuán)隊(duì)開(kāi)發(fā)。

云游戲事業(yè)部是蔚領(lǐng)的業(yè)務(wù)基石，《云原神》、《幻塔》以及小米云玩上超過(guò)150款云游戲，都是該事業(yè)部沉淀下來(lái)的成果。

“硅基大陸”通過(guò)多GPU互聯(lián)加上其投資的浸沒(méi)式液冷技術(shù)，從硬件層提供云端的GPU能力。據(jù)了解，其目前服務(wù)的客戶超過(guò)30家，合作落成的數(shù)據(jù)中心有50家，并實(shí)現(xiàn)了2萬(wàn)臺(tái)出貨量。

數(shù)字人事業(yè)部帶來(lái)了通過(guò)一張2D照片生成超寫實(shí)數(shù)字人的技術(shù)，并且在此之上通過(guò)智能綁定，實(shí)現(xiàn)數(shù)字人的口型、面部表情以及肢體動(dòng)作的驅(qū)動(dòng)。“這項(xiàng)技術(shù)是我們和影眸科技一起聯(lián)合開(kāi)發(fā)，由他們生成數(shù)字人資產(chǎn)，我們自己研發(fā)的智能綁定系統(tǒng)，可以高效地把3D模型驅(qū)動(dòng)起來(lái)。”

AI Lab 在現(xiàn)場(chǎng)展示了一部由AI生成的云原生3D動(dòng)畫作品《靈月之境》，作品中的場(chǎng)景、人物的表情、動(dòng)作全都由AI生成。“今年AIGC的爆發(fā)讓我們看到了更激進(jìn)的未來(lái)，我們覺(jué)得AI不只是生產(chǎn)力的提升，而是一個(gè)生產(chǎn)力的解放”，AI Lab負(fù)責(zé)人王硯峰表示。

最后“宇宙魔方”開(kāi)發(fā)者平臺(tái)，則是集成了內(nèi)容的開(kāi)發(fā)、運(yùn)營(yíng)和部署的一系列工具，目標(biāo)提升分發(fā)效率，據(jù)稱根據(jù)既往案例數(shù)據(jù)，在該平臺(tái)上內(nèi)容分發(fā)的效率平均提升了70%，算力成本平均降低了60%。

正如蔚領(lǐng)時(shí)代本次發(fā)布會(huì)所強(qiáng)調(diào)的那樣：“我們以碳基大陸為起點(diǎn)，搭乘方舟，跨越算力之海，找尋硅基大陸的過(guò)程。它也是一個(gè)虛擬世界建設(shè)的過(guò)程、探索的過(guò)程，那里有無(wú)窮的美好等著我們?nèi)ヌ剿鳌?rdquo;