2020年10月31日，S10《英雄聯(lián)盟》全球總決賽在上海舉辦。長(zhǎng)達(dá)14分鐘的總決賽開幕式，率先將所有觀眾的情緒和現(xiàn)場(chǎng)氣氛推向高潮。

S10《英雄聯(lián)盟》全球總決賽賽程分為入圍賽、小組賽以及最終的淘汰賽，總共持續(xù)5周時(shí)間。除了總決賽在浦東足球場(chǎng)舉行外，前期比賽都將在SMT云創(chuàng)空間采取無觀眾虛擬演播廳的方式進(jìn)行直播。本屆全球總決賽主要依賴于XR技術(shù)對(duì)場(chǎng)內(nèi)場(chǎng)外的電競(jìng)愛好者們進(jìn)行直播，通過實(shí)時(shí)虛擬渲染增加沉浸體驗(yàn)，這在體育賽事中當(dāng)屬首次。

本次開幕式，《英雄聯(lián)盟》全球總決賽繼續(xù)聯(lián)手Riot Games，不僅在開幕式現(xiàn)場(chǎng)運(yùn)用32K分辨率渲染畫面打造炫目特效和全息影像，更是結(jié)合了XR特效配合，為“云觀賽”的電競(jìng)愛好者們帶來了一場(chǎng)視覺聽覺雙豐收的高級(jí)舞臺(tái)呈現(xiàn)，決賽開幕式即刻燃炸全場(chǎng)。

每年《英雄聯(lián)盟》電競(jìng)賽事，Riot Games公司總能利用最新的直播技術(shù)帶給觀眾們最大的驚喜。

三年前，S7總決賽在北京鳥巢舉行，以龍?jiān)伢@艷全場(chǎng)，S7通過 AR 和實(shí)時(shí)渲染技術(shù)的結(jié)合，一條栩栩如生的AR 遠(yuǎn)古巨龍從天而降于鳥巢中央，令人嘆為觀止。這個(gè)設(shè)計(jì)也成功擊敗 NBA全明星賽，榮獲第 39 屆體育艾美獎(jiǎng)最佳直播設(shè)計(jì)獎(jiǎng)。

然而，時(shí)隔三年后， S10賽季在上海采用了更高端的XR技術(shù)，來打造更加炫酷的直播效果。不僅繼承了龍?jiān)兀搀w現(xiàn)出更多的動(dòng)畫和動(dòng)態(tài)的效果，其特效中還結(jié)合了舉辦地上海的地方文化元素。

今年由于疫情的緣故，《英雄聯(lián)盟》總決賽的絕大部分賽程都少了觀眾的現(xiàn)場(chǎng)參與，缺少了現(xiàn)場(chǎng)的激情氛圍。如何把疫情下的劣勢(shì)轉(zhuǎn)化為優(yōu)勢(shì)，其決賽制作團(tuán)隊(duì)從一年前就開始嘗試采用XR技術(shù)，實(shí)現(xiàn)現(xiàn)實(shí)和虛擬空間的自由交互，最終打造出如今特效滿滿的決賽開幕式舞臺(tái)場(chǎng)景。

如此一場(chǎng)虛擬世界大秀，面對(duì)的是直播技術(shù)上的層層難關(guān)。今天VR陀螺在此分析 S10賽季XR直播技術(shù)的重重難關(guān)突破。

XR技術(shù)加成，這屆S10賽事很不一樣

S10采用XR技術(shù)消弭了現(xiàn)實(shí)與虛擬界線，場(chǎng)外觀眾們?cè)谥辈ブ锌吹降乃驼麄€(gè)舞臺(tái)、高空中的云霧繚繞、外面的上海東方明珠塔，其實(shí)都是虛擬場(chǎng)景。實(shí)現(xiàn)這些的技術(shù)突破，主要在于三點(diǎn)，靈活的攝像機(jī)視角轉(zhuǎn)換、變幻的現(xiàn)場(chǎng)燈光調(diào)節(jié)和超強(qiáng)容量的快速算力。

東方明珠塔下的可用AR觀看的巨龍雕塑

首先，在XR直播中，為實(shí)現(xiàn)實(shí)時(shí)渲染的自由視角轉(zhuǎn)換，整場(chǎng)總決賽現(xiàn)場(chǎng)有十幾個(gè)攝像機(jī)，每個(gè)攝像機(jī)不僅都要實(shí)現(xiàn)擴(kuò)展現(xiàn)實(shí)技術(shù)，并且因?yàn)橹辈]有重來的機(jī)會(huì)所以不能有差錯(cuò)。

S10的直播技術(shù)制作團(tuán)隊(duì)，首先需要解決從一個(gè)攝像機(jī)到另一個(gè)的多機(jī)位視角切換問題，其開創(chuàng)了在XR直播中同時(shí)引入兩臺(tái)攝像機(jī)的類人眼視角拍攝，并結(jié)合算法實(shí)現(xiàn)對(duì)虛擬景深空間的預(yù)判。

決賽現(xiàn)場(chǎng)，紅外攝像機(jī)布滿賽場(chǎng)各處。其作用在于識(shí)別來自s10決賽現(xiàn)場(chǎng)墻壁上大量用于反射紅外線的標(biāo)記點(diǎn)。為了改善過去精度較低的定位技術(shù)，s10決賽現(xiàn)場(chǎng)大面積鋪設(shè)這種特制墻壁，經(jīng)過計(jì)算機(jī)合成后，對(duì)應(yīng)位置則會(huì)被虛擬景象1:1替換掉，進(jìn)而展現(xiàn)出熒幕中看到的虛實(shí)結(jié)合的場(chǎng)館效果。

陀螺君了解到，在直播過程中，紅外攝像機(jī)通過接受遍布整個(gè)舞臺(tái)的反射點(diǎn)，透過標(biāo)記點(diǎn)反射的紅外線，即可計(jì)算出虛擬攝影機(jī)的即時(shí)位置，并使之與現(xiàn)實(shí)中的攝影機(jī)分工合作，保證在直播過程中攝像機(jī)機(jī)位切換不出差錯(cuò)。最后再透過Unreal Engine 的渲染運(yùn)算，在直播中構(gòu)建出整個(gè)游戲場(chǎng)景。整個(gè)XR直播技術(shù)下來，制作團(tuán)隊(duì)保證了現(xiàn)實(shí)與虛擬渲染的誤差小于1毫米。

其次，虛擬燈光與現(xiàn)實(shí)燈光的協(xié)調(diào)也是非常重要的實(shí)時(shí)渲染突破點(diǎn)，S10決賽現(xiàn)場(chǎng)的天花板上掛滿了skypanel 燈組，而一個(gè)skypanel燈就售價(jià)5095美元，為此Riot Games公司專門砸了數(shù)十萬美金采購(gòu)燈組。

同時(shí)，制作團(tuán)隊(duì)利用Led燈在現(xiàn)場(chǎng)空間內(nèi)的基本照明，通過自己開發(fā)的插件，把unreal游戲引擎中的燈光，還有現(xiàn)實(shí)天花板的這些skypanel 進(jìn)行了匹配，換言之，只要虛擬場(chǎng)景中的光線發(fā)生變化，那么現(xiàn)場(chǎng)的燈光也會(huì)隨之調(diào)整，避免了燈光上的不真實(shí)和穿幫，打造了一個(gè)實(shí)時(shí)渲染下真實(shí)世界光效于虛擬光效互補(bǔ)的自由交互燈光決賽舞臺(tái)。

顯然，面臨海量的燈光和視頻的數(shù)據(jù)傳輸，技術(shù)團(tuán)隊(duì)不得不面臨系統(tǒng)算力過載的問題。S10總決賽直播專門使用20個(gè)渲染引擎構(gòu)成渲染陣列，并且配有非常高端的顯卡驅(qū)動(dòng)和采集卡，通過硬件、軟件的雙重高配置，實(shí)現(xiàn)了高速和高程度的控制。

通過這三大技術(shù)上的突破，S10《英雄聯(lián)盟》總決賽最終在直播中呈現(xiàn)出了栩栩如生的舞臺(tái)場(chǎng)景。

線上賽事直播或成XR終端落地“加速器”

XR（Extended Reality，擴(kuò)展現(xiàn)實(shí)）是指通過計(jì)算機(jī)技術(shù)和可穿戴設(shè)備，進(jìn)而產(chǎn)生的一個(gè)真實(shí)與虛擬組合、可人機(jī)交互的環(huán)境，是AR、VR、MR等多種形式的統(tǒng)稱。三者視覺交互技術(shù)融合，實(shí)現(xiàn)虛擬世界與現(xiàn)實(shí)世界之間無縫轉(zhuǎn)換的“沉浸感”體驗(yàn)。

2020年是5G商用元年，XR作為下一代移動(dòng)智能平臺(tái)以及5G賦能下重要的應(yīng)用場(chǎng)景，深入智能制造、教育、游戲、體育競(jìng)技、軍事等領(lǐng)域，尤其是體育競(jìng)技和游戲賽事直播，能夠吸引多人參與，加速XR技術(shù)的商業(yè)落地。XR的內(nèi)涵不斷向外延伸，刷新著大眾對(duì)視覺影像的理解。

對(duì)于傳統(tǒng)的賽事與電競(jìng)直播方式，注重的是選手個(gè)人的鏡頭表現(xiàn)力、比賽狀況和比賽結(jié)果，觀眾在屏幕前面并沒有“存在感”，后期特效也難以讓觀眾獲得臨場(chǎng)感。因此，XR技術(shù)能夠在有限空間及人力的情況下在最終效果上，讓節(jié)目達(dá)到更好的效益。

從本次的S10賽季可以直觀地感受到，不同于電影CG特效、摳綠幕等后期制作效果，XR技術(shù)應(yīng)用于特效展示上，需要借助現(xiàn)場(chǎng)的海量光源、XR攝像機(jī)、處理視頻數(shù)據(jù)的插件和引擎，以及強(qiáng)大的電腦算力，讓云觀眾獲得無與倫比的體驗(yàn)。制作組所在的場(chǎng)景更像是一個(gè)簡(jiǎn)約的錄影棚，通過現(xiàn)場(chǎng)調(diào)度，將所有舞臺(tái)效果交由后臺(tái)Unreal引擎和電腦算力中樞協(xié)同處理和輸出。

MR技術(shù)下，男槍的形象栩栩如生

這樣基于XR技術(shù)的特效具有震撼的視覺沖擊力，目前也被廣泛應(yīng)用在舞臺(tái)效果上。其中，除了《英雄聯(lián)盟》也有其他大型賽事采用XR直播的方式，讓粉絲跨次元體驗(yàn)熱鬧的賽事氛圍。比如，2019年CBS報(bào)道超級(jí)碗（Superbowl）時(shí)，宣稱使用了4臺(tái)攝像機(jī)進(jìn)行XR直播，以提升觀看體驗(yàn)。

過去幾年，NBA、MLB和NASCAR都在使用擴(kuò)展現(xiàn)實(shí)技術(shù)給他們的粉絲帶來更精彩的比賽體驗(yàn)，HoloLens也曾推出用AR直播體育賽事的概念視頻。AR效果渲染為體育直播鋪上了一個(gè)虛擬的表層，在這個(gè)層面上，展示者能更好的詮釋數(shù)據(jù)所呈現(xiàn)的視覺效果，增強(qiáng)故事的表現(xiàn)力度。

NBA賽事直播

在電子競(jìng)技上，今年4月在烏克蘭舉辦的Dota2比賽，也進(jìn)行AR直播，采用了AR解決方案Pixotope，包括用AR引擎建造3D沙盤來顯示英雄位置，以及將現(xiàn)場(chǎng)舞臺(tái)放在虛擬城市之中。

Dota虛擬角色舞蹈

虛擬城市

除了舞臺(tái)效果展示之外，該技術(shù)還應(yīng)用在虛擬偶像上。這次S10賽季全球總決賽開幕式還出場(chǎng)了之前在S8亮相的KDA女團(tuán)。KDA女團(tuán)與現(xiàn)場(chǎng)的明星共舞，實(shí)際上是由AR技術(shù)呈現(xiàn)出來的。據(jù)主辦方拳頭游戲（Riot Games）介紹，KDA女團(tuán)與其他虛擬偶像一樣，是基于動(dòng)作捕捉技術(shù)完成的包括肢體動(dòng)作、口型、面部表情的設(shè)計(jì)。

在S8和S10開幕式上，AR技術(shù)到XR技術(shù)的升級(jí)包裝效果更進(jìn)一步凸顯，其與現(xiàn)實(shí)世界結(jié)合下的炫酷特效也更加絢麗奪目。

2018 KDA女團(tuán)出場(chǎng)

KDA女團(tuán)的動(dòng)作捕捉

在過去幾年，XR終端技術(shù)得到快速發(fā)展。XR頭顯層面，包括光學(xué)、傳感器等核心器件研發(fā)技術(shù)，同時(shí)也包括用戶與內(nèi)容的感知互動(dòng)技術(shù)正逐步創(chuàng)立全新的人機(jī)交互體驗(yàn)。

隨著第一批XR終端下放到市場(chǎng)，越來越多廠商逐漸重視XR的感知交互支持系統(tǒng)的開發(fā)和落地，從空間定位到人的行為捕捉，包括面部、眼動(dòng)追蹤等，這些之前只能在影視拍攝中瞥見的高科技正不斷向著低成本、輕量化發(fā)展，這也進(jìn)一步拉近了虛擬和現(xiàn)實(shí)的距離。也許在不久后的將來，XR直播能與頭顯設(shè)備、配件相結(jié)合，此時(shí)觀眾不僅是作為觀看者，更是作為一名參與者，與直播現(xiàn)場(chǎng)進(jìn)行互動(dòng)。

XR+賽事直播，不是誰都辦得起

根據(jù)Unity發(fā)布的《2020年商用AR/VR熱門趨勢(shì)報(bào)告》指出，2020年將是商用AR和VR技術(shù)的轉(zhuǎn)型之年。2020年XR工業(yè)領(lǐng)域發(fā)展主要有以下三個(gè)特點(diǎn)：

第一，概念的轉(zhuǎn)變。目前，市場(chǎng)對(duì)XR行業(yè)的態(tài)度，已從懷疑是否XR有價(jià)值、是否值得投資，到“如何將最初嘗試中取得的積極成果最大化利用到技術(shù)中，以實(shí)現(xiàn)‘更快地迭代，更低的風(fēng)險(xiǎn)和更高的產(chǎn)出’”。與五年前相比，XR企業(yè)的思考方向趨向于肯定XR的前景，并開始對(duì)開發(fā)技術(shù)進(jìn)行反思。

第二，2020年，XR已經(jīng)準(zhǔn)備好進(jìn)入“增長(zhǎng)階段”。隨著技術(shù)的效益不斷提高，XR將成為從研發(fā)到市場(chǎng)，再到維護(hù)整個(gè)產(chǎn)品周期中，“不可或缺的生產(chǎn)力工具”。

第三，XR的使用規(guī)模將越來越大，吸引更多企業(yè)加入，形成一股新浪潮。經(jīng)過近幾年硬件上HMD（頭顯）、移動(dòng)端AR、單獨(dú)的VR設(shè)備不斷更新迭代；內(nèi)容上不斷擴(kuò)展應(yīng)用場(chǎng)景，外加5G網(wǎng)絡(luò)逐漸商用化以及XR設(shè)備的造價(jià)降低，XR行業(yè)逐漸形成低成本、高產(chǎn)量、上市周期短的良性循環(huán)。

盡管《英雄聯(lián)盟》S10賽季直播擴(kuò)大了XR的影響力，為各領(lǐng)域呈現(xiàn)出XR應(yīng)用的巨大潛力且業(yè)內(nèi)也一致看好XR的發(fā)展前景，但是否真的“準(zhǔn)備好進(jìn)入增長(zhǎng)階段”，VR陀螺認(rèn)為，目前打造成熟的XR應(yīng)用仍存在一些技術(shù)難點(diǎn)，影響XR行業(yè)的發(fā)展。

首先，雖然XR技術(shù)可以在有限的空間內(nèi)做一個(gè)無限的空間出來，體育競(jìng)技和游戲賽事能夠加速XR產(chǎn)品的商業(yè)落地，但XR直播門檻高，大型賽事直播中需要多機(jī)位切換，背景也需要跟著攝像機(jī)的變化而變化，并且需要實(shí)時(shí)對(duì)應(yīng)和直播同步，現(xiàn)場(chǎng)的燈光和攝像機(jī)布置也必須兼顧到選手的比賽體驗(yàn)，成功的直播案例一時(shí)半會(huì)難以模仿。

其次，盡管屬于B端應(yīng)用的《英雄聯(lián)盟》XR直播十分酷炫，但真正能帶來收益的是在C端的普及。在普及XR的道路上，仍有不少障礙，如輕薄化、超高清效果與手勢(shì)追蹤、面部識(shí)別、語音AI等技術(shù)融合平衡的難點(diǎn)。此前，0Glasses創(chuàng)始人蘇波在一次采訪中認(rèn)為，由于光學(xué)和供應(yīng)鏈存在技術(shù)瓶頸，阻礙目前移動(dòng)端AR設(shè)備的體積和畫面質(zhì)量改善，而一款真正有影響力的消費(fèi)級(jí)產(chǎn)品，還需要3-5年時(shí)間重點(diǎn)研發(fā)。

不僅是開發(fā)端，中興通訊虛擬化產(chǎn)品線首席科學(xué)家屠嘉順也表示目前XR行業(yè)的盈利模式尚不成熟，產(chǎn)品和商業(yè)模式還需要打磨。沒有一個(gè)通用的資金鏈行業(yè)標(biāo)準(zhǔn)，預(yù)計(jì)XR在消費(fèi)端的普及還有很長(zhǎng)的路要走。

當(dāng)然，在這場(chǎng)《英雄聯(lián)盟》s10直播中，我們看到的更多是驚喜而不是擔(dān)憂。像《英雄聯(lián)盟》這樣超量級(jí)的賽事中運(yùn)用XR技術(shù)，背后是XR直播上千人的制作努力。2020年末，這場(chǎng)燃炸全球的電競(jìng)賽事，不僅推進(jìn)著新一代的信息傳遞方式，更改變了人們對(duì)于傳統(tǒng)現(xiàn)場(chǎng)賽事“觀看”的習(xí)慣。

結(jié)語

從S7到S10，從 AR效果渲染到 XR直播技術(shù)，傳統(tǒng)賽事行業(yè)一直試圖用虛擬科技引領(lǐng)新一波的線上賽事直播新風(fēng)尚。

一直以來，以電競(jìng)為首的各類賽事或者會(huì)展的運(yùn)營(yíng)模式，幾乎都是在線下進(jìn)行。無論是主辦方，還是參賽參展人，都更青睞這種模式，因?yàn)楝F(xiàn)場(chǎng)氣氛和觀眾熱情帶來的沖擊力是無法替代的。

然而受到疫情影響，許多現(xiàn)場(chǎng)賽事都被迫取消、延期或完全轉(zhuǎn)移到線上。可以預(yù)見的是，在后疫情時(shí)代，傳統(tǒng)的賽事和會(huì)展將更多地以 “云觀賽” 的形式參與比賽。新的用戶需求也由此誕生：如何利用飛速發(fā)展的高科技彌補(bǔ)線上缺少的氣氛，優(yōu)化賽事會(huì)展直播的觀看體驗(yàn)，是相關(guān)從業(yè)者必須思考的重要問題。

而作為彌補(bǔ)現(xiàn)場(chǎng)賽事會(huì)展氣氛的重要突破點(diǎn)，XR技術(shù)將在今后相關(guān)會(huì)展賽事行業(yè)的直播中成為一大主流。