2020年10月31日,S10《英雄聯(lián)盟》全球總決賽在上海舉辦。長達14分鐘的總決賽開幕式,率先將所有觀眾的情緒和現(xiàn)場氣氛推向高潮。
S10《英雄聯(lián)盟》全球總決賽賽程分為入圍賽、小組賽以及最終的淘汰賽,總共持續(xù)5周時間。除了總決賽在浦東足球場舉行外,前期比賽都將在SMT云創(chuàng)空間采取無觀眾虛擬演播廳的方式進行直播。本屆全球總決賽主要依賴于XR技術(shù)對場內(nèi)場外的電競愛好者們進行直播,通過實時虛擬渲染增加沉浸體驗,這在體育賽事中當(dāng)屬首次。
本次開幕式,《英雄聯(lián)盟》全球總決賽繼續(xù)聯(lián)手Riot Games,不僅在開幕式現(xiàn)場運用32K分辨率渲染畫面打造炫目特效和全息影像,更是結(jié)合了XR特效配合,為“云觀賽”的電競愛好者們帶來了一場視覺聽覺雙豐收的高級舞臺呈現(xiàn),決賽開幕式即刻燃炸全場。
每年《英雄聯(lián)盟》電競賽事,Riot Games公司總能利用最新的直播技術(shù)帶給觀眾們最大的驚喜。
三年前,S7總決賽在北京鳥巢舉行,以龍元素驚艷全場,S7通過 AR 和實時渲染技術(shù)的結(jié)合,一條栩栩如生的AR 遠(yuǎn)古巨龍從天而降于鳥巢中央,令人嘆為觀止。這個設(shè)計也成功擊敗 NBA全明星賽,榮獲第 39 屆體育艾美獎最佳直播設(shè)計獎。
然而,時隔三年后, S10賽季在上海采用了更高端的XR技術(shù),來打造更加炫酷的直播效果。不僅繼承了龍元素,也體現(xiàn)出更多的動畫和動態(tài)的效果,其特效中還結(jié)合了舉辦地上海的地方文化元素。
今年由于疫情的緣故,《英雄聯(lián)盟》總決賽的絕大部分賽程都少了觀眾的現(xiàn)場參與,缺少了現(xiàn)場的激情氛圍。如何把疫情下的劣勢轉(zhuǎn)化為優(yōu)勢,其決賽制作團隊從一年前就開始嘗試采用XR技術(shù),實現(xiàn)現(xiàn)實和虛擬空間的自由交互,最終打造出如今特效滿滿的決賽開幕式舞臺場景。
如此一場虛擬世界大秀,面對的是直播技術(shù)上的層層難關(guān)。今天VR陀螺在此分析 S10賽季XR直播技術(shù)的重重難關(guān)突破。
XR技術(shù)加成,這屆S10賽事很不一樣
S10采用XR技術(shù)消弭了現(xiàn)實與虛擬界線,場外觀眾們在直播中看到的水淹整個舞臺、高空中的云霧繚繞、外面的上海東方明珠塔,其實都是虛擬場景。實現(xiàn)這些的技術(shù)突破,主要在于三點,靈活的攝像機視角轉(zhuǎn)換、變幻的現(xiàn)場燈光調(diào)節(jié)和超強容量的快速算力。
東方明珠塔下的可用AR觀看的巨龍雕塑
首先,在XR直播中,為實現(xiàn)實時渲染的自由視角轉(zhuǎn)換,整場總決賽現(xiàn)場有十幾個攝像機,每個攝像機不僅都要實現(xiàn)擴展現(xiàn)實技術(shù),并且因為直播沒有重來的機會所以不能有差錯。
S10的直播技術(shù)制作團隊,首先需要解決從一個攝像機到另一個的多機位視角切換問題,其開創(chuàng)了在XR直播中同時引入兩臺攝像機的類人眼視角拍攝,并結(jié)合算法實現(xiàn)對虛擬景深空間的預(yù)判。
決賽現(xiàn)場,紅外攝像機布滿賽場各處。其作用在于識別來自s10決賽現(xiàn)場墻壁上大量用于反射紅外線的標(biāo)記點。為了改善過去精度較低的定位技術(shù),s10決賽現(xiàn)場大面積鋪設(shè)這種特制墻壁,經(jīng)過計算機合成后,對應(yīng)位置則會被虛擬景象1:1替換掉,進而展現(xiàn)出熒幕中看到的虛實結(jié)合的場館效果。
陀螺君了解到,在直播過程中,紅外攝像機通過接受遍布整個舞臺的反射點,透過標(biāo)記點反射的紅外線,即可計算出虛擬攝影機的即時位置,并使之與現(xiàn)實中的攝影機分工合作,保證在直播過程中攝像機機位切換不出差錯。最后再透過Unreal Engine 的渲染運算,在直播中構(gòu)建出整個游戲場景。整個XR直播技術(shù)下來,制作團隊保證了現(xiàn)實與虛擬渲染的誤差小于1毫米。
其次,虛擬燈光與現(xiàn)實燈光的協(xié)調(diào)也是非常重要的實時渲染突破點,S10決賽現(xiàn)場的天花板上掛滿了skypanel 燈組,而一個skypanel燈就售價5095美元,為此Riot Games公司專門砸了數(shù)十萬美金采購燈組。
同時,制作團隊利用Led燈在現(xiàn)場空間內(nèi)的基本照明,通過自己開發(fā)的插件,把unreal游戲引擎中的燈光,還有現(xiàn)實天花板的這些skypanel 進行了匹配,換言之,只要虛擬場景中的光線發(fā)生變化,那么現(xiàn)場的燈光也會隨之調(diào)整,避免了燈光上的不真實和穿幫,打造了一個實時渲染下真實世界光效于虛擬光效互補的自由交互燈光決賽舞臺。
顯然,面臨海量的燈光和視頻的數(shù)據(jù)傳輸,技術(shù)團隊不得不面臨系統(tǒng)算力過載的問題。S10總決賽直播專門使用20個渲染引擎構(gòu)成渲染陣列,并且配有非常高端的顯卡驅(qū)動和采集卡,通過硬件、軟件的雙重高配置,實現(xiàn)了高速和高程度的控制。
通過這三大技術(shù)上的突破,S10《英雄聯(lián)盟》總決賽最終在直播中呈現(xiàn)出了栩栩如生的舞臺場景。
線上賽事直播或成XR終端落地“加速器”
XR(Extended Reality,擴展現(xiàn)實)是指通過計算機技術(shù)和可穿戴設(shè)備,進而產(chǎn)生的一個真實與虛擬組合、可人機交互的環(huán)境,是AR、VR、MR等多種形式的統(tǒng)稱。三者視覺交互技術(shù)融合,實現(xiàn)虛擬世界與現(xiàn)實世界之間無縫轉(zhuǎn)換的“沉浸感”體驗。
2020年是5G商用元年,XR作為下一代移動智能平臺以及5G賦能下重要的應(yīng)用場景,深入智能制造、教育、游戲、體育競技、軍事等領(lǐng)域,尤其是體育競技和游戲賽事直播,能夠吸引多人參與,加速XR技術(shù)的商業(yè)落地。XR的內(nèi)涵不斷向外延伸,刷新著大眾對視覺影像的理解。
對于傳統(tǒng)的賽事與電競直播方式,注重的是選手個人的鏡頭表現(xiàn)力、比賽狀況和比賽結(jié)果,觀眾在屏幕前面并沒有“存在感”,后期特效也難以讓觀眾獲得臨場感。因此,XR技術(shù)能夠在有限空間及人力的情況下在最終效果上,讓節(jié)目達到更好的效益。
從本次的S10賽季可以直觀地感受到,不同于電影CG特效、摳綠幕等后期制作效果,XR技術(shù)應(yīng)用于特效展示上,需要借助現(xiàn)場的海量光源、XR攝像機、處理視頻數(shù)據(jù)的插件和引擎,以及強大的電腦算力,讓云觀眾獲得無與倫比的體驗。制作組所在的場景更像是一個簡約的錄影棚,通過現(xiàn)場調(diào)度,將所有舞臺效果交由后臺Unreal引擎和電腦算力中樞協(xié)同處理和輸出。
MR技術(shù)下,男槍的形象栩栩如生
這樣基于XR技術(shù)的特效具有震撼的視覺沖擊力,目前也被廣泛應(yīng)用在舞臺效果上。其中,除了《英雄聯(lián)盟》也有其他大型賽事采用XR直播的方式,讓粉絲跨次元體驗熱鬧的賽事氛圍。比如,2019年CBS報道超級碗(Superbowl)時,宣稱使用了4臺攝像機進行XR直播,以提升觀看體驗。
過去幾年,NBA、MLB和NASCAR都在使用擴展現(xiàn)實技術(shù)給他們的粉絲帶來更精彩的比賽體驗,HoloLens也曾推出用AR直播體育賽事的概念視頻。AR效果渲染為體育直播鋪上了一個虛擬的表層,在這個層面上,展示者能更好的詮釋數(shù)據(jù)所呈現(xiàn)的視覺效果,增強故事的表現(xiàn)力度。
NBA賽事直播
在電子競技上,今年4月在烏克蘭舉辦的Dota2比賽,也進行AR直播,采用了AR解決方案Pixotope,包括用AR引擎建造3D沙盤來顯示英雄位置,以及將現(xiàn)場舞臺放在虛擬城市之中。
Dota虛擬角色舞蹈
虛擬城市
除了舞臺效果展示之外,該技術(shù)還應(yīng)用在虛擬偶像上。這次S10賽季全球總決賽開幕式還出場了之前在S8亮相的KDA女團。KDA女團與現(xiàn)場的明星共舞,實際上是由AR技術(shù)呈現(xiàn)出來的。據(jù)主辦方拳頭游戲(Riot Games)介紹,KDA女團與其他虛擬偶像一樣,是基于動作捕捉技術(shù)完成的包括肢體動作、口型、面部表情的設(shè)計。
在S8和S10開幕式上,AR技術(shù)到XR技術(shù)的升級包裝效果更進一步凸顯,其與現(xiàn)實世界結(jié)合下的炫酷特效也更加絢麗奪目。
2018 KDA女團出場
KDA女團的動作捕捉
在過去幾年,XR終端技術(shù)得到快速發(fā)展。XR頭顯層面,包括光學(xué)、傳感器等核心器件研發(fā)技術(shù),同時也包括用戶與內(nèi)容的感知互動技術(shù)正逐步創(chuàng)立全新的人機交互體驗。
隨著第一批XR終端下放到市場,越來越多廠商逐漸重視XR的感知交互支持系統(tǒng)的開發(fā)和落地,從空間定位到人的行為捕捉,包括面部、眼動追蹤等,這些之前只能在影視拍攝中瞥見的高科技正不斷向著低成本、輕量化發(fā)展,這也進一步拉近了虛擬和現(xiàn)實的距離。也許在不久后的將來,XR直播能與頭顯設(shè)備、配件相結(jié)合,此時觀眾不僅是作為觀看者,更是作為一名參與者,與直播現(xiàn)場進行互動。
XR+賽事直播,不是誰都辦得起
根據(jù)Unity發(fā)布的《2020年商用AR/VR熱門趨勢報告》指出,2020年將是商用AR和VR技術(shù)的轉(zhuǎn)型之年。2020年XR工業(yè)領(lǐng)域發(fā)展主要有以下三個特點:
第一,概念的轉(zhuǎn)變。目前,市場對XR行業(yè)的態(tài)度,已從懷疑是否XR有價值、是否值得投資,到“如何將最初嘗試中取得的積極成果最大化利用到技術(shù)中,以實現(xiàn)‘更快地迭代,更低的風(fēng)險和更高的產(chǎn)出’”。與五年前相比,XR企業(yè)的思考方向趨向于肯定XR的前景,并開始對開發(fā)技術(shù)進行反思。
第二,2020年,XR已經(jīng)準(zhǔn)備好進入“增長階段”。隨著技術(shù)的效益不斷提高,XR將成為從研發(fā)到市場,再到維護整個產(chǎn)品周期中,“不可或缺的生產(chǎn)力工具”。
第三,XR的使用規(guī)模將越來越大,吸引更多企業(yè)加入,形成一股新浪潮。經(jīng)過近幾年硬件上HMD(頭顯)、移動端AR、單獨的VR設(shè)備不斷更新迭代;內(nèi)容上不斷擴展應(yīng)用場景,外加5G網(wǎng)絡(luò)逐漸商用化以及XR設(shè)備的造價降低,XR行業(yè)逐漸形成低成本、高產(chǎn)量、上市周期短的良性循環(huán)。
盡管《英雄聯(lián)盟》S10賽季直播擴大了XR的影響力,為各領(lǐng)域呈現(xiàn)出XR應(yīng)用的巨大潛力且業(yè)內(nèi)也一致看好XR的發(fā)展前景,但是否真的“準(zhǔn)備好進入增長階段”,VR陀螺認(rèn)為,目前打造成熟的XR應(yīng)用仍存在一些技術(shù)難點,影響XR行業(yè)的發(fā)展。
首先,雖然XR技術(shù)可以在有限的空間內(nèi)做一個無限的空間出來,體育競技和游戲賽事能夠加速XR產(chǎn)品的商業(yè)落地,但XR直播門檻高,大型賽事直播中需要多機位切換,背景也需要跟著攝像機的變化而變化,并且需要實時對應(yīng)和直播同步,現(xiàn)場的燈光和攝像機布置也必須兼顧到選手的比賽體驗,成功的直播案例一時半會難以模仿。
其次,盡管屬于B端應(yīng)用的《英雄聯(lián)盟》XR直播十分酷炫,但真正能帶來收益的是在C端的普及。在普及XR的道路上,仍有不少障礙,如輕薄化、超高清效果與手勢追蹤、面部識別、語音AI等技術(shù)融合平衡的難點。此前,0Glasses創(chuàng)始人蘇波在一次采訪中認(rèn)為,由于光學(xué)和供應(yīng)鏈存在技術(shù)瓶頸,阻礙目前移動端AR設(shè)備的體積和畫面質(zhì)量改善,而一款真正有影響力的消費級產(chǎn)品,還需要3-5年時間重點研發(fā)。
不僅是開發(fā)端,中興通訊虛擬化產(chǎn)品線首席科學(xué)家屠嘉順也表示目前XR行業(yè)的盈利模式尚不成熟,產(chǎn)品和商業(yè)模式還需要打磨。沒有一個通用的資金鏈行業(yè)標(biāo)準(zhǔn),預(yù)計XR在消費端的普及還有很長的路要走。
當(dāng)然,在這場《英雄聯(lián)盟》s10直播中,我們看到的更多是驚喜而不是擔(dān)憂。像《英雄聯(lián)盟》這樣超量級的賽事中運用XR技術(shù),背后是XR直播上千人的制作努力。2020年末,這場燃炸全球的電競賽事,不僅推進著新一代的信息傳遞方式,更改變了人們對于傳統(tǒng)現(xiàn)場賽事“觀看”的習(xí)慣。
結(jié)語
從S7到S10,從 AR效果渲染到 XR直播技術(shù),傳統(tǒng)賽事行業(yè)一直試圖用虛擬科技引領(lǐng)新一波的線上賽事直播新風(fēng)尚。
一直以來,以電競為首的各類賽事或者會展的運營模式,幾乎都是在線下進行。無論是主辦方,還是參賽參展人,都更青睞這種模式,因為現(xiàn)場氣氛和觀眾熱情帶來的沖擊力是無法替代的。
然而受到疫情影響,許多現(xiàn)場賽事都被迫取消、延期或完全轉(zhuǎn)移到線上??梢灶A(yù)見的是,在后疫情時代,傳統(tǒng)的賽事和會展將更多地以 “云觀賽” 的形式參與比賽。新的用戶需求也由此誕生:如何利用飛速發(fā)展的高科技彌補線上缺少的氣氛,優(yōu)化賽事會展直播的觀看體驗,是相關(guān)從業(yè)者必須思考的重要問題。
而作為彌補現(xiàn)場賽事會展氣氛的重要突破點,XR技術(shù)將在今后相關(guān)會展賽事行業(yè)的直播中成為一大主流。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息