文/VR陀螺 豌豆

自從AIGC進入快速發(fā)展時期，每一次相應突破性技術的升級都會為各行各業(yè)帶來強烈震感。

以內容為王的影視行業(yè)，2024開年以來更是大步前進，短劇、互動影視游戲、虛擬拍攝等名詞更是被頻頻提起，新數字技術、新需求推動影視行業(yè)加快變革進度，虛擬制作則能夠將前期制作、拍攝過程與后期制作結合在一起，模糊了現實與虛擬的邊界，同時大幅縮短拍攝周期并減少制作成本。

例如熱播電視劇《繁華》、短劇《柒兩人生》、京劇電影《安國夫人》，還有今年獲得4項奧斯卡獎的《Poor Things》，它們之間的共同點則是使用了“LED巨幕+XR/VP（Virtual Production）虛擬拍攝”，這些技術逐漸成為影視領域的焦點，它們也在改變制片流程以及成片的呈現形式。

《Poor Things》使用11個巨型環(huán)繞式LED屏幕進行拍攝（圖源：postperspective）

 虛擬制作+LED顯示屏，改變傳統(tǒng)制片流程 

要提升沉浸感先從空間環(huán)境入手。虛擬制作進入大眾視野的標志是2019年由盧卡斯影業(yè)（Lucasfilm）和工業(yè)光魔（ILM）推出的大型虛擬制作項目《曼達洛人》，此后虛擬制作影棚便如春筍般涌現在世界各地。如今全球范圍內已有上百家LED虛擬拍攝工作室落地，國內也有多個虛擬拍攝工作室坐落于北京、上海、橫店等地，數量還在增加。

虛擬拍攝工作室（圖源：postperspective）

虛擬拍攝工作室的逐漸普及得益于虛擬制作相關技術的快速發(fā)展，相比于傳統(tǒng)的拍攝方式，在一些特定的場景，例如冰原、火山、外太空等難以到達現場拍攝的場景，可以通過LED屏實現。

傳統(tǒng)的影視生產環(huán)節(jié)中，各部門在制作流程通常按線性的時間表來配合拍攝，由于時間緊迫，更換或重新拍攝場景既耗時又昂貴（平均一部低預算的電影項目為100萬美元，一部好萊塢大片的預算則為數億美元）。電影制作人也不能在第一時間看到在這些場景拍攝的成片效果。

具體到某一個場景，例如通過傳統(tǒng)方式拍攝日落的場景?？赡苄枰獎訂T幾十人不等的團隊，但通常只有十幾分鐘的時間來拍攝，因為日落會逐漸消失，周圍環(huán)境的光影和色彩也在變化。如果場景特別復雜，還必須第二天再回來補拍，這不僅會造成額外的費用支出，而且出外景難保會出現意外情況影響拍攝。但現在有了虛擬制片提供的完全同步的環(huán)境，一切都能以虛擬方式重建。

在降低拍攝成本和縮減拍攝周期的基礎之上完成高質量的成片，成為影視行業(yè)最基本且現實的需求。

尤其是新冠疫情期間，對影視業(yè)來說，許多預定外地拍攝任務無法如約完成，因此不少團隊轉向虛擬制作，當時Netflix便與《1899》的制作人嘗試通過虛擬制作完成拍攝。

如今國內短劇盛行，潑天的流量砸向這條頗有“錢途”的新賽道。有數據顯示，2023年微短劇拍攝備案部數和集數分別達到3574部和97327集，相比前一年大幅增長，2024年Q1短視頻平臺破億播放的短劇數量同比增長了65%。2023年短劇市場規(guī)模達到373.9億元，預計2024年將超過500億元。短劇逐漸得到更多主流平臺的認可。

《柒兩人生》（圖源：網絡）

以懸疑主題短劇《柒兩人生》為例，全劇共16集，總時長約90分鐘（平均一集3-5分鐘）。據稱在制作方面該劇60%的內容采用虛擬拍攝+真人實拍的虛擬制片方案，預先通過LED屏呈現劇中所需場景，節(jié)省了實際搭建環(huán)境和使用道具的成本，使該劇特效處理時間縮短了10個月。有趣的是，《柒兩人生》由抖音和創(chuàng)壹科技聯合出品，而虛擬美妝數字人“柳夜熙”正是創(chuàng)壹科技旗下的短視頻達人之一。

在虛擬制作環(huán)節(jié)，LED屏幕上越細膩、精致的實時畫面，對使用的GPU性能有著越高需求，例如虛幻引擎可為英偉達同一系統(tǒng)的多GPU提供虛擬制作支持，滿足渲染的高需求。英偉達在AI技術的基礎上，優(yōu)化Omniverse方案，為引擎和內容創(chuàng)建工具提供更豐富的視覺效果。

現在看來虛擬制作更像是一種非線性、更具協作性、更具迭代性的視頻制作方法。而且結合了計算機輔助制作和實時可視化工具，例如游戲引擎技術、計算機生成圖像（CGI）以及VR/AR技術，能夠提供實時反饋。虛擬制作在電影制作、電視節(jié)目、天氣預報、電子游戲以及演出活動等媒體內容的制作中更加常見。

圖源：網絡

以演出活動為例，前段時間，MIKU EXPO 2024北美巡演在首站加拿大拉開序幕，憑借初音未來全息投影演唱會為賣點的MIKU EXPO，剛好在今年迎來了十周年，但有不少粉絲吐槽“花了近200美元來看大電視”，原來今年的演出并沒有采用之前全息投影的方案，而是轉向以LED屏幕的形式呈現演出。

虛擬制作正在輻射整個文娛行業(yè)，在影視內容制作中使用LED屏幕的趨勢可能會更加普遍，短劇采用虛擬拍攝技術僅是一個開端。

 內容引擎發(fā)展驅動影視行業(yè)邁入快車道 

在進行虛擬拍攝之前，通常需要進行視覺方面的前期預演，并提前準備好各種模型道具、人物以及各類環(huán)境等3D資產，以方便后期拍攝過程中盡可能還原預演的效果，此時則需要得到游戲引擎和XR設備的支持，盡管虛擬制片并不與VR頭顯有直接關聯，卻與VR本身的定位技術息息相關。

其關鍵在于利用3D技術（采用虛幻引擎等）在大型LED屏幕上顯示超高清背景圖像，虛擬背景可實時調整，并配合布光以及拍攝角度和運鏡，直接拍攝成片。另外，比起在綠幕前演出，真人演員在有沉浸感的環(huán)境下更容易進入狀態(tài)。

以知名電影《頭號玩家》為例，該電影采用了動作捕捉、實景拍攝和電腦動畫三種制作形式，曾被斯皮爾伯格認為是自己拍過最復雜的電影。

斯皮爾伯格（圖源：HTC）

由于《頭號玩家》的大部分制作內容都包含虛擬場景，斯皮爾伯格需要一種方法來預先設想鏡頭的取景，以及獲取在攝影棚中只穿著動捕服的演員的位置。此外，在VR中實時移除或添加虛擬場景中的元素有助于簡化制作流程。

對動捕演員來說，在綠幕的拍攝場景下也很有挑戰(zhàn)性，因為他們無法看到自己所處的環(huán)境或周圍環(huán)境是什么樣子。斯皮爾伯格表示：“我也會要求每個演員戴上頭顯進入虛擬場景，這樣我們就不需要憑空想象了。”

游戲引擎的實時渲染、視聽交互設計等功能在影視作品制作的不同環(huán)節(jié)中能發(fā)揮重要作用，好的電影制作工具同樣能反哺游戲行業(yè)。游戲領域的兩大知名引擎，虛幻引擎和Unity都是影視內容制作的常用工具。

在游戲引擎中制作影視內容，通?；?D資產構建，并且具有正確的透視和空間感，搭建好虛擬場景后只要添加一個虛擬攝像機就可以看到引擎空間中的物體、燈光、材質等，就像第一人稱視角的3D游戲，通過將引擎中的虛擬攝像機與拍攝場地中的真實攝像機的物理位置、攝像機參數等完全匹配，讓真實攝像機來驅動引擎中的虛擬攝像機，從而同步鏡頭畫面，這就是虛擬勘景和可視化預覽的作用。

虛擬勘景（圖源：虛幻引擎）

用光學攝像機跟蹤系統(tǒng)實時將數據傳輸給控制服務器和內容引擎，目前主流的光學攝像機追蹤系統(tǒng)誤差在2mm左右。為了進一步獲得更有真實感的虛擬場景拍攝角度，通常需要由虛擬藝術部門使用VR頭顯來輔助虛擬勘景，讓虛擬制作變得更加可控。

此外，對于體育賽事解說，觀眾既需要身臨其境的現場講解，又需要實時觀看現場畫面。為減少反復切換鏡頭并提高直播觀賽沉浸感，體育類電視欄目《FOX NFL Sunday》聯合雷迪奧和虛幻引擎，打造大型XR演播室，兩層共5130平方英尺的LED巨幕墻。

圖源：?？怂贵w育

為了讓LED影棚支持多機位拍攝，團隊使用了MegaPixel的GhostFrame技術，它可以將四處不同的60Hz視頻流整合到刷新率為240Hz的LED墻上。工程團隊設置好各個鏡頭后，導演就可以看到四個獨立的攝像機信號源，它們以互不相同的視角實時展示畫面。

福克斯體育臺系統(tǒng)工程副總裁Daryl Moore表示：“（這項技術使）我們能夠構建豐富多彩的層次化場景，從地面到出鏡者上方的天空，用虛擬圖形填滿整個場景。也意味著我們可以講述更精彩、更有活力的故事。”

 AI技術再推一把，虛擬制片正對齊虛擬與現實世界 

通過新技術講好故事，XR/VP虛擬制片的前景空間更大。

據MarketsandMarkets數據顯示，虛擬制作市場規(guī)模預計將從2023年的31億美元增至2027年的51億美元，預測期內復合年增長率為14.5%，電影中對視覺特效和計算機生成圖像的需求不斷增長，機器學習、AI、AR、VR、XR、深度學習等技術是虛擬制作市場發(fā)展的主要驅動力。

如今AI已經在改變影視領域，國內也有意進一步打開市場格局。4月23日舉行的第三十屆中國國際廣播電視信息網絡展覽會（CCBN2024）主題報告會上，中國電影電視技術學會理事長，中央廣播電視總臺技術局局長徐進指出，在新質生產力的推動下，影視行業(yè)與數字技術、互聯網、云計算、人工智能等新技術深度融合成為趨勢，為影視行業(yè)帶來了前所未有的生產手段和表現形式。

在虛擬制片領域，將來能看到多少AI的影子？

首先，創(chuàng)作效率優(yōu)先，虛擬制片將“后期再修”的大部分工作改變成“前期先做”，而拍攝前期需要完成的3D背景環(huán)境交由虛擬美術部門實現搭建，在這一環(huán)節(jié)可以利用AIGC工具來加快布景生成。

第二，在虛擬制作環(huán)節(jié)，LED屏幕上越細膩、精致的實時畫面，對使用的專業(yè)硬件以及GPU性能有著越高需求，AI將進一步提高影視級內容渲染優(yōu)化。

第三，激光雷達、攝影測量和NeRF成像技術等已在影視方向上也取得了良好進展。據了解，NeRF基于2D圖像可采集復雜數據，更適用于在影視行業(yè)將3D虛擬圖像與真實2D圖像融合的場景設計環(huán)節(jié)。

第四，如今在AI的加持下，智能化的數字人甚至可以參與到拍攝中，例如以數字演員身份出演影視劇《異人之下》的阿里大文娛數字人厘里等等。

虛擬制片還在進一步摸索降本增效之路，而AIGC工具Sora橫空出世，只要一段文字就能生成視頻作品，這對創(chuàng)意至上的影視行業(yè)來說是巨大的沖擊。盡管Sora目前無法取代虛擬制作和傳統(tǒng)影視制作，但AIGC工具或能以輔助工具的身份與虛擬制作流程結合，在畫面預覽、3D資產的修改等方面提供支持，甚至是捕捉靈感。

制作團隊期待好技術，觀眾期待好作品。短劇成為了虛擬制片的新場景，而虛擬制片是一種具有藝術性、技術性和可持續(xù)性的影視制作輔助手段，目前處于快速發(fā)展階段，在具有無限可能的內容制作領域持續(xù)開辟新市場。