樂(lè)蝸CEO宿斌：8K、立體、全景聲是VR影像的起步
發(fā)布時(shí)間：2019-10-24 11:56 | 標(biāo)簽：
VR影視 樂(lè)蝸
微信掃一掃：分享
微信里點(diǎn)“發(fā)現(xiàn)”，掃一下
二維碼便可將本文分享至朋友圈
在2019南昌未來(lái)影像藝術(shù)周上，來(lái)自上海樂(lè)蝸信息科技有限公司的CEO 宿斌在大會(huì)專(zhuān)場(chǎng)演講上，以“VR實(shí)拍電影的制作與思考”為主題進(jìn)行了分享。分享內(nèi)容包含VR實(shí)拍技術(shù)的應(yīng)用、VR觀賞習(xí)慣與傳統(tǒng)影視的差異化，以及全景聲技術(shù)的應(yīng)用等等。
大家好，我是上海樂(lè)蝸信息科技有限公司CEO宿斌，今天我想跟大家分享的是VR電影的制作流程。
VR電影我覺(jué)得需要解決的還有六個(gè)問(wèn)題，包括影像畫(huà)質(zhì)、如何拍攝運(yùn)動(dòng)的畫(huà)面、鏡頭的設(shè)計(jì)和敘述，如何制作全景深，有可能對(duì)于電影工業(yè)的5.1和環(huán)繞立體聲已經(jīng)很成熟了，大家對(duì)于全景深這個(gè)標(biāo)準(zhǔn)的話(huà)，還是沒(méi)有太多的準(zhǔn)確標(biāo)準(zhǔn)制定。
包括還有后期合成和制作，最后是播放和歡迎的體驗(yàn)方式。我們認(rèn)為8K是VR影像最基本的要求，因?yàn)樵谝酝覀兛吹?K展開(kāi)之后，我們實(shí)際觀察到的影像其實(shí)只有不到720P，清晰度是非常糟糕的?，F(xiàn)在我們認(rèn)為8K的立體和全景深是VR影像的起步。
一般我們都知道，常規(guī)的畫(huà)面VR會(huì)采用1比1上下立體和1比2壓縮的立體，也有用1比2的非立體的格式來(lái)呈現(xiàn)畫(huà)面，它跟電影的制作流程各方面都是不同的。
我們所說(shuō)的VR4K或者8K是指的整個(gè)全局，但是觀眾第一視角能看到的局部只有像方塊當(dāng)中的這一部分，其他部分都會(huì)被你需要轉(zhuǎn)向來(lái)觀察，所以對(duì)于8K的話(huà)我們是以全局的方式來(lái)說(shuō)8K和4K。
大家從這個(gè)圖來(lái)看的話(huà)，遠(yuǎn)遠(yuǎn)知道4K的影像中間的部分肯定是沒(méi)有4K的清晰度的。這個(gè)是我們預(yù)測(cè)兵馬俑的時(shí)候一張截圖，我們只有8K的畫(huà)面通過(guò)放大、放大，最后得到接近于電影清晰度的影像。8K和16K我們認(rèn)為是用分鏡頭的分布相機(jī)，提高畫(huà)面的清晰度，才能達(dá)到12、16K，這就對(duì)單反的清晰度的要求非常高，所以分布式我們行業(yè)當(dāng)中都達(dá)成了共識(shí)。
我們覺(jué)得有兩種布局的相機(jī)，如果要拍攝VR的立體相機(jī)我們現(xiàn)在目前采用的水平布局，因?yàn)樗谒讲季址矫媪Ⅲw會(huì)更加均勻。前一段時(shí)間Facebook和Red做的球狀的，是一個(gè)蜂窩的布局，它其實(shí)是深度信息最后制作成六自由度的云相機(jī)，當(dāng)然這個(gè)相機(jī)從實(shí)際來(lái)看的話(huà)，它會(huì)很大，將近有一米多。
我們拍攝的采用的攝影清單有JustWang、instaita，它們主要是完成靜止、軌道和小車(chē)運(yùn)動(dòng)。我們?nèi)绻每罩泻脚牡脑?huà)，我們還是用的InstPro，因?yàn)樗w積小，重量輕，續(xù)航時(shí)間長(zhǎng)，當(dāng)然我們也有自己的20M的模塊，自己搭建了攝影機(jī)。
那么省下的攝影機(jī)我們也用20M的模塊，為什么要用這么多？因?yàn)樵谒屡臄z的話(huà)受水下光線(xiàn)的折射，所拍攝到的畫(huà)面跟在空氣當(dāng)中拍攝的畫(huà)面比例是不一樣的，所以我們要很多臺(tái)相機(jī)來(lái)涵蓋。
我們?cè)谂臄z延時(shí)的攝影的話(huà)，就采用最傳統(tǒng)的方式，用6M索尼的單反，因?yàn)樗髂峥梢缘玫揭粋€(gè)非常高的感光度，可以用于拍攝日落日出或者星空。
我跟大家分享一下我們是如何拍攝運(yùn)動(dòng)的畫(huà)面，我們采用可以做精準(zhǔn)數(shù)字軌道，因?yàn)楹芏鄷r(shí)候我們?cè)谂臄z的時(shí)候發(fā)現(xiàn)需要用數(shù)字軌道來(lái)精準(zhǔn)地計(jì)算和重復(fù)地拍攝。航拍我們是自己搭建的多組穩(wěn)定的，高負(fù)載的，它續(xù)航到15分鐘。
像大型的場(chǎng)地和演繹場(chǎng)所我們其實(shí)可以用大型的飛貓，現(xiàn)在飛貓的技術(shù)也是非常普及，它可以精準(zhǔn)地定位。全梯形小車(chē)我們自己改裝了一輛叫坦克，它的優(yōu)點(diǎn)是各種地形能夠適應(yīng)，同時(shí)我們加載了一個(gè)穩(wěn)定系統(tǒng)，在跟蹤拍攝或者是復(fù)雜、危險(xiǎn)的場(chǎng)地用它來(lái)拍攝一些影像是很方便的。
我們?cè)谂臄z這么多的內(nèi)容，我們發(fā)現(xiàn)在拍攝運(yùn)動(dòng)畫(huà)面的時(shí)候，有三個(gè)點(diǎn)大家需要注意：
第一，消除振動(dòng)。所謂振動(dòng)主要是高頻振動(dòng)，因?yàn)榈皖l振動(dòng)可以通過(guò)軟件都可以去做掉。
第二，消除搖擺。因?yàn)閾u擺是對(duì)于后期軟件來(lái)講是無(wú)法去做到，它只會(huì)判定你是在轉(zhuǎn)向。
我們?cè)谂臄z的時(shí)候一定要設(shè)計(jì)好A點(diǎn)到B點(diǎn)或者是多點(diǎn)的運(yùn)動(dòng)軌跡，運(yùn)動(dòng)軌跡可以最后被我們的六自由度的座椅獲取它的數(shù)據(jù)，可以提供一些后期的影院應(yīng)用。還有一些我們?cè)谠O(shè)計(jì)線(xiàn)路的時(shí)候?qū)а菀紤]到為什么要這樣飛行、這樣的飛行可以讓觀眾體驗(yàn)到什么。
第三，擦除設(shè)備的痕跡。它不像電影，電影的話(huà)永遠(yuǎn)是一個(gè)框畫(huà)，在此以外所有的信息，在VR拍攝過(guò)程當(dāng)中是完全被識(shí)取的。
這一個(gè)就是我們航拍器拍攝的鏡頭，我們可以看到頂部的航拍器會(huì)清晰線(xiàn)路在畫(huà)面當(dāng)中，這個(gè)就后期通過(guò)運(yùn)動(dòng)跟蹤擦除掉，最后形成一個(gè)完整的畫(huà)面。
昨天很多的分享者，也講到他們公司的特點(diǎn)，包括掃描等等，通過(guò)掃描重建場(chǎng)景我們也在嘗試，可以接觸掃描建立一個(gè)非常好的模型，我們也做三星堆的一個(gè)片子但是一直也沒(méi)有發(fā)布，制造一個(gè)博物館的一個(gè)內(nèi)容，就是高精度模型要比實(shí)際拍攝的來(lái)得更精致。
通過(guò)多視角三維重現(xiàn)我們也可以獲取一個(gè)模型，這一個(gè)模型都是非常普遍了，通過(guò)計(jì)算得出點(diǎn)云，用深度信息，三維再重建模型。
我們是跟清華有一個(gè)合作的敦煌的模型，關(guān)于構(gòu)圖了取景我們是有我們的想法，我們?cè)谂碾娪暗臅r(shí)候沒(méi)有一條法則是規(guī)定攝影機(jī)一定是水平的，是相對(duì)的水平，但是在拍攝VR的時(shí)候，它非常不同的，它必須要保持水平。如果是不保持水平的話(huà)會(huì)在后期給觀眾帶來(lái)很大的麻煩這一個(gè)在后面我會(huì)講到。
在后期當(dāng)中我們做了一個(gè)測(cè)試，如果我們?cè)诤笃诎阉骄€(xiàn)往上提到會(huì)呈現(xiàn)的圖片，整個(gè)地球形成一個(gè)拱形的，如果水平正常的話(huà)，地平線(xiàn)是水平線(xiàn)是一個(gè)標(biāo)準(zhǔn)的，如果水平線(xiàn)偏下的話(huà)它會(huì)形成凹拱的一個(gè)形狀，這樣的扭曲在拍攝后期是非常注意。拍攝當(dāng)中的水平是把最立體的區(qū)域要給到拍攝的對(duì)象，這一個(gè)后面我也是會(huì)講到的。
為什么要做到水平，這一張圖就是一個(gè)非常好的例子，我們看到這是一幅用水平分布相機(jī)的截取，水平分布的相機(jī)有一個(gè)特點(diǎn)就是在四周360度呈現(xiàn)的一個(gè)多幕，立體的，但是在頂部和底部是成為一個(gè)非立體區(qū)，我們用多幕立體有一個(gè)很大的漏洞，它不像深度相機(jī)。
我們抬頭的時(shí)候我們所看到的影像是無(wú)法構(gòu)建立體的，我們觀眾有可能旋轉(zhuǎn)，就會(huì)導(dǎo)致整個(gè)立體的區(qū)域會(huì)變得反向。
VR現(xiàn)在一個(gè)標(biāo)準(zhǔn)就是上下是非立體，不論是多近或者是多遠(yuǎn)都成一個(gè)非立體，在立體區(qū)域和非立體區(qū)域構(gòu)成了一個(gè)過(guò)度，這也是我們?yōu)槭裁匆胖迷谒?，如果相機(jī)位于仰拍的話(huà)，可能在你的目標(biāo)，或者是拍攝的對(duì)象、演員就會(huì)把他置于一個(gè)非立體區(qū)域。
這也是我跟大家分享過(guò)很多次的一個(gè)視覺(jué)的主要視區(qū)，我們覺(jué)得VR拍攝，不管把它叫做電影或者是影像也好，它一定是有規(guī)律的，它不是一個(gè)360度完全自由的創(chuàng)作，我們要規(guī)范導(dǎo)演或者是表演者有一個(gè)規(guī)則，所以我們認(rèn)為為什么要建立一個(gè)主要的視區(qū)這也是根據(jù)人的身體來(lái)判定的。
作為正常的人類(lèi)，我們不會(huì)經(jīng)常移動(dòng)身體，扭頭的360度。我們主要的視區(qū)還是在正前方的，作為兩側(cè)的一個(gè)60度作為一個(gè)過(guò)度區(qū)，因?yàn)檫^(guò)度區(qū)在一些次要信息的安排和設(shè)計(jì)。這一些設(shè)計(jì)也會(huì)為我們未來(lái)自由度的座椅提供一個(gè)依據(jù)，這一些坐標(biāo)同時(shí)也給導(dǎo)演和演員走位、導(dǎo)演的設(shè)計(jì)和后期的設(shè)計(jì)提供一個(gè)大家共同溝通的語(yǔ)言標(biāo)準(zhǔn)。
第一條參考線(xiàn)是我們自定的，是用于前期和后期做標(biāo)準(zhǔn)的，他有一個(gè)度數(shù)也有一個(gè)區(qū)域，中間是正前方，兩側(cè)是左右，最邊緣是的后部，在我們跟導(dǎo)演和后期來(lái)探討的時(shí)候，我們不可能時(shí)時(shí)刻刻用頭盔來(lái)探討，戴著頭盔有的時(shí)候很難交流。所以平面的方式還是在延續(xù)的使用。
我們知道VR是一個(gè)完整的空間，我們觀看者可以自由轉(zhuǎn)向，看上、看下、看左、看右，你看到的所謂的一個(gè)空間乃至于這一個(gè)地球是不會(huì)時(shí)時(shí)刻刻轉(zhuǎn)動(dòng)的，是相對(duì)靜止的，所以我們?cè)谂臄zVR的時(shí)候盡可能慎用攝影機(jī)轉(zhuǎn)向。
它跟我們的傳統(tǒng)攝影不一樣，傳統(tǒng)攝影可能用一個(gè)搖鏡頭會(huì)拍得非?？犰牛荲R要慎用，這一種轉(zhuǎn)向的是會(huì)很快把觀眾代入眩暈感，除非拍攝的導(dǎo)演和攝影師就希望讓觀眾呈現(xiàn)一個(gè)眩暈的效果或者是有意識(shí)的跟蹤也是可以的。
我們?cè)谂臄z過(guò)程當(dāng)中我們也總結(jié)了一些我們自己的經(jīng)驗(yàn)，我們也充分利用帶來(lái)的沉浸感，不同的相機(jī)有不同的安全距離，我們發(fā)現(xiàn)在不同的距離會(huì)產(chǎn)生觀眾不同的情緒，在50公分是非常愛(ài)好的閨密、情侶之間的溝通，在70公分是一個(gè)比較親密的伙伴的溝通的距離。
在100厘米就是一個(gè)相對(duì)熟悉的同事溝通的距離，150公分是陌生的人或者是主角和配角激烈爭(zhēng)吵，他們之間發(fā)生清晰很大的一個(gè)距離。在2米左右的話(huà)就是以一個(gè)配角或者是舞蹈安全區(qū)，我們知道手臂展開(kāi)時(shí)的距離和人的身高差不多，為了不碰到攝影機(jī)，在拍攝一個(gè)大動(dòng)作的舞蹈或者是一個(gè)武打的戲，我們基本上要在兩米的一個(gè)距離，兩米五十是路過(guò)一個(gè)陌生人。因?yàn)樘h(yuǎn)的時(shí)候也會(huì)有四五米，但是距離越遠(yuǎn)，它的清晰度各個(gè)方面互相的一個(gè)感覺(jué)是不一樣的。
我們?cè)跍y(cè)試不同距離的時(shí)候我們也測(cè)試了30公分，超近距離，這一個(gè)距離已經(jīng)達(dá)到了攝影機(jī)的極限了，我們通過(guò)自己配組的一個(gè)模塊我們拍攝了這樣一個(gè)影像，后面我們也會(huì)跟一些藝術(shù)家來(lái)制作拍攝一些超近距離的人像攝影，各種不同的職業(yè)，當(dāng)在30公分的時(shí)候是可以清晰看到拍攝者的臉上粉刺，同時(shí)你也會(huì)收到一種特別近的距離的一種壓迫。因?yàn)樵谔貏e近的距離雙方都會(huì)產(chǎn)生尷尬，但是拍攝者可能會(huì)因?yàn)閿z像機(jī)過(guò)近。
決定距離不只是鏡頭之間的拍角，我們知道兩個(gè)鏡頭之間拍角，昨天有一位分享者講過(guò)了，一般拍角接近于人的眼睛，如果拍角越大，你拍攝遠(yuǎn)景的立體圖像很好，但是近具體的兩臺(tái)攝影機(jī)盡可能要縮短距離。
安全距離不只是鏡頭的開(kāi)角、立體的成像、最佳的區(qū)域和機(jī)位的角度，剛剛我也分享到了在安全線(xiàn)以下，我們一般指的是非立體值。
其實(shí)多幕的攝影機(jī)是不完善的，因?yàn)槎嗄皇切枰M(jìn)行一個(gè)深度計(jì)算的合成，這一個(gè)合成當(dāng)中計(jì)算機(jī)處理的話(huà)影像還不是最完美的，它可能會(huì)產(chǎn)生一些干擾和波動(dòng)，這一種干擾和波動(dòng)主要是造成近景和復(fù)雜的背景，當(dāng)你的拍攝對(duì)象過(guò)于靠近攝影機(jī)，同時(shí)它背后有很多的復(fù)雜結(jié)構(gòu)的背景，同時(shí)也一個(gè)被拍攝者還是處于運(yùn)動(dòng)狀態(tài)，在大概率的情況下一定會(huì)出現(xiàn)一個(gè)干擾，這一個(gè)干擾就是會(huì)呈現(xiàn)一個(gè)波狀的紋路。
這一張就是特別近距離產(chǎn)生的，破壞影像的合成，所以產(chǎn)生了扭曲，同時(shí)我們?cè)谂臄z運(yùn)動(dòng)畫(huà)面或者是靜止畫(huà)面的時(shí)候一定要注意陽(yáng)光在哪里、投影在哪里，如果拍攝者穿越投影區(qū)的話(huà)會(huì)給后期帶來(lái)一個(gè)非常大的工作量。
我們看到背后這兩個(gè)形成了視覺(jué)的交叉，這也是形成立體的原因，為什么會(huì)形成光流的干擾，背后數(shù)據(jù)計(jì)算機(jī)無(wú)法判斷速和人之間的關(guān)系。
我們?cè)俜窒硪幌络R頭畫(huà)面的設(shè)計(jì)，現(xiàn)在也在用PS當(dāng)中有一個(gè)3D繪畫(huà)功能制作一些很有趣的插畫(huà)，現(xiàn)在我們可以做VR的插畫(huà)或者是故事版通過(guò)PS，我們通過(guò)PS做了一張插畫(huà)，它可以在全體球形進(jìn)行擦除和修改，這給我們未來(lái)的項(xiàng)目提供了方便。
在這一個(gè)基礎(chǔ)上我們?yōu)槭裁匆O(shè)計(jì)運(yùn)動(dòng)軌跡，因?yàn)檫\(yùn)動(dòng)軌跡我們也考慮到未來(lái)的VR影院是有一大部分是有自由度的座椅，4D座椅會(huì)帶給你穿越的感覺(jué)，這一種運(yùn)動(dòng)線(xiàn)是需要前期設(shè)計(jì)好，最后把運(yùn)動(dòng)軌跡以3D為坐標(biāo)的方式捕捉下來(lái)給到座椅。
在VR的趨勢(shì)當(dāng)中，我覺(jué)得平面的故事有一個(gè)最大的區(qū)別在于，它是空間性的，我們?cè)趥鹘y(tǒng)電影更多表現(xiàn)的是平面畫(huà)幅的，畫(huà)幅以外的是靠想象，在拍攝VR過(guò)程當(dāng)中，我們?cè)谠O(shè)計(jì)線(xiàn)索或者設(shè)計(jì)故事的時(shí)候，一定要考慮整個(gè)空間，多信息的運(yùn)動(dòng)。
我覺(jué)得在未來(lái)的VR故事當(dāng)中，一個(gè)場(chǎng)景當(dāng)中出現(xiàn)多個(gè)信息的設(shè)計(jì)是非常的有必要的，是VR故事的魅力。所以也印證了我們前面必須要設(shè)立一個(gè)主要的信息，其余部分我們暗藏了一些次要信息，當(dāng)然在做設(shè)計(jì)的過(guò)程當(dāng)中，它也需要我們拓展一些思維，我們平?？吹揭粋€(gè)畫(huà)框藝術(shù)的畫(huà)，就像我們看到太陽(yáng)系平面一樣，我們展現(xiàn)給我們的是一個(gè)二維，當(dāng)我們知道太陽(yáng)系在運(yùn)動(dòng)過(guò)程中是螺旋形的時(shí)候，我們的故事很像螺旋形太陽(yáng)系的運(yùn)作。
我們也會(huì)用全景聲來(lái)設(shè)計(jì)聲音的引導(dǎo)，我們目前使用的RooM的H3，交叉式的全景聲錄音機(jī)，我們的流程大概就是用全景聲的錄音機(jī)獲得一個(gè)三維空間的聲效，通過(guò)后期的混音，加上音軌包括人聲的對(duì)白等等。因?yàn)檫@個(gè)只是一個(gè)一階（簡(jiǎn)單的全景聲），對(duì)于電影的標(biāo)準(zhǔn)可能需要二階，或者更多的信息。
在通過(guò)一些后期的回音設(shè)施，我們可以得到一個(gè)二階，比較復(fù)雜的全景聲。這是一個(gè)大概的一階、二階、三階，最高可以達(dá)到三階。
我們后期合成也是使用PR、AE等一些軟件工具，這個(gè)是我們作為一個(gè)運(yùn)動(dòng)，這是一個(gè)剪輯范圍的參考線(xiàn)，這上面是我們作為運(yùn)動(dòng)軌跡的參考線(xiàn)。
為什么我們使用Mixcut，因?yàn)楝F(xiàn)有的軟件不足以做到非常精細(xì)。
我們的觀點(diǎn)：我覺(jué)得傳統(tǒng)電影語(yǔ)言是一種習(xí)慣，沒(méi)有什么所謂的標(biāo)準(zhǔn)，第二我們技術(shù)永遠(yuǎn)在前進(jìn)，在想法上勇于嘗試是非常重要的，我們也有理由相信VR電影改變我們的觀影方式，畫(huà)幅被全景式的方式終結(jié)。
第一時(shí)間了解XR資訊
關(guān)注VR陀螺官網(wǎng)（vrtuoluo.cn）
投稿/爆料：tougao@youxituoluo.com
稿件/商務(wù)合作： 六六（微信 13138755620）
加入行業(yè)交流群：六六（微信 13138755620）
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP，獲取前沿深度元宇宙訊息
