Unite 2017 Shanghai大會中平塔工作室聯(lián)合創(chuàng)始人CCO米粒分享《在游戲引擎的VR環(huán)境中探索視聽語言》主題演講。介紹了傳統(tǒng)影視的視聽語言有圖像、聲音和剪輯,以及VR中如何表現(xiàn)好這三個要素。 以下為VR陀螺整理的演講實錄:(略有刪減) 《拾夢老人VR》米粒: 大家好,今天題目是在游戲引擎的VR環(huán)境中探索視聽語言,分享的是在影視作品中的經(jīng)驗。 傳統(tǒng)、VR影視三要素:圖像、聲音和剪輯 首先要跟大家講講傳統(tǒng)影視的視聽語言三個要素,這三個要素是圖像、聲音和剪輯。這三個要素組成了我們很終在大屏幕看到的影視作品。 圖像是視聽語言很基礎(chǔ)的要素,圖像視聽語言里面有幾個要素。 形狀,形狀是視覺第一層信息,我們看到所有的東西,大腦識別出來第一層信息是這個物體的形狀。 顏色,在形狀和顏色的基礎(chǔ)上,這個物體進行運動之后,這個運動是在一定構(gòu)圖內(nèi),這樣組成了我們在大屏幕上,不管是大屏幕還是VR我們看到的影像。 聲音。視聽語言肯定就是聽覺方面,聽覺占了我們現(xiàn)代人所有觀看影視作品中非常大一部分,我們經(jīng)常會說影視作品特別是在有了音樂、聲音之后,它的質(zhì)量會提升70%,這是毫不夸張的,而且聲音可以加強情緒的感染力。 在電影發(fā)展過程中,逐漸積累出一個非常大的知識體系就是剪輯,剪輯是聲音和圖像的加成,很重要它是在控制時間,只有圖像和聲音是沒有時間概念的。 剛才講到都是在傳統(tǒng)影視作品中視聽語言幾個要素,VR里面產(chǎn)生了非常大的變化。 首先VR里面和傳統(tǒng)的影視非常大的區(qū)別,VR是一個完全虛擬的數(shù)字世界,而我們傳統(tǒng)的影視作品是一個平面的,是一個二維圖像連續(xù)播放的產(chǎn)生效果。在VR影視作品中,觀眾是戴著VR眼鏡在虛擬世界中進行探索的,情節(jié)是通過探索展開的,這也是很多VR作品在創(chuàng)作的時候,想要達到的目標。 在傳統(tǒng)影視作品里,事情的發(fā)展是線性的,按照導(dǎo)演和剪輯師通過主觀拼接單向展現(xiàn)給觀眾,這也是他們非常大的區(qū)別。 VR世界里面,觀眾有非常自由活動的空間,可以在空間里面走來走去,這也是我們常常說的真正虛擬現(xiàn)實,并不是360度視頻模擬的全景2D圖像,更多還是觀眾真正能夠在虛擬數(shù)字世界里面,從更多角度觀看同一個物體。 現(xiàn)在我們就進入拾夢老人在VR作品中進行視聽語言的探索。 我們對剛才幾類傳統(tǒng)影視和VR影視的異同之中我們選擇了三個方向。 第一我們要充分利用虛擬數(shù)字世界,讓觀眾在虛擬數(shù)字世界中自由移動探索劇情的發(fā)展,因為我們的劇本原因和故事的特性,我們選擇線性的方法,而不是像很多VR影視團隊想要嘗試多線敘事。線性的敘事結(jié)構(gòu),更容易讓觀眾獲取到我們想表達的含義。 VR交互動畫的兩大困境:觀看成本與眩暈感 根據(jù)我們剛才說說的視聽語言三個方向,第一方面是圖像,圖像方面我們有哪些探索呢? 我們在開始創(chuàng)造VR作品之前,我們面臨非常大的問題,就是觀看成本。這個成本除了花了將近一萬塊錢買了一臺強悍主機之外,還包括VR頭顯設(shè)備,這些其實都是一些純硬件方面的支出。對于我們來說還有很重要的一項支出是人注意力和心理支出。 這個要解決很大的問題就是眩暈感,戴過VR眼鏡都知道會產(chǎn)生不適感,這個東西對影視作品來說是非常大的敵人。如果說在播放的過程中,有任何觀眾把頭盔頭顯從頭上取下來的話,我們有非常小的幾率讓它再戴上去。 我們第一個做的非常小心和經(jīng)過深思熟慮的決定,我們決定使用固定的鏡頭,而不是讓觀眾被動的接受位移。因為這樣的話,就會產(chǎn)生眩暈的感覺。當然也有些攝像機的運動可以避免這個。我們盡量要讓觀眾在一個固定點觀看這個故事。 還有一個非常大的不一樣。影視制作我們有一個步驟是分鏡,我們需要先用二維的方式,然后把整部影片先畫一遍,通過剪輯將故事串起來。在故事版和分鏡階段的時候,我們的敘事非常流暢,一旦進入VR,發(fā)現(xiàn)我們曾經(jīng)在VR里面感覺非常流暢的敘事,感覺是在快放,所有事情都變得節(jié)奏很趕,這個更像是我們看電影里面的表現(xiàn),和人在真實世界里面生活中的表演節(jié)奏不一樣,我們對時間的感知更弱一些。真的當我們在VR虛擬世界里面的時候,我們對時間的變化,非常的敏感。因為我們已經(jīng)認為我們是在一個真實的世界里面,我們當時做的一個非常大的調(diào)整,我們在很多表演節(jié)奏點上增加的時長,帶來的結(jié)果,當然是我們整個片子的時間變長了。 VR影視引導(dǎo)方法:聲音、視覺與色彩 接下來一個非常重要的,如何引導(dǎo)觀眾看我們希望他看的內(nèi)容。VR經(jīng)過過去兩年的發(fā)展,一些基礎(chǔ)視聽語言大家都知道,如何運用視覺的引導(dǎo)。 第一點我們加強影片開始的時候,那段沒有情節(jié)時候的時長; 第二個在這段時長過去之后,我們引導(dǎo)觀眾看我們希望他看的內(nèi)容。引導(dǎo)很重要的就是要有人導(dǎo)。 在拾夢老人里面有一個片段,我們引入這個概念之后,我們就去實現(xiàn)這個概念。在漆黑環(huán)境當中出現(xiàn)了雪花,我們跟著雪花運動軌跡到了一個地方,到了這個地方周圍亮起來,我們看到一個老頭在桌子清理臟兮兮的足球。除了運動的物體之外,我們還要用燈光,光也是一個非常重要的引導(dǎo)視線,我們肯定會本能看燈光的位置,不看黑暗的位置,有燈光位置信息更多,也是一個非常好的引導(dǎo)工具。 另外一個就是聲音,一般來說這三樣?xùn)|西我們是綜合在同一個場景里面使用的,他們互相的疊加,效果疊加,可以保證我們很大可能性讓觀眾看我們希望他看的內(nèi)容。 還有一個方面是色彩,我們在傳統(tǒng)上色彩是非常重要的一個用來表現(xiàn)情緒的點。相當于如果我們在一部電影里面,我們傾向于用更加純度更高的色彩,表現(xiàn)一個更活潑、更正向的情緒,用純度比較低的色彩來表現(xiàn)稍微負面的情緒,可能用略微發(fā)綠的色彩,去表現(xiàn)危機,用發(fā)藍的表現(xiàn)懸疑等等。 這個東西在VR里面,我們是在嘗試使用,但是我們用的比較謹慎。但是色彩為什么在VR里面我們用的非常少,因為我們的觀眾在VR環(huán)境里面已經(jīng)相信自己是處于真實的世界。我們看真實世界的時候,我們不會感覺色彩那么厚處理的感覺。 還有一個我們在有些情況下,我們發(fā)現(xiàn)聲音和運動的物體都沒有辦法引導(dǎo)觀眾。特別是當場景非常嘈雜,或者信息非常大的時候,我們就在想,如何在這種情況下進一步引導(dǎo)觀眾呢? 在舞臺劇和電影里面,我們經(jīng)常用探照燈照亮觀眾希望看的位置,我們用這種思路,我們創(chuàng)作一種新的方式來引導(dǎo)觀眾,我們自己稱它為Spotlight Scope,通過這種方式帶約束觀眾的注意力。 我們在制作過程中,我們發(fā)現(xiàn)另外一個問題。在VR環(huán)境中,用非常全逆真方式去模仿聲音,在真實世界中,我們很難用真實聲音和圖像跟觀眾產(chǎn)生情感連接。 為什么電影我們要用控制方法來創(chuàng)作,因為我們可以更精準控制觀眾的情緒。我們在表現(xiàn)一個人緊張的時候,我們相當于在夸張他心跳的聲音,讓觀眾能夠聽到心跳的聲音,我們真實世界不可能產(chǎn)生這種感覺。你再緊張,我也不可能聽見你心跳聲,這是一種主觀的處理。 很終我們發(fā)現(xiàn)在VR影視作品中,雖然有VR,但是還真能用影視創(chuàng)作手法才能在聲音上獲得更多跟觀眾交流的機會,我們還是引用了電影級別的聲音制作和混音,這樣我們可以很大限度控制聲音的感染力。我們還是要把聲音掛到真實物體上,這樣才能跟觀眾情感產(chǎn)生關(guān)聯(lián),我們很終想到可替代的方案,通過數(shù)學(xué)跟運動物體夾角方式,將聲源掛到不同角色身上。 之后我們又引入了配樂,因為影視作品配樂是非常重要的一環(huán),音樂是我們?nèi)朔浅姶蟮暮嫱形覀兦楦械?。我?jīng)常打比方,音樂相當于是開香檳的一瞬間,它可以把你的情感迸發(fā)出來。很多的影視作品都是利用音樂的特性,讓觀眾落淚或者歡笑。 VR影視剪輯 淡入淡出可解決80%的問題 當我們有了圖像、聲音之后,我們進入另外一個龐大的話題,就是剪輯。 因為在VR里面,我們遇到的問題就是沒有鏡頭,沒有了景別,另外是沒有了鏡頭,我們很大的問題,我們情景如何展開。另外一個比較大的問題,多場景的轉(zhuǎn)換。 我們經(jīng)過一系列實驗之后,發(fā)現(xiàn)很有效就是淡入淡出,這是一個非常直白和粗暴的方式解決這個問題。淡入淡出只能解決其中80%的情況。我們就思考我們到底如何解決這個問題。 我們利用了開發(fā)的工具,Spotlight Scope利用反向的使用,通過這種方式,我們實現(xiàn)了一種疊加的轉(zhuǎn)場。 另外一個非常重要的,我們說要線性,這個過程設(shè)計當中,我們設(shè)計了無關(guān)緊要的情節(jié),這些情節(jié)我們故意讓觀眾獲取不同的信息,我們希望他看到東西的時候,我們讓所有有吸引他注意力的東西都會聚到一個點去,這個時候我們情節(jié)依然可以非常流暢推動,觀眾依然可以獲取到我們想表達的情節(jié)。也就是所謂的殊途同歸。 在傳統(tǒng)影視里面,很重要的是在對白戲中,有一個原則叫“180度原則”。這個在傳統(tǒng)拍攝時候,如果我們拍兩個人對白戲的話,這兩個人角色在世界中創(chuàng)造出一條虛擬的線,這條線是我們攝像機不能跨越的線,這讓人理解產(chǎn)生歧異,視覺系統(tǒng)和大腦太發(fā)達了,人類獲取到一點錯誤信息就會產(chǎn)生錯誤的理解。 這個東西我們?nèi)绾谓鉀Q呢?在拾夢老人里我們有一個解決的方案,以室內(nèi)室外景為例,我們有一個初始攝像機的區(qū)域。如果第一場戲發(fā)生在室內(nèi),第二場戲發(fā)生在室外。第一場戲結(jié)束的時候,如果觀眾還在這條線的左側(cè),到下一個場景攝像機的初始位置依然在這個方向。 因為VR的世界非常大,特別在外部大環(huán)境里面,很有可能有觀眾走到角色另外一側(cè),這個時候系統(tǒng)會偵測到越軸的情況,下一個場景我們會有另外一個攝像機,讓觀眾在那個位置,我們依然在同一方向觀測主角的表演。這樣會讓觀眾盡量在一個較小夾角里面看到盡量多的內(nèi)容,這可以避免有些情節(jié)發(fā)生在背后,而且我們不知道觀眾看的什么方向,所以我們沒有辦法控制這種轉(zhuǎn)向。VR里面我們有相應(yīng)的觸發(fā)條件,讓觀眾始終跟得上這個角色的表演。 所有的這些技術(shù),雖然我們VR作為一個新媒體,我們所謂的技術(shù)實際上一點都不高深,更多是主觀經(jīng)驗的內(nèi)容,所謂工具技術(shù)都不是一個影視作品的核心,影視作品核心是通過這些技術(shù)與觀眾產(chǎn)生情感的連接。 VR作為一個新的講故事媒介,它沒有創(chuàng)造什么新故事,新故事在任何媒介中都在不停被創(chuàng)造。目前為止,我們并沒有看到一個VR作品中創(chuàng)造出一個新的故事,而是創(chuàng)造一種新的講故事方法。 但是所有東西都有變動,很可笑人類發(fā)展過程當中,所有革命性的東西都是在有約束的情況下誕生的。我們經(jīng)常會說電影經(jīng)典的作品,都是在審查機制的約束之下誕生的。如果沒有任何約束的話,我們很難誕生革命性的作品,如果在約束的情況下,大師級作品才會產(chǎn)生。這是我們希望未來在所有VR內(nèi)容創(chuàng)造的產(chǎn)品上所有努力的方向。 謝謝!
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息