編譯/VR陀螺

MIXED與VR180視頻創(chuàng)作者Björn Sondermann和Jérôme Lozano談?wù)摿怂麄冊谂臄z沉浸式內(nèi)容方面的經(jīng)驗(yàn)。本文作者Daniel Pohl是immerVR GmbH的首席執(zhí)行官兼創(chuàng)始人，主要研究在VR180照片和視頻沉浸式媒體領(lǐng)域的創(chuàng)新形式。以下為編譯內(nèi)容：

Sondermann和Lozano二人已經(jīng)制作了一些令人印象深刻的VR180 3D內(nèi)容，用特有的形式記錄不同樂隊(duì)的演奏音樂，部分作品在質(zhì)量和攝影方面超越了許多專業(yè)發(fā)布的內(nèi)容。

RocknGroll plays - One Sunny Day - 8k VR180

他們是如何開始創(chuàng)作VR180 3D內(nèi)容的？對他們來說拍攝過程會遇到什么問題？他們的創(chuàng)作之路又將走向何方？本次對話將進(jìn)一步討論這些問題以及更多內(nèi)容。

很高興你們能來談?wù)勀切┘尤诵牡腣R180視頻項(xiàng)目。你們是如何進(jìn)入VR180視頻制作領(lǐng)域的？

Sondermann：對我來說，一切都是從最初的Oculus Rift DK1開始的。盡管我本人有輕微的暈動癥，但我依舊對這項(xiàng)技術(shù)非常著迷。在隨后的幾年里，我觀看了大量360°和3D VR視頻。PSVR上的小提琴家Joshua Bell的VR體驗(yàn)也給我留下了深刻印象。直到2020年，我親自嘗試了各種VR180 3D相機(jī)進(jìn)行拍攝，如QooCam和Insta360 EVO，并由此創(chuàng)辦了YouTube頻道“We are VR Music”。

我覺得用虛擬內(nèi)容來補(bǔ)充真實(shí)拍攝的世界特別令人興奮。例如，使用Blender或虛幻引擎等工具將3D場景或文本整合到VR180 3D視頻中。大約一年半以前，我通過Lozano創(chuàng)作的令人印象深刻的VR180音樂視頻《SUIR - Vampires》認(rèn)識了他。他創(chuàng)作的VR視頻沒有讓我產(chǎn)生任何暈動癥。從那時(shí)起，我們就經(jīng)常一起拍攝VR視頻。

180°3D視頻“Mängelexemplar”（圖源：Lozano）

Lozano：我從事后期制作和視頻剪輯工作，涵蓋商業(yè)廣告，我還執(zhí)導(dǎo)過小型音樂視頻。我當(dāng)時(shí)是使用Insta360 X2相機(jī)為法國樂隊(duì)“Blind Delon”拍攝360°2D視頻時(shí)，才開始接觸VR視頻的。通過YouTube VR，我才對這項(xiàng)技術(shù)有了更多了解，然后我開始接觸180°3D視頻，這對我來說更加有趣。之后，我們使用Insta360 EVO制作了音樂視頻“Mängelexemplar”，并在（2022年的）阿姆斯特丹國際紀(jì)錄片電影節(jié)上展出，獲得了一等獎。

后來，我購買了佳能R5 C + RF5.2mm雙魚眼鏡頭。大約花了兩個(gè)月的時(shí)間，我找到了使用它進(jìn)行拍攝和剪輯的正確工作流程。之后，我們與Sondermann一起拍攝了更多的VR內(nèi)容，例如專注于POV（主觀鏡頭）拍攝，通過音樂家的視覺來展示內(nèi)容。由于其設(shè)備60 fps的8K的特性，我們已經(jīng)可以提供非常逼真的演示效果。

您對未來的VR相機(jī)有什么期望？

Sondermann：對我們來說，高效的工作流程非常重要。因此，如果能直接從相機(jī)拍攝矩形格式的圖像（而不是使用魚眼鏡頭再進(jìn)行轉(zhuǎn)換），將大大簡化我們的編輯工作。特別是在RAW處理方面，由于編輯器中的節(jié)點(diǎn)較多，我們編輯VR視頻時(shí)會非常繁瑣。

Lozano：對于專業(yè)錄制的預(yù)算來說，目前配備8K視頻和60 fps的相機(jī)相對經(jīng)濟(jì)實(shí)惠。不過，如果有企業(yè)能向消費(fèi)市場推出新的、更簡單的VR180相機(jī)，以推動整個(gè)VR180市場的發(fā)展，那將是非常理想的。這將帶來更多的內(nèi)容和更好的工具。我還發(fā)現(xiàn)拍攝RAW視頻非常困難，因?yàn)槟悴恢涝赩R中最終會得到什么。

佳能R5 C配備RF5.2mm雙魚眼鏡頭，可用于制作VR180 3D視頻（圖源：Sonermann、Lozano）

您是否已經(jīng)嘗試過90 fps的拍攝設(shè)定？

Sondermann：是的，通過使用AI工具（如 Topaz Video AI）對幀數(shù)進(jìn)行高采樣。這樣可以減少運(yùn)動過程中的運(yùn)動模糊，創(chuàng)造出更高水平的整體真實(shí)感。大多數(shù)觀眾現(xiàn)在可能不會接受90 fps，因?yàn)樗麄冞€不習(xí)慣。一旦用戶習(xí)慣了，可能就不想回到較低的幀數(shù)了。

您認(rèn)為 VR180 視頻的最低規(guī)格是什么？

Sondermann：對于VR180 3D視頻來說，入門級水平6K和50/60 fsp就差不多了。我們最近用Calf（開飛）相機(jī)進(jìn)行了測試。工作流程要簡單得多，因?yàn)殓R頭是直接以等距矩形格式存儲的。但只有了8K分辨率及以上，才會更令人興奮。一些由相機(jī)機(jī)身和VR鏡頭組成的新設(shè)備可以提供4K VR180 3D視頻。不過，在這種低分辨率下，用戶可能會不感興趣，三星Gear VR上的首批VR視頻就是這種情況。當(dāng)時(shí)只有低質(zhì)量的視頻，這讓許多用戶望而卻步。當(dāng)然，頭顯硬件領(lǐng)域最好能變得更普及，Meta Quest 3就在很多方面都做得很好，質(zhì)優(yōu)價(jià)廉。

Lozano：目前8K視頻的質(zhì)量已經(jīng)非常好了。但主要欠缺的是內(nèi)容的傳播，而且要知道用戶想看什么？是音樂視頻？還是旅游視頻？在許多VR視頻平臺上，例如YouTube VR，要播放視頻也略顯繁瑣。需要多次點(diǎn)擊才能將質(zhì)量調(diào)整到視頻體驗(yàn)所需的水平。

近年來，您認(rèn)為VR視頻市場最重要的變化是什么？

Sondermann：在我們看來，是佳能進(jìn)入專業(yè)VR180視頻領(lǐng)域這件事，這是一個(gè)非常大膽的舉動，我們對此感到非常興奮。Meta Quest等獨(dú)立VR設(shè)備的出現(xiàn)也改變了很多，因?yàn)楝F(xiàn)在無需線纜就能舒適地觀看VR視頻。

從音樂人的角度來看錄制VR音樂視頻（圖源：Catalina Abu）

VR中的暈動癥：您有哪些經(jīng)驗(yàn)，又是如何應(yīng)對的？

Sondermann：在玩一款游戲時(shí)，我在PSVR中體驗(yàn)到了嚴(yán)重的暈動癥。游戲要求玩家在VR中與老鷹一起飛越巴黎。老鷹飛向你面對的方向。當(dāng)時(shí)，我試著每天這樣做幾分鐘，但沒有任何改善。而當(dāng)我進(jìn)入VR視頻領(lǐng)域時(shí)，我沒有在視頻中做出快速移動、大幅度運(yùn)動等動作。我們現(xiàn)在知道，如果要在VR視頻中移動，應(yīng)該控制移動的時(shí)長，這樣不適感會消失得更快。

Lozano：我自己也很容易出現(xiàn)暈動癥。不過，在這種情況下的好處是，我們制作內(nèi)容時(shí)可以快速評估暈動癥對敏感用戶的影響。對視頻中的各種移動動作會非常謹(jǐn)慎地處理，令相機(jī)的執(zhí)行速度變得非常緩慢。各種動作必須使用云臺才能獲得穩(wěn)定的效果。在這方面，VR180 3D視頻與傳統(tǒng)視頻相比具有相當(dāng)大的局限性：不能快速移動，甚至不能飛越舞臺，展示音樂家或其他內(nèi)容。有時(shí)我們會在VR中嘗試不同的想法，但這可能很快就會出現(xiàn)暈動癥。

攝影機(jī)與拍攝對象之間的最小距離是多少？

Lozano：50厘米是最小距離，但我們盡量保持接近1米的距離拍攝。我們還嘗試過對音樂家的手部拍攝特寫，但遺憾的是，效果不是很好。

在VR180 3D視頻中，個(gè)人在剪輯方面應(yīng)考慮哪些因素？

Sondermann：我們盡量避免在不同場景之間過度移動焦點(diǎn)。這對立體視覺尤為重要。我們還盡量將有趣的物體放在中心位置。理想情況下，整個(gè)鏡頭都應(yīng)保持對焦。我們目前有一個(gè)與Pearl Drums合作的項(xiàng)目。該項(xiàng)目聚焦音樂家George Kollias演奏大型架子鼓的高端表演。鏡頭有多次視角變化，首先從正面拍攝，然后在40厘米的距離上直接拍攝鼓組的Demon XR腳踏板。整個(gè)過程令人嘆為觀止，因?yàn)檠葑嗾叩乃俣葮O快。這也使得切換視覺的速度大大加快。

Lozano：15秒的長鏡頭效果很好，能讓用戶有時(shí)間環(huán)顧四周。但5秒或6秒的左右的視角切換也會非常令人興奮。但你必須確保內(nèi)容在視野的中心位置，也必須做好人們無法在短時(shí)間內(nèi)環(huán)顧四周的準(zhǔn)備。只出現(xiàn)1秒鐘的場景對于VR180 3D視頻來說毫無意義。作為一個(gè)經(jīng)常從事剪輯工作的人，在這個(gè)沒有固定規(guī)則的VR新領(lǐng)域工作讓人非常興奮。在轉(zhuǎn)場方面，我們主要使用硬剪，有時(shí)會使用淡入淡出。

Meta Quest上的VR180 3D金屬搖滾視頻。這是Sondermann和Lozano在英國鼓樂展上的照片（圖源：Joby Catto）

你們在360°3D視頻領(lǐng)域有嘗試過嗎？

Sondermann：360°3D視頻在我們看來不是很好用，因?yàn)樗鼛缀鯚o法告訴用戶該看哪里。你需要用箭頭或其他東西把用戶指向某個(gè)方向，實(shí)際上很難做到。我們認(rèn)為在VR180中效果更好，因?yàn)橄嚓P(guān)信息都在中心位置。如果是通過無人機(jī)拍攝巴塞羅那等城市上空，這時(shí)候你可以向任何方向看，360° 3D視頻就會有附加價(jià)值，但在講故事的環(huán)節(jié)時(shí)就不行了。就360° 3D視頻而言，目前還沒有一款好的3D相機(jī)能從所有角度進(jìn)行拍攝。

您在6DoF視頻創(chuàng)作方面有什么經(jīng)驗(yàn)？

Lozano：以我們的“Mängelexemplar”視頻為例，我們使用LifeCastVR制作了一個(gè)6DoF版本。你可以在LifeCastVR上查看。我很喜歡這種體驗(yàn)：可以在視頻中移動，能以一種有趣的方式與內(nèi)容互動。當(dāng)然，人為設(shè)定的3D運(yùn)動還存在一些缺陷，不夠完美。它更有復(fù)古的8-Bit風(fēng)格，與音樂視頻的裝飾風(fēng)格相得益彰。這給人一種復(fù)古未來主義的感覺和相當(dāng)獨(dú)特的體驗(yàn)。

您還有其他VR視頻項(xiàng)目想重點(diǎn)介紹嗎？

Sondermann：我們剛剛開始與spacevibes合作，在蘋果Vision Pro上播放視頻。Vision Pro的視頻規(guī)格讓我們非常感興趣，也許還能用于即將進(jìn)行的6DoF內(nèi)容創(chuàng)作實(shí)驗(yàn)。我們?nèi)栽趯ふ倚碌钠脚_。

原文鏈接：https://mixed-news.com/en/shooting-vr-films-despite-motion-sickness-an-interview-with-two-vr-180-experts/