文/VR陀螺 豌豆
此前,一名游戲動捕演員“曦曦魚SAKANA”走出幕后,在b站發(fā)布了多條關(guān)于不同風(fēng)格游戲角色的動作捕捉視頻,因其傳神的動作與表情獲得了觀眾的高度認可,不少觀眾紛紛表示“仿佛看到了xx角色本人”。
來源:b站@曦曦魚SAKANA
今年8月28日發(fā)布第一條視頻以來,截至目前,“曦曦魚SAKANA”在b站的總播放數(shù)已達到了5620萬。不只是她,還有許多動捕演員同樣在b站上活躍著,向人們分享參與動捕拍攝的日常與心得,展示這個時代下的動捕技術(shù)力。
來源:b站@mobiusP
在游戲、影視等領(lǐng)域,動捕技術(shù)已不算罕見,而角色背后的動捕演員這一身份近些年才逐漸被大眾所了解。然而不同的場景對動捕的精度要求不一,專業(yè)的動捕演員需要身著特定的動捕服,在特定的場地里完成動作捕捉。
使用專業(yè)設(shè)備的成本非常高,據(jù)悉市面上的一些專業(yè)動捕品牌例如OptiTrack、Vicon和Xsens等解決方案大多在幾千美元到幾萬美元不等。一套專業(yè)的動捕方案包含設(shè)備本身(傳感器、服裝、基站、電腦等),以及定制的軟件,再加上維護成本,對普通人來說難以承受。
除了定價高昂的專業(yè)級方案,是否還有“普通人友好”的動捕設(shè)備?答案是肯定的,就在今年10月,索尼中國正式上市銷售mocopi(國行售價2499元),正巧11月19日也是該產(chǎn)品公布一周年的關(guān)鍵時間節(jié)點,接下來陀螺君將帶來便攜動作捕捉產(chǎn)品mocopi的產(chǎn)品評測。
“紐扣式”傳感器mocopi,總重量僅48g
虛擬化身已是部分人在互聯(lián)網(wǎng)上進行社交的一項身份名片。以《VRChat》為例,玩家們普遍熱衷于在虛擬空間還原現(xiàn)實世界的各種體驗。
再看現(xiàn)有的動捕技術(shù),主流的方案包括光學(xué)式動捕方案和慣性式動捕方案等等,慣性式動捕方案,以其超低廉成本和簡便成熟的處理流程,上手更為簡單。(相關(guān)閱讀:《讓虛擬化身的“肢體語言”更真實?全身動捕的IK優(yōu)化是關(guān)鍵》)
自2022年底索尼宣布要推出這款面向消費者的名為mocopi的便攜式動作捕捉設(shè)備以來,便得到較高的關(guān)注度,只用總重量48g的6個跟蹤傳感器就能完成全身動捕,據(jù)稱能為虛擬主播、內(nèi)容創(chuàng)作者,及科技游戲愛好者提供新思路、新啟發(fā)和新應(yīng)用場景,拓展內(nèi)容呈現(xiàn)的可能性。在索尼品牌的加持下,這款便攜式動捕設(shè)備具體表現(xiàn)如何?
圖源:索尼
顏值能打,6枚傳感器總重量僅48g
開箱后,首先映入眼簾的是鮮亮色彩的“多巴胺色系”包裝,包裝盒最底層則是與傳感器相配的綁帶,長度形態(tài)不一。
圖源:VR陀螺
取出充當(dāng)傳感器收納和充電底座的mocopi黑色收納盒并打開,包裝盒顏色與傳感器顏色相對應(yīng),單個傳感器大小與瓶蓋相近(直徑為3.2cm、重量為8g),傳感器背后印有獨立的編碼,方便藍牙配對。
mocopi充電時需要將傳感器固定在收納盒(磁吸),通過金屬觸點充電。據(jù)悉,傳感器滿電狀態(tài)下支持長達約10小時續(xù)航,且能不限場地自由使用。
圖源:VR陀螺
mocopi需要與智能手機(支持iOS/Android)搭配使用,安裝好手機端App后,即可通過藍牙配對的方式與mocopi進行連接(第一次連接時需要單獨確認6枚傳感器的藍牙連接),連接成功后將傳感器安裝在綁帶上(強力磁吸卡扣固定)再將傳感器分別佩戴在頭部、兩手的手腕、腰部和兩腳的腳踝處。
圖源:索尼
據(jù)官方介紹,mocopi“紐扣式”的輕便設(shè)計,能隨時隨地輕松實現(xiàn)高精度的動作捕捉,通過實時捕獲6個傳感器的動作數(shù)據(jù)來驅(qū)動App中的3D虛擬形象。
即開即用,20分鐘內(nèi)一鍵綁定虛擬形象
提到全身動捕追蹤器,可能不少人第一時間會想到HTC VIVE追蹤器,它能為游戲玩家?guī)韺崟r準(zhǔn)確的追蹤效果。但mocopi顯然不是應(yīng)用于捕捉游戲玩家的動作上,更多的是面向直播、錄制虛擬人物視頻以及更加休閑的VRChat動捕。
雖然同為索尼出品,但mocopi是相對獨立的一款產(chǎn)品,目前并不支持PS VR頭顯和PS5。
圖源:VR陀螺
綁定并按手機端App中的視頻指引和圖示佩戴mocopi傳感器后,提前確認好手機的位置,最好是方便自己點擊錄制的區(qū)域。此外還需要身體站直,在響鈴后往前邁出一步,以完成進一步校準(zhǔn)。
包括首次使用的配對注冊、穿戴傳感器和校準(zhǔn)調(diào)整的時間,總耗時不過20分鐘,單個傳感器重量較輕,無負重感和不適感。
站立校準(zhǔn)(圖源:VR陀螺)
此時,手機屏幕將進入待錄制界面,屏幕中間是索尼官方提供的二次元風(fēng)格虛擬人物“Raynos醬”。不得不說,初次佩戴mocopi并在虛擬空間內(nèi)看到自己驅(qū)動的虛擬形象,確實會讓人感到興奮。
圖源:VR陀螺
再來確認屏幕上方的UI,分別是“虛擬人物”“背景”“鏡像”“麥克風(fēng)”“媒體庫”,屏幕下方可以更換表情/手勢,捏合調(diào)整虛擬形象大小,還能調(diào)整虛擬形象移動/旋轉(zhuǎn)(操作界面的UI在錄制時會自動隱藏)。接下來將實際佩戴mocopi進行簡單的動捕效果測試。
mocopi體驗:新手友好但功能有限的便攜式動捕設(shè)備
mocopi評測結(jié)果:
優(yōu)勢——輕便,幾乎無感、續(xù)航時間長、適合基礎(chǔ)動作捕捉,支持多種場景應(yīng)用,借助手機即可錄制運動數(shù)據(jù)
劣勢——價格較高、追蹤不夠穩(wěn)定(長時間使用需在手機反復(fù)校準(zhǔn))、目前動捕精度不夠高、延遲較嚴(yán)重、會受到其他藍牙設(shè)備干擾
在佩戴mocopi實際測試的過程中,陀螺君嘗試錄制多個動作以體驗基礎(chǔ)功能,按下屏幕下方中間的紅點,倒計時3秒后開始錄制,以下為動捕錄制效果:
全身運動、表情、手部動作測試(來源:VR陀螺)
固定相機模式,測試HUMAN虛擬人物走路效果(來源:VR陀螺)
需要說明的是,mocopi采用慣性動捕技術(shù),而慣性傳感器(IMU)的測量精度會受地磁場受干擾,在進行動作捕捉時,如果要完成復(fù)雜的動作就容易讓虛擬人物出現(xiàn)奇怪的姿勢。
但即便是雙手手臂在身體前后交叉揮動,相較于光學(xué)動捕技術(shù),mocopi不會受到遮擋、光線等影響,也不會出現(xiàn)追蹤丟失的情況。只是mocopi似乎對信號干擾很敏感,時不時會彈出橫幅“與傳感器的通信不穩(wěn)定”,但似乎影響不大。
mocopi最直觀的缺點就是追蹤效果不夠穩(wěn)定,例如走路時能明顯看出來虛擬人物的腳容易打滑,位置容易偏移;蹲下、坐下和躺下時,會出現(xiàn)追蹤異常的情況等;虛擬人物的手肘和膝蓋動作無法準(zhǔn)確捕捉。
圖源:VR陀螺
為了滿足VTuber這類虛擬主播的直播需求,mocopi手機端App的麥克風(fēng)功能支持錄制語音,并做到與虛擬人物口型同步,但體驗下來延遲較為明顯,口型的變化種類不算太多,能滿足一般場景使用,且語音識別功能對音量有要求,如果說話太小聲則識別不出來或口型不準(zhǔn)確。
圖源:VR陀螺
在mocopi手機端App中可以設(shè)置多種背景,包括默認背景、純色背景和AR背景。純色背景方便摳出人像編輯到其他場景,包括影像圖片以及直播間畫面等等,AR背景則可以將虛擬人物放置在現(xiàn)實環(huán)境中。
視頻錄制結(jié)束后可生成mp4文件,也能捕獲并保存BVH動作數(shù)據(jù)以及實時發(fā)送動作數(shù)據(jù)至PC端,省去了傳統(tǒng)動捕方案復(fù)雜的操作流程,相關(guān)文件可在媒體庫查看。
如果用mocopi來玩游戲會有怎樣的效果,陀螺君嘗試著結(jié)合Nintendo Switch體驗了一把《舞力全開2022》。
來源:VR陀螺
不僅僅是《舞力全開》,若要錄制《Beat Saber》等游戲的游玩片段還可以使用綠色背景,將素材進行后期合成,完成二次創(chuàng)作,效果會更佳。
mocopi的另一大賣點就是支持《VRChat》動捕,索尼的意圖非常明顯,其目標(biāo)用戶群體直指《VRChat》的核心用戶,一是他們特別注重沉浸感的體驗,二是市面上有著不同價位的輕便型動捕設(shè)備,大多數(shù)《VRChat》用戶也愿意購買這些外設(shè)來加強游戲的沉浸感。
使用mocopi連接《VRChat》的步驟也相對簡單,在手機端App上修改外部設(shè)備連接設(shè)定,將傳輸格式改為“OSC Trackers”,將IP地址更改為VR頭顯或PC的地址,并確認端口為“9000”,確認設(shè)置后就可以開始錄制,并佩戴好頭顯。同樣的,也需要在《VRChat》設(shè)置匯中打開OSC即完成設(shè)置。
來源:YouTube@TribegreywolfVR
但多數(shù)用戶反映,目前使用mocopi的《VRChat》體驗并不算太好:不僅需要同時佩戴mocopi的6枚傳感器和VR頭顯,手上還要握住控制器,VR設(shè)備也能完成頭部、雙手動作的捕捉,這三處傳感器沒有得到有效利用。
圖源:索尼
另外mocopi還為主要的3D開發(fā)軟件,如Unity、MotionBuilder和UE虛幻引擎等,合作推出了“mocopi”插件,提供了更多的應(yīng)用開發(fā)機會。
而且除了Raynos醬,mocopi手機端App還為用戶提供了使用自定義3D虛擬人物的平臺,點擊“虛擬人物”板塊即可啟動由環(huán)球數(shù)碼創(chuàng)意控股集團合作提供的3D虛擬人“擬影平臺”,讓用戶下載虛擬形象,也可以自己上傳VRM模型使用自制虛擬形象。
總體看來,相近價位的同類型產(chǎn)品中,mocopi已經(jīng)能完成絕大部分動作的捕捉,它也獲得了不少VR用戶的關(guān)注。
對比其他市面上常見的動捕設(shè)備(圖源:SlimeVR)
然而在捕捉精準(zhǔn)度等方面mocopi還有很大的改進空間,其他便攜式動捕設(shè)備例如SlimeVR、HaritoraX等綜合其他VTuber和視頻博主的評測來看似乎更具性價比。
目前mocopi已足夠應(yīng)對日常錄制時長較短的視頻(長時間錄制則需要不斷重新校準(zhǔn),比較麻煩),但實際上mocopi穿模的問題仍然存在,當(dāng)然這也與虛擬人物和實物的接觸和骨骼綁定問題有關(guān),而且延遲問題較為嚴(yán)重(最高僅60Hz刷新率),個別動作捕捉不夠準(zhǔn)確,包括雙手抱胸、蹲下、手臂抬高過肩等,期待后續(xù)能進一步改進。
好在索尼正積極關(guān)注用戶反饋,針對上述《VRChat》用戶曾評價“mocopi不適用于《VRChat》”的問題做出回應(yīng),表示正在推出“優(yōu)先下半身動捕”的測試模式,支持將手腕處的傳感器安裝在膝蓋附近,并重新配備新的腿部專用綁帶(12月1日起作為可選配件銷售)。
當(dāng)然,mocopi如果能持續(xù)保持穩(wěn)定的優(yōu)化,它還有著非常大的應(yīng)用前景,陀螺君認為除了上述提到的娛樂游戲場景,無論是內(nèi)容開發(fā)者還是動畫制作者,甚至是喜愛運動健身的用戶都有機會使用mocopi來利用自己錄制的動作數(shù)據(jù)。
結(jié)語
實際上mocopi在推出之際,索尼就已開始著手搭建其生態(tài)體系。
索尼宣布與HIKKY合作推出“unlink”豐富元宇宙虛擬活動;與虛擬主播MCN機構(gòu)hololive合作;與DONUTS合作加強《Tokimeki VR》直播軟件效果;與StretchSense合作,第三方動捕手套可以兼容mocopi;與bilibili“幻星派對”和百度希壤元宇宙達成合作……
一方面通過多方聯(lián)動豐富產(chǎn)品的使用場景,另一方面又體現(xiàn)出背靠索尼這個集成了眾多優(yōu)秀資源的企業(yè),mocopi作為該公司元宇宙布局的關(guān)鍵產(chǎn)品,能夠進一步發(fā)揮品牌優(yōu)勢。
圖源:StretchSense
作為一家大型的跨國綜合企業(yè),索尼從硬件方面深入挖掘元宇宙的潛力:
除了硬件產(chǎn)品以外,索尼中國研究院推出了結(jié)合3D內(nèi)容生成和動作捕捉技術(shù)的“虛擬舞蹈實驗室”,和以觸覺反饋技術(shù)助力演唱會等欣賞體驗的“沉浸式觸覺劇場”等不同的解決方案。另外,索尼自己也發(fā)起了虛擬偶像計劃“VEE”培養(yǎng)了大批虛擬主播,幾乎是從全方位滲透至各種元宇宙相關(guān)項目。
圖源:索尼
索尼集團現(xiàn)任董事長兼CEO吉田憲一郎曾在采訪中提到自己對元宇宙的看法,他認為:“元宇宙是一個人們可以共享時間和空間的實時網(wǎng)絡(luò)空間,其中還包含社交元素?,F(xiàn)在,網(wǎng)絡(luò)已經(jīng)擴展到互動娛樂領(lǐng)域,與實時呈現(xiàn)CG的游戲技術(shù)相融合。”
“娛樂的精髓在于 ‘臨場感’,索尼的首要任務(wù)是創(chuàng)建一個以娛樂為核心的元宇宙。除了索尼的游戲、音樂、圖片和動漫等多元化娛樂業(yè)務(wù)外,而索尼在包括Micro OLED在內(nèi)的顯示技術(shù)、眼球跟蹤等傳感技術(shù)和3D音頻技術(shù)方面都有優(yōu)勢。”
索尼選擇在這個時間段推出mocopi動捕設(shè)備,與時下計算機視覺技術(shù)的技術(shù)進步,以及對高質(zhì)量3D內(nèi)容需求增加的大趨勢相符,加上近兩年元宇宙受到非常高的關(guān)注度,海內(nèi)外的科技公司都在該領(lǐng)域有所布局。mocopi等輕薄、便攜的動捕設(shè)備有機會為更多普通消費者打開拓展創(chuàng)意的渠道。