隨著VR行業(yè)技術(shù)升級,更自然的交互方式也隨之而來,自然手勢識別追蹤技術(shù)憑借更符合人真實操作習(xí)慣受到ToB和ToC的關(guān)注。而手勢識別技術(shù)的升級也能方便打通上下游關(guān)系,加大內(nèi)容開發(fā)者創(chuàng)作空間,增加游戲趣味性使其交互方式得到更大提升。
由趣立研發(fā)的6DoF一體機解決方案“騏驥”中已經(jīng)搭載最新的自然手勢識別系統(tǒng),合作方可在系統(tǒng)中直接去調(diào)用此模塊最終完成自然手勢的識別任務(wù)。趣立科技也成為國內(nèi)VR行業(yè)少有擁有自然手勢識別產(chǎn)品化方案的公司,而全球目前也僅有Quest擁有該項技術(shù)。
圖1:騏驥設(shè)備下的自然手勢玩音游
基礎(chǔ)技術(shù)原理
【自然手勢識別】是基于計算機視覺和人工智能算法,對攝像機采集到的圖像中用戶手部區(qū)域進行檢測和對其姿態(tài)進行估計,從而得到全自由度自然手勢跟蹤的技術(shù)。 通俗地可對其拆分為3個步驟:第一要解決手在什么位置;第二、解決手是何種姿態(tài);第三、識別手在做什么?前面兩項很多時候是放在一起做姿態(tài)預(yù)估,最后對動、靜態(tài)手勢做時間序列劃分,并完成最終的指令實現(xiàn)。
圖2:“騏驥”-靜態(tài)手勢
從硬件來說,目前市面上常見的手勢識別方案中所采用的檢測設(shè)備大致分為四類:純紅外攝像機、灰度攝像機、RGB攝像機及深度攝像機。
各方案都有比較明顯的優(yōu)劣勢,比如深度攝像機雖然可以根據(jù)深度信息較其他方法更簡單的獲取手部區(qū)域的位置和形狀,但FOV很小、幀率很低、成本高、功耗較大,而且目前VR一體機的現(xiàn)狀,手勢識別與SLAM的攝像頭需要做復(fù)用,而深度攝像頭很難拿來做SLAM算法,所以目前在XR的領(lǐng)域應(yīng)用場景中會有局限性。
紅外攝像機的原理是將模塊內(nèi)置紅外LED光源,光線反射回手勢識別模塊的紅外攝像頭中,實現(xiàn)基于光學(xué)數(shù)據(jù)的手勢識別。由于使用主動光源,所以它的環(huán)境適應(yīng)性好,也比較容易能檢測到手部區(qū)域,但是它同時會加大功耗,尤其是伴隨對手部使用范圍的增大,需要更多數(shù)量和更大功耗的紅外光,這對整體的ID設(shè)計以及成本都是非常大的挑戰(zhàn)。此方案比較知名的則是Leap Motion。
針對灰度相機與RGB相機的方案,RGB相機由于能更好地將手和環(huán)境用顏色進行區(qū)分所以具備較好的識別作用,但同樣也有FOV較小、幀率較低的問題。而灰度相機優(yōu)勢是FOV比較大、幀率高、覆蓋范圍大、適應(yīng)性強、且成本相對可控,缺點則是難度系數(shù)較高,因為在黑白灰的世界中,將手和復(fù)雜的環(huán)境背景準(zhǔn)確快地剝離開,需要在算法方面下足功夫。
而趣立科技新的6DoF解決方案“騏驥”中,融合的則是根據(jù)現(xiàn)有一體機的灰度攝像頭進行復(fù)用的方式。趣立科技依附集團影創(chuàng)科技大背景,在算法實現(xiàn)上具有多年的經(jīng)驗積累和沉淀。
圖3騏驥設(shè)備的自然手勢識別操作
此項手勢識別技術(shù)算法經(jīng)多期打磨調(diào)整,目前已達到通用狀態(tài),算法框架可適用于任何的攝像機設(shè)備中,在未來產(chǎn)品中,新一代的VR一體機解決方案可能采用彩色RGB攝像機和灰度攝像機的搭配(彩色負責(zé)透視、灰度負責(zé)6DoF追蹤)。而自然手勢識別本質(zhì)依舊會采用基于6DoF的灰度攝像頭為主,彩色攝像頭作為輔助在識別過程中對手在與環(huán)境剝離時的精度進行補充。
整個手勢識別技術(shù)比較難的是,手與面部、人體的識別不同,因為手部復(fù)雜度相對比較高、自遮擋嚴重,手部可以非??斓囊苿硬⑶彝庥^可以在幾幀內(nèi)大幅變化。而目前“騏驥”解決方案中能做到準(zhǔn)確性高、低延遲是因為依靠集團所屬搭建自研的數(shù)據(jù)深層采集和標(biāo)注平臺,基于平臺有非常多的參考數(shù)據(jù),同時在深度模型的序列方面有自研成果,并沉淀了6年多的技術(shù)積累及龐大的數(shù)據(jù)參考值。
未來應(yīng)用場景
【C端互動娛樂】
手勢識別技術(shù)的發(fā)展能夠更好地拓寬內(nèi)容開發(fā)者的想象空間,在內(nèi)容創(chuàng)作時增加多重玩法及交互體驗,比如在玩音游的時候可以直接用手來操作,或是在RPG游戲中一個特定手勢就可以實現(xiàn)魔法攻擊,甚至在未來一組手勢也能夠完成“火影忍者”里的結(jié)印。
【B端教育辦公】
B端的應(yīng)用場景則更廣泛。在智能辦公方面,隨著VR設(shè)備逐漸向辦公工具靠攏,自然手勢識別能更好地通過特定的放大縮小拖拽等手勢,完成匯報方案演講的展示,實現(xiàn)真正意義上的便攜式辦公環(huán)境;而教育教學(xué)中,也可更好的直接用手部識別技術(shù)完成教學(xué)課件的拆裝、組合等要求,更便捷有效地完成操作互動,相信未來隨著自然手勢識別的更進一步發(fā)展,定能催生更多的應(yīng)用場景,同時還可以根據(jù)不同需求,量身定制專屬的解決方案。
未來趣立科技將融合影創(chuàng)總部多方資源,逐漸在其原有解決方案中集成更多的前驅(qū)技術(shù),更好地服務(wù)上下游合作方,為其提供全方位綜合技術(shù)支持。
*聲明:企業(yè)通稿非VR陀螺官方稿,法律問題一律與VR陀螺無關(guān)。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息