編譯/VR陀螺
索尼互動娛樂(SIE)的研究人員最近推出了一款運動控制器原型,該控制器展示了使用機器學(xué)習(xí)和電容傳感器進(jìn)行全手跟蹤的實驗技術(shù)。
像Leap Motion這樣的基于視覺的手部跟蹤系統(tǒng)非常適合在不使用運動控制器之類的物體時追蹤手部,但在使用控制器通常會遮擋手指的移動。
為了讓VR運動控制器具有更好的手感,SIE研究人員Kazuyuki Arimatsu和Hideki Mori著手構(gòu)建了一個原型控制器,該控制器集成了許多如Valve Index控制手柄那樣的電容式接近傳感器。
原型包含62個電極,這些電極記錄了許多不同的手的大小和姿勢的訓(xùn)練數(shù)據(jù)集。與Index控制器一樣,Sony的原型采用了帶有腕帶的開放式手掌設(shè)計。
論文指出:“我們引入了2.5D表示法,將卷積神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于曲面的電容圖像,并基于計算機視覺領(lǐng)域的最新成果對兩種類型的網(wǎng)絡(luò)架構(gòu)進(jìn)行了評估,我們還使用該原型實現(xiàn)了實時交互應(yīng)用程序,并演示了在VR應(yīng)用程序中使用手指進(jìn)行直觀交互的可能性。”
但是Arimatsu和Mori也承認(rèn),他們的設(shè)計目前存在一些缺陷,即缺乏對所有不同大小手部的支持。
“如果我們將該方案交付給全球用戶,這可能會造成問題。由于我們需要光學(xué)跟蹤系統(tǒng)來記錄訓(xùn)練數(shù)據(jù)集,因此無法使用我們當(dāng)前的訓(xùn)練方法實際根據(jù)用戶的使用情況微調(diào)訓(xùn)練。為了更好地適應(yīng)各種手型,需要研究一種用于增強或合成電容圖像的方法。”
當(dāng)前的算法無法估算用戶手部的形狀(例如手指的粗細(xì)),這會在執(zhí)行諸如捏等動作之類的操作時在實際手部姿勢和虛擬手部姿勢之間造成差距。用戶當(dāng)然可以在拾取較小的虛擬物品時進(jìn)行自我調(diào)整,盡管對于Knuckles以及原始的Oculus Touch控制器來說,這確實是正確的。Oculus Touch控制器是首個具有相對較小的電容傳感器陣列的主流VR控制器。
無論是通過Sony內(nèi)置的PC解決方案還是打算與PS5配合使用控制器,Sony都將繼續(xù)朝著商業(yè)化的方向發(fā)展。我們?nèi)栽谄料⒌却乱淮鶳SVR的發(fā)布,希望Sony至少能夠淘汰老化的PS Move和PS Camera光學(xué)組合。
來源:roadtovr
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息