都說手勢和語音識別是最自然的交互方式，未來將成為主流。 且不說語音識別，至少在手勢交互這一塊，目前還存在比較大的局限性。而很多人對于這一技術(shù)的應(yīng)用場景也比較迷茫。 近日，uSens凌感發(fā)布了新的Fingo SDK，可以實現(xiàn)一系列雙手交互動作，如握拳、手心寫字、十指交叉等，為手勢識別的應(yīng)用帶來了新的可能。借此機會，我們和凌感聊了一下這項技術(shù)的應(yīng)用場景。 進化的手勢識別：支持雙手交疊 26DOF、60幀，幾乎成為了手勢識別技術(shù)的標配，要實現(xiàn)已經(jīng)不是難題。而更難的是，如何在虛擬世界中完全重現(xiàn)現(xiàn)實中雙手的動作。由于手勢識別使用紅外方案居多，在雙手重疊、被遮擋或者使用復雜的手勢的情況下，往往不能通過攝像頭準確識別出來，需要算法來彌補。 人的手部動作靈活復雜，不僅有直接可見的清晰手型，也有握拳、手指交叉、左右手交疊等等對關(guān)節(jié)點有大幅遮擋的動作，這些遮擋的部分如何精準識別成為判斷手部追蹤技術(shù)的一個關(guān)鍵指標。 uSens凌感聯(lián)合創(chuàng)始人、CTO費越博士介紹：“我們的手部追蹤指的是實現(xiàn)雙手的自然交互，不是識別幾種固定的手勢，也不是跟蹤五個指尖，而是通過對手部26個自由度的追蹤，通過深度學習等算法，對手部骨骼進行識別。人是主動性的，不是被動的受限交互，這就不可避免的出現(xiàn)大家生活中常用的雙手交互的動作，比如鼓掌、握手、雙手交叉換位等。為了給用戶創(chuàng)造自然沉浸的三維交互體驗，我們認為這部分雖然難度高，但有必要突破，其他方案目前還沒有涉及這部分，或者效果不佳。我們先行啟動了在這個方向的研發(fā)和嘗試。”

凌感最新Fingo SDK演示視頻：

我們在現(xiàn)場體驗了凌感Fingo以及另一款手勢識別模塊產(chǎn)品，用握拳、拍掌、翻轉(zhuǎn)、疊加、交叉、在手掌上寫字等各種姿勢進行了對比，雖然都存在一些抖動的問題，但很明顯，在雙手的識別上，F(xiàn)ingo比另一款的識別率高很多，特別是在雙手疊加的情況下，另一款基本上只能識別出一只手，而且偶爾會判別不出來手的正反面。 VR/AR上的手勢識別應(yīng)用場景 目前來看，幾乎各個手勢識別的廠商都會選擇將VR/AR作為首選的應(yīng)用領(lǐng)域。 比如uSens凌感的手部追蹤解決方案Fingo自今年年初推出后，已經(jīng)與國內(nèi)外AR/VR類頭顯廠商進行了深度合作，部分廠商已在規(guī)劃集成Fingo的交互頭顯，預計今年底或明年初將有產(chǎn)品面世?；贔ingo的注冊開發(fā)者不斷增加，行業(yè)覆蓋游戲、房地產(chǎn)、教育、汽車、展覽展示等。 凌感uSens的商務(wù)副總裁陳佳敬提到，和硬件廠商的合作主要分為三種，如果對方硬件準備好了，可以適配軟件；第二種是提供軟件和硬件做嵌入集成；最后一種是提供配件，給對方直接上架銷售。 在手勢識別的應(yīng)用上，并不適用于所有的場景，而更多是一些特定的場景，和人在真實生活中的動作一樣的交互。比如看到一些虛擬的茶杯，就不會想到用語音去操控茶杯，而是更自然的直接用手去拿。而特定的應(yīng)用場景，比較明確的是AR方面，因為微軟的HoloLens有基本的手勢交互，讓開發(fā)者們對其有了一定的認識，相對來說VR還屬于觀望的階段。 uSens凌感高級技術(shù)總監(jiān)毛文濤提到，就是發(fā)現(xiàn)在行業(yè)實際應(yīng)用中，手勢操作有些痛點問題一直沒得到很好地解決，如：聾啞人溝通用的手語中有大量雙手交叉或交疊在一起的動作，這類動作目前市面上產(chǎn)品無法做到或表現(xiàn)不佳。VR社交、VR課程中，希望有一些類似小鍵盤的操作，學生或用戶長時間手勢懸空操作會比較辛苦。針對這些應(yīng)用場景，此次凌感才會推出雙手交互，實現(xiàn)了在手心上寫字、左右手交叉等一系列雙手觸碰的動作，這樣既有力反饋又無需懸空操作，對于提升用戶體驗有很大作用。 另一方面，手勢識別在游戲上的應(yīng)用也在提高。比如萌果游戲、哈士奇等多家廠商已經(jīng)開發(fā)了游戲的手勢識別版本。 VR/AR之外的需求——車載系統(tǒng) 除了以上VR/AR的應(yīng)用場景之外，手勢識別融入車載系統(tǒng)中其實早就已經(jīng)有廠商開始實施。比如微動就是專門針對車載市場的一家手勢識別技術(shù)開發(fā)商。凌感也經(jīng)常收到來自汽車廠商的需求，并且曾經(jīng)在2016年初的時候，跟戴姆勒做過一些Demo?！爱敃r他們希望在4S店中把VR/AR和手勢識別的場景加入進去，包括奧迪也在考慮跟我們合作?！? 陳佳敬提到，車載相對來說對手勢識別的復雜度要求不那么高，甚至只需要一些簡單的識別手部輪廓的也可以用，5種之內(nèi)的手勢基本方案就可以滿足需求。所以簡單的方案用在車載上，復雜的則使用在VR和AR上，是凌感的基本策略。 雖然這是一個很有潛力的市場，不過和汽車企業(yè)合作也會產(chǎn)生一些問題，因為要在汽車上市之前加入到車載系統(tǒng)中，就意味著參與環(huán)節(jié)是汽車的設(shè)計過程，通常一款汽車設(shè)計耗時3年左右，周期特別長，一般創(chuàng)業(yè)公司很難耗得起。 后記 對于手勢識別的未來，凌感方面還是非常有自信的?！澳壳皝碚f，中國市場的發(fā)展空間是很大的，不論是硬件迭代速度，還是C端用戶量，中國在全球都很靠前。美國雖然有一部分核心用戶，但是在大眾市場上，中國在線下體驗店、行業(yè)應(yīng)用發(fā)展都要更快。而開發(fā)者對于手勢識別有也有了更為明確的需求，這些會讓我們想要花更多的精力來滿足他們需要的東西。” “雖然現(xiàn)在還屬于投入期，不過在今年下半年到明年上半年有一波小浪潮的話，是可以給我們帶來一定的營收的?！? 關(guān)注微信公眾號：VR陀螺（vrtuoluo）,定時推送，VR/AR行業(yè)干貨分享、爆料揭秘、互動精彩多。