發(fā)布時(shí)間：2019-12-16 10:48 | 標(biāo)簽：
VR AR 眼球追蹤 七鑫易維 路偉
微信掃一掃：分享
微信里點(diǎn)“發(fā)現(xiàn)”，掃一下
二維碼便可將本文分享至朋友圈
2019年12月5日，由中國(guó)通信工業(yè)協(xié)會(huì)虛擬現(xiàn)實(shí)專(zhuān)業(yè)委員會(huì)、由中國(guó)通信工業(yè)協(xié)會(huì)區(qū)塊鏈專(zhuān)業(yè)委員會(huì)、廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場(chǎng)協(xié)會(huì)指導(dǎo)，行業(yè)頭部媒體游戲陀螺、VR陀螺、陀螺電競(jìng)、陀螺財(cái)經(jīng)、深圳區(qū)塊鏈技術(shù)與產(chǎn)業(yè)創(chuàng)新聯(lián)盟聯(lián)合的主辦2019未來(lái)商業(yè)生態(tài)鏈接大會(huì)暨第四屆金陀螺獎(jiǎng)?lì)C獎(jiǎng)典禮（簡(jiǎn)稱(chēng)“FBEC2019”），在深圳市南山區(qū)深圳灣1號(hào)T7座鵬瑞萊佛士酒店宴會(huì)廳開(kāi)幕。本屆大會(huì)以“蝶變 · 向上的力量”為主題，將一如既往的關(guān)注未來(lái)趨勢(shì)發(fā)展、行業(yè)創(chuàng)新升級(jí)、商業(yè)生態(tài)新鏈接等前沿領(lǐng)域。
本次大會(huì)邀請(qǐng)到七鑫易維VR/AR業(yè)務(wù)部總經(jīng)理路偉成帶來(lái)主題為“眼球追蹤將成為VR/AR的標(biāo)配功能”精彩分享。
以下為演講實(shí)錄：
眼球追蹤除了知道在看哪兒，還知道瞳孔的變化，眼皮的變化，虹膜數(shù)據(jù)，眼睛相關(guān)的大部分?jǐn)?shù)據(jù)，眼球追蹤技術(shù)都可以獲取到。
1. 注視點(diǎn)渲染
正常視覺(jué)人眼分辨最小視覺(jué)是60PPD，對(duì)于分辨率的要求非常高。但是人眼有一個(gè)特點(diǎn)，人眼睛看的地方是非常敏感的，眼睛感官細(xì)胞非常多，但是你們要關(guān)注點(diǎn)之外的地方是感知能力非常弱，沒(méi)有必要去渲染的地方，就有了注視點(diǎn)渲染技術(shù)，只渲染盯著的這一小塊，就把整體的渲染算力的要求給降下來(lái)了。
當(dāng)然，這不光是我們一家企業(yè)要完成的事情，像英偉達(dá)這種廠家，像移動(dòng)端的高通，從底層基于注視點(diǎn)進(jìn)去渲染。現(xiàn)在已經(jīng)有技術(shù)成果了，最新的VRS技術(shù)結(jié)合我們的注視點(diǎn)，已經(jīng)實(shí)現(xiàn)了注視點(diǎn)渲染。當(dāng)然，我們最終的目標(biāo)是讓所有內(nèi)容開(kāi)發(fā)者不需要做任何事情，就可以使用上注視點(diǎn)渲染的技術(shù)。
在移動(dòng)端，高通從845開(kāi)始，它是支持注視點(diǎn)渲染技術(shù)的。我們做過(guò)一些demo，我們和英偉達(dá)、HTC等一起合作，我們測(cè)過(guò)，原來(lái)算力只能渲染到大概45幀，用了注視點(diǎn)渲染可以提升90幀，渲染的效果非常明顯。
2. Cloud XR注視點(diǎn)渲染
延遲大，用起來(lái)眩暈感很強(qiáng)，問(wèn)題在于數(shù)據(jù)要跑到云端，云端數(shù)據(jù)再拿回來(lái)，整個(gè)流程會(huì)有很大的延遲。所以，注視點(diǎn)渲染仍然可以在這里面用。我們會(huì)有一個(gè)預(yù)測(cè)算法，我們的注視點(diǎn)可以提前30毫秒知道你的運(yùn)動(dòng)，把這個(gè)數(shù)據(jù)拋到云端，在云端仍然是基于注視點(diǎn)的一個(gè)渲染，縮短了渲染的延遲，甚至往回傳的時(shí)候也可以基于注視點(diǎn)做一些工作，帶寬延遲都會(huì)降低。
當(dāng)然，大家會(huì)有一個(gè)技術(shù)上的疑問(wèn)，注視點(diǎn)本身這個(gè)追蹤會(huì)不會(huì)帶來(lái)延遲？不會(huì)，它和渲染延遲是兩個(gè)并行的失球。眼球追蹤只會(huì)縮短延遲，如果我跟著眼睛移過(guò)去了，但是沒(méi)有那么快，會(huì)不會(huì)造成眼睛感知上的影響？不會(huì)的。人眼對(duì)于高清區(qū)域的移動(dòng)，是有一個(gè)50-70毫秒延遲的允許范圍。為什么呢？人眼有一個(gè)特征叫掃視意志，你的眼睛在眼跳的時(shí)候，眼睛從一個(gè)點(diǎn)轉(zhuǎn)移到另一個(gè)點(diǎn)的時(shí)候，你的視神經(jīng)是關(guān)閉狀態(tài)，這個(gè)時(shí)候你看不清東西。落到一個(gè)新的點(diǎn)，等看清之后，已經(jīng)幾十毫秒過(guò)去了。整體上使延遲降低，幀率提升，這是注視點(diǎn)起到的一個(gè)核心作用。
3．ID識(shí)別
客戶(hù)要把虹膜識(shí)別加到眼球追蹤中去，這是比較特殊的一個(gè)點(diǎn)，為什么虹膜識(shí)別會(huì)放在這兒呢？用的硬件是一樣的，我們的硬件設(shè)備能夠識(shí)別虹膜識(shí)別。反過(guò)來(lái)不行，因?yàn)檠矍蜃粉櫺枰恍┨厥獾脑O(shè)計(jì)，虹膜識(shí)別的硬件不需要考慮這些方面。所以，我們?cè)谒惴ㄖ屑尤肓撕缒ぷR(shí)別，它的好處是什么呢？
因?yàn)樵赩R/AR中，眼球追蹤需要有一個(gè)校準(zhǔn)，校準(zhǔn)之后有一個(gè)用戶(hù)管理，然后校準(zhǔn)你的系數(shù)，有的虹膜識(shí)別可以自動(dòng)地實(shí)現(xiàn)這一點(diǎn)，戴上之后就是你的系數(shù)，不需要手動(dòng)地選擇用戶(hù)ID。這一點(diǎn)不僅僅在眼球追蹤的用戶(hù)中管理，家里可能好幾人用VR/AR，可能有不同的賬戶(hù)使用，家里可能有小孩。就是說(shuō)，在用戶(hù)選擇的時(shí)候還是有一些考慮的。
你自己在玩游戲的時(shí)候，自己保存的是自己的進(jìn)度，這個(gè)用戶(hù)的ID切換可以通過(guò)虹膜識(shí)別來(lái)自動(dòng)地實(shí)現(xiàn)。
未來(lái)VR/AR電商會(huì)成為一種趨勢(shì)，你輸入密碼是不方便的，指紋也不是特別方便，直接用虹膜支付是非常自然的事情。
VR/AR社交身份認(rèn)證也是廣泛的應(yīng)用，至少能夠識(shí)別出你的身份，不至于在網(wǎng)上去騙人。假如沒(méi)有眼球追蹤，VR/AR社交追蹤中，需要使用眼球追蹤復(fù)現(xiàn)人眼的狀態(tài)，這樣使Avatar看上去很好看。
4. 多焦距解決VAC
通過(guò)眼球追蹤技術(shù)，你看遠(yuǎn)處的時(shí)候跳到遠(yuǎn)出，看近處的時(shí)候就跳到近處，這需要顯示技術(shù)一塊來(lái)改進(jìn)，多平面技術(shù)還不成熟。看遠(yuǎn)處的時(shí)候，視覺(jué)線(xiàn)索都是不同的。
5. IPD自動(dòng)調(diào)節(jié)
現(xiàn)在IPD都是死的或者做一個(gè)比較大的范圍，但是對(duì)于某些人來(lái)說(shuō)不適應(yīng)還是感覺(jué)不舒服。但是我可以通過(guò)眼球追蹤技術(shù)，實(shí)時(shí)地告訴你用戶(hù)現(xiàn)在的IPD是多少，可以通過(guò)軟件的方式對(duì)用戶(hù)的IPD進(jìn)行調(diào)節(jié)，用戶(hù)使用起來(lái)就會(huì)非常舒服。
6．動(dòng)態(tài)掃描重定向
這還處于一個(gè)實(shí)驗(yàn)室階段理論，自由移動(dòng)現(xiàn)在在VR中是非常難的難題，很難實(shí)現(xiàn)絕對(duì)自由的移動(dòng)。但是在小空間中模擬無(wú)限空間的移動(dòng)。怎么實(shí)現(xiàn)呢？用人眼的特征，掃視意志，眼睛從一個(gè)點(diǎn)移動(dòng)到另一個(gè)點(diǎn)的時(shí)候，視神經(jīng)關(guān)閉，這個(gè)時(shí)候角度忽然移動(dòng)5度、10度是不知道的，這個(gè)時(shí)候可以把小空間模擬成大空間，包括眨眼睛的時(shí)候，視神經(jīng)不那么好使的時(shí)候，做一個(gè)角度的變化，這樣就實(shí)現(xiàn)了一個(gè)大空間。
1.多模態(tài)自然交互
人希望解放雙手，未來(lái)是一種眼、手、口自然交互。用眼睛去做指向性的很多交互是自然的，當(dāng)雙方被占用的時(shí)候，眼睛可以做很多事情，比如眼睛選中激活。
AR中顯示了很多信息，容易信息過(guò)載，完全是可以吸引你眼睛注意力的，眼睛在哪兒這一塊的相關(guān)信息展示出來(lái)。未來(lái)和AR的結(jié)合，知道你在想什么，就可以做相關(guān)的交互。
2.眼動(dòng)數(shù)據(jù)分析
你看哪兒，你看了多長(zhǎng)時(shí)間，看的順序，瞳孔的變化等等，眼睛是人心靈的窗口，很多數(shù)據(jù)可以通過(guò)眼睛的數(shù)據(jù)獲取到，拿到這些數(shù)據(jù)可以知道你的消費(fèi)偏好，甚至于各方面的偏好，這些信息就可以拿來(lái)精準(zhǔn)營(yíng)銷(xiāo)，這是商家比較感興趣的，可以做很多事情，包括和AI的結(jié)合，再加上腦電、心電等。
3.專(zhuān)業(yè)領(lǐng)域應(yīng)用：視覺(jué)訓(xùn)練、心理康復(fù)等
我們可以看小孩兒的康復(fù)訓(xùn)練恢復(fù)了多少，針對(duì)性地做康復(fù)性的計(jì)劃。視覺(jué)訓(xùn)練是指對(duì)于一些人的弱視、斜視，針對(duì)兒童眼部的問(wèn)題做一些訓(xùn)練。
眼球追蹤將成為VR/AR標(biāo)準(zhǔn)配置。
眼球追蹤技術(shù)不管是從硬件的角度，還是從內(nèi)容的角度，都可以提供很多有用的價(jià)值。最終是帶給終端用戶(hù)的是提高用戶(hù)體驗(yàn)，給商家提高價(jià)值。我們眼球追蹤技術(shù)，無(wú)論是硬件廠家還是內(nèi)容廠家，都可以給你們帶來(lái)更多的錢(qián)、更多的價(jià)值。
最終，眼球追蹤技術(shù)會(huì)成為VR/AR的標(biāo)準(zhǔn)配置，我希望可以用我們的技術(shù)和大家的各個(gè)行業(yè)、各個(gè)產(chǎn)業(yè)，能夠碰撞出火花，一塊來(lái)掙錢(qián)。謝謝大家。
投稿/爆料：tougao@youxituoluo.com
稿件/商務(wù)合作： 六六（微信 13138755620）
加入行業(yè)交流群：六六（微信 13138755620）
