編譯/VR陀螺 萬里
幾周前,我有幸佩戴使用了搭載頂級(jí)硬件的MR頭顯Vision Pro,它的眼動(dòng)+手指捏合交互給我留下了深刻的印象。而在Vision Pro發(fā)布幾個(gè)月前,我在OpenBCI總部通過它們的Galea頭顯獲得了一種更為狂野的交互體驗(yàn):
當(dāng)時(shí)我的耳朵夾著高科技夾子、集成了傳感器的橡膠模塊嵌入我的頭發(fā)里面、新型面罩貼在我額頭前方。就在那一瞬間,我發(fā)現(xiàn)可以在VR頭顯中觀察自己的腦電波,并僅憑微小的面部肌肉運(yùn)動(dòng)即可移動(dòng)屏幕前的物體。
目前VR/AR正在穩(wěn)步發(fā)展,不過輸入依舊是一大挑戰(zhàn),我們從操作手柄過渡到了手勢(shì)識(shí)別以及眼動(dòng)追蹤,不過在此基礎(chǔ)之上,我們又出現(xiàn)了更多新的可能性,比如神經(jīng)控制。
左:Galea最終版本,右:早期頭顯原型,圖源:OpenBCI
密集集成神經(jīng)傳感器,Galea有望在今年上市
OpenBCI是一家總部位于布魯克林的企業(yè),致力于開發(fā)無創(chuàng)腦機(jī)接口技術(shù)以及工具,OpenBCI一直致力于將感覺系統(tǒng)融入到其MR頭顯Galea當(dāng)中,這款頭顯將于今年晚些時(shí)候上市。
?我在OpenBCI的辦公室上手體驗(yàn)了Galea的原型機(jī),這種感覺非常奇妙,以至于在很多時(shí)候我甚至不知道該怎么形容自己的體驗(yàn)。我對(duì)于神經(jīng)技術(shù)方面的知識(shí)積累也不算多,但是我能感覺到OpenBCI構(gòu)建的設(shè)備以及平臺(tái)正在探索著技術(shù)的前沿并可能對(duì)未來有著重要的影響。
在這之前,我曾體驗(yàn)過一些簡(jiǎn)單的腦電圖傳感器集成產(chǎn)品,比如NextMind頭帶,它可讓我通過專注于特定的位置從而觸發(fā)行動(dòng)(NextMind去年被Snap收購(gòu)),它在操作上有點(diǎn)類似于用鼠標(biāo)點(diǎn)擊,但它完全是基于我的想法驅(qū)動(dòng)的。OpenBCI更進(jìn)一步,在Galea這款設(shè)備上集成了EEG、EMG、EDA、PPG和眼動(dòng)追蹤等一系列傳感器。
圖源:NextMind
EEG(腦電圖),它是一種使用電生理指標(biāo)記錄大腦活動(dòng)的方法。Galea的EEG數(shù)據(jù)通過它位于后腦勺區(qū)域的橡膠頭形狀的傳感器進(jìn)行測(cè)量,這些傳感器需要靠近我的頭皮工作。(這與NextMind的工作方式類似)傳感器在干燥時(shí)可以進(jìn)行工作,不過需要避免過多頭發(fā)遮擋。
EMG(肌電圖),這是一種基于神經(jīng)網(wǎng)絡(luò)的肌電信號(hào)的數(shù)據(jù)融合技術(shù)研究。在這款頭顯上,傳感器集成在頭顯的面罩區(qū)域,它貼著我的額頭、眼睛和臉頰區(qū)域。它可以檢測(cè)我面部的微小肌肉動(dòng)作。與Quest Pro上面的臉部傳感器不同,前者主要是光信號(hào),而這里收集的是電信號(hào)。理論上,你可以將動(dòng)作做得足夠小,使其表現(xiàn)得更像是神經(jīng)脈沖。
目前Meta也在開發(fā)適用于腕帶設(shè)備的EMG技術(shù),早些年Meta CTO Andrew Bosworth曾指出,神經(jīng)輸入技術(shù)將會(huì)在3-5年內(nèi)在Meta內(nèi)部興起,最終可能與智能眼鏡等可穿戴設(shè)備相結(jié)合。
橡膠頭里面配備了一系列EEG傳感器,圖源:OpenBCI
EDA(皮電反射,或皮膚電活動(dòng)),一種檢測(cè)皮膚汗腺活動(dòng)從而研究對(duì)象的心理及壓力狀態(tài)的技術(shù)。目前Fitbit在其Fitbit Sense智能手表中也內(nèi)置了EDA傳感器,它用于測(cè)量用戶壓力水平。Galea的EDA傳感器則位于頭顯的前額區(qū)域。
PPG(光電容積描記技術(shù)),這是一種將光照射到皮膚并測(cè)量因血液流動(dòng)而產(chǎn)生的光散射的方法。該技術(shù)在智能手表上已有所應(yīng)用,可監(jiān)測(cè)心率。Galea在額頭區(qū)域也配備了PPG,不過,我當(dāng)時(shí)體驗(yàn)的原型產(chǎn)品中使用的是耳夾。
圖源:CNET
Galea頭顯本體是Varjo XR-3,這款頭顯具有超過70ppd的超高分辨率以及115°FOV,并能提供優(yōu)質(zhì)的混合現(xiàn)實(shí)體驗(yàn)。這是一款PC VR設(shè)備,當(dāng)然頭顯上集成的一系列傳感器陣列也需要通過連接到電腦以執(zhí)行數(shù)據(jù)分析。OpenBCI CEO兼聯(lián)合創(chuàng)始人Conor Russomanno透露,其傳感器陣列不僅能用于Varjo XR-3,也適用于其他VR產(chǎn)品(如價(jià)格更低的Varjo Aero等)又或者其他非VR設(shè)備。
最近發(fā)布的Vision Pro具有強(qiáng)大的運(yùn)算以及一體化優(yōu)勢(shì),未來它也有可能成為OpenBCI的理想平臺(tái)。Russomanno還透露,未來開發(fā)類似于Vision Pro的AR/VR平臺(tái)是完全有可能的,他認(rèn)為蘋果這款產(chǎn)品推出意味著蘋果對(duì)MR計(jì)算領(lǐng)域的重要關(guān)注,OpenBCI對(duì)這一機(jī)遇也持有同樣的看法。
基于SteamVR平臺(tái)運(yùn)行的Galea,圖源:CNET
肌肉信號(hào)控制運(yùn)動(dòng),加強(qiáng)用戶身體機(jī)能,Galea開啟全新交互方式
OpenBCI的傳感器陣列并不試圖解決單一目標(biāo),而是試圖通過系統(tǒng)級(jí)的傳感器來研究以及打開計(jì)算機(jī)交互的大門,在體驗(yàn)過程中,它展現(xiàn)了非常多的可能性。
最近,OpenBCI與脊髓性肌肉萎縮癥的黑客Christian Beyerlein合作,后者在TED演講中親自演示了如何借助OpenBCI的設(shè)備來控制無人機(jī)。演示時(shí),Beyerlein的雙手并沒有操作手柄,當(dāng)他戴上頭顯后,在不借助外力的情況下,無人機(jī)就好像受到了意念控制般能夠執(zhí)行各種飛行指令。這主要是通過設(shè)備的EMG傳感器所實(shí)現(xiàn)的,不過前期需要進(jìn)行一定的學(xué)習(xí)以及訓(xùn)練。
圖源:TED
我在OpenBCI總部體驗(yàn)了一款名為《Cat Runner》的小游戲,我需要通過面部肌肉的微小動(dòng)作來控制游戲人物的移動(dòng),Galea藏在面罩中的EMG傳感器可以很好識(shí)別我的這些微小的動(dòng)作。我去年秋天在Meta Reality Labs也曾體驗(yàn)了類似的基于EMG操作的游戲演示,不過不同之處在于Meta試圖在手腕上執(zhí)行信號(hào)采集以及驅(qū)動(dòng),而Russomanno認(rèn)為EMG放在頭部使用會(huì)有更好的機(jī)會(huì),因?yàn)檫@些傳感器不會(huì)干擾頭顯基于攝像頭方案的手部追蹤功能。
EMG可以感知微弱的電脈沖信號(hào),以至于設(shè)備工作時(shí)外人甚至難以察覺到用戶的肌肉在運(yùn)動(dòng)。不過,傳感器、算法、人體輸入這三者之間需要花費(fèi)一定的時(shí)間來進(jìn)行精細(xì)調(diào)試。由于Galea配備的傳感器眾多,可以提供大量的數(shù)據(jù),這些數(shù)據(jù)可以用于探索未來的研究方向或新的接口。
除肌肉信號(hào)控制以外,OpenBCI的設(shè)備還可以提供有關(guān)使用VR和AR設(shè)備對(duì)大腦或注意力影響的反饋。之前也有不少人嘗試過使用VR頭顯的傳感器來研究認(rèn)知過程,比如帶有心率傳感器的HP Omnicept或一些配備眼動(dòng)追蹤功能的頭顯等。
在另外一個(gè)演示中,我還體驗(yàn)了一款冥想APP。它與一般的VR冥想應(yīng)用不同,傳感器可以檢測(cè)我不同的腦電波信號(hào)并轉(zhuǎn)化為環(huán)境光的顏色,也就是說我看到的顏色會(huì)隨著腦電波信號(hào)的改變而改變。我嘗試通過集中注意力的方式來改變畫面效果,最終發(fā)現(xiàn)是有效的(其實(shí)我也不太確定)。在這里反饋以及訓(xùn)練和改善我們使用神經(jīng)沖動(dòng)控制事物的方式是OpenBCI傳感器陣列的關(guān)鍵部分。
左為頭顯看到的畫面,右為傳感器陣列實(shí)時(shí)捕捉的數(shù)據(jù),圖源:CNET
Russomanno指出,通過EMG,Galea可以擴(kuò)展Beyerlain的大腦以及更多身體機(jī)能。這項(xiàng)演示背后其實(shí)揭示了神經(jīng)反饋將能像AI一樣改變我們與計(jì)算機(jī)的交互方式。
“這并不是說AI沒有用,只不過它并非唯一的解決方案,也不是能改變世界的唯一圣杯......我們實(shí)際上更喜歡神經(jīng)反饋以及真正的智能用戶界面和智能設(shè)計(jì),這是實(shí)現(xiàn)循環(huán)迭代的另一種方向。利用技術(shù)讓計(jì)算機(jī)更好地教導(dǎo)人類是我們將要經(jīng)歷的另一場(chǎng)很酷的革命。”
這個(gè)說法讓我想起了智能手表的發(fā)展脈絡(luò):光學(xué)心率傳感器開始開放數(shù)據(jù)流,隨著時(shí)間的推移,手表出現(xiàn)了新的健康功能。如Fitbit在其Sense手表上安裝EDA等傳感器。伴隨著Galea以及類似產(chǎn)品的努力,這可能會(huì)進(jìn)一步為我們打開可穿戴設(shè)備的大門,而這些設(shè)備最終可以與我們的所見所聞以及雙手進(jìn)行更多交互。
Russomanno對(duì)此深信不疑。他認(rèn)為伴隨著蘋果等更好的VR和AR頭顯的到來,將打開通往新輸入和外圍設(shè)備的途徑。在我結(jié)束演示體驗(yàn)的幾個(gè)月后,Russomanno通過視頻聊天進(jìn)一步向我解釋道,類似于Vision Pro這些具有更強(qiáng)大的AR和MR能力的設(shè)備讓人矚目的地方在于它們擁有一系列能感知外部世界的傳感器,而OpenBCI所做的是對(duì)于用戶的內(nèi)部世界進(jìn)行探索。“當(dāng)內(nèi)外兩個(gè)數(shù)據(jù)集結(jié)合在一起時(shí),里面可能會(huì)產(chǎn)生非常大的可能性。”
Russomanno使用AI與神經(jīng)反饋進(jìn)行了比較,我也覺得兩者是相互關(guān)聯(lián)的。人工智能需要借助數(shù)據(jù)集來發(fā)揮其魔力,而未來的感官技術(shù)系統(tǒng)也同樣如此。隨著神經(jīng)技術(shù)的發(fā)展,AI與之共同進(jìn)步的可能性也在不斷增加。
圖源:OpenBCI
結(jié)語(yǔ)
OpenBCI的Galea是一款VR和AR頭顯,但它與Varjo硬件的接口只是其中的一部分,傳感器陣列也可以脫離頭顯單獨(dú)使用。當(dāng)我想到未來的可穿戴設(shè)備能夠與我們身體上的其他設(shè)備進(jìn)行交互聯(lián)動(dòng)時(shí),我對(duì)此更加感興趣。如今,更先進(jìn)的傳感器可能會(huì)極大增強(qiáng)我們的日?;?dòng)。這一切還有很長(zhǎng)的路要走,但是我們從Galea等產(chǎn)品身上已經(jīng)看到了一些良好的開端。
目前,要人們相信VR/AR等可穿戴視覺技術(shù)已經(jīng)很困難了,但是,改進(jìn)我們最終與空間技術(shù)或現(xiàn)實(shí)世界的連接方式,可能是VR/AR如何發(fā)展成為更有意義的東西(當(dāng)然也可以說是令人更為不安的東西)的部分答案。個(gè)人科技正在試圖與我們的感官以及大腦建立更為深層次的聯(lián)系,但從當(dāng)前來看,這一切還有待開始。
來源:
https://www.cnet.com/tech/computing/i-wore-the-future-of-brain-connected-arvr/?utm_source=reddit.com
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
版權(quán)申明:本文為VR陀螺原創(chuàng),任何第三方未經(jīng)授權(quán)不得轉(zhuǎn)載。如需轉(zhuǎn)載請(qǐng)聯(lián)系微信:vrtuoluo233 申請(qǐng)授權(quán),并在轉(zhuǎn)載時(shí)保留轉(zhuǎn)載來源、作者以及原文鏈接信息,不得擅自更改內(nèi)容,違規(guī)轉(zhuǎn)載法律必究。文中有圖片、視頻素材來自互聯(lián)網(wǎng)或無法核實(shí)出處,如涉及版權(quán)問題,請(qǐng)聯(lián)系本網(wǎng)站協(xié)商處理。
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息