編譯/VR陀螺
從理論上講,控制飛行的無人機幾乎就像是在駕駛直升機,但用戶并不能真的像駕駛直升機那樣在駕駛室控制無人機,因此這使得用戶很難看到無人機相對于各種環(huán)境障礙的位置。人們對控制無人機的視覺是二維的,并依賴于操縱桿和攝像機。
上周,香港科技大學的研究人員Shaojie Shen 和 Chuhao Lio公布了一項新穎而有趣的創(chuàng)新技術,該技術使用全息增強現(xiàn)實硬件生成實時3D地形圖,并使無人機飛行員可以簡單地將已經可視化的目標指向任何目標以進行操控。
全息界面使用了多種技術來進行渲染。為了顯示,微軟 HoloLens頭顯以彩色體素貼圖的形式生成AR內容,用戶可以從任何角度進行查看。它通過自主無人機的深度攝像機以及實時位置數(shù)據(jù)來提供信息。該系統(tǒng)為操作員提供了實時、具有高度空間感的環(huán)境海拔高度和深度,并且使用戶可以很容易地從第三人稱視角看到無人機并重新定位。
HoloLens頭顯隨后將命令反饋給無人機,并通過將佩戴者的手勢和注視點變?yōu)轭愃泣c擊的控件來確定其在全息圖內的下一個目標。隨后,自主無人機可以在移動3D地圖的同時更新到新位置。
但是,由于帶寬限制,該無人機將僅能向增強現(xiàn)實界面提供3D地圖數(shù)據(jù),并且不會提供隨附的第一人稱視頻。
研究人員團隊仍有一些方法可以部署全息無人機控制系統(tǒng)。無人機的數(shù)據(jù)最初是在室內測試空間中通過Wi-Fi共享的,但對于室外應用,一旦5G網(wǎng)絡超出了其當前的無人機限制階段,就有可能使用低延遲的5G蜂窩連接。研究人員指出,由于第一組測試人員的“AR視野非常有限”,因此效果并不理想。即將推出的HoloLens2 AR頭顯可以解決這個問題。由于先前測試人員對增強現(xiàn)實硬件不熟悉,所以研究團隊可能要求第一組測試人員進行練習以更加精通3D定位,這種情況可能也會出現(xiàn)在不完善的3D UI或手勢識別中。
但是,3D地圖數(shù)據(jù)將比真人視頻具有更高的帶寬效率。每秒更新10次時,它僅需要272MB的數(shù)據(jù)。實時視頻需要1.39GB的數(shù)據(jù)才能以每秒30幀的速度傳輸?shù)谝蝗朔Q視頻圖像。將來,該團隊還旨在將兩種流類型合并在一起,以使最終用戶受益,幫助優(yōu)化數(shù)據(jù)以滿足網(wǎng)絡的最小帶寬水平。
盡管存在這些初期問題,但全息增強現(xiàn)實系統(tǒng)仍具有巨大潛力。除了新穎的視覺界面外,它還為用戶提供了許多便捷的控制遠程無人機的方法,只需使用簡單的便攜一體式增強現(xiàn)實頭顯即可,而不必依靠傳統(tǒng)的功能齊全的計算機、顯示器和操縱桿。
研究人員計劃在定于2020年10月25日至29日舉行的國際智能機器人及系統(tǒng)大會(International Conference on Intelligent Robots and Systems)上提出將AR與自動無人機合并的“第一步”。
投稿/爆料:tougao@youxituoluo.com
稿件/商務合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產業(yè)服務平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息