文/VR陀螺
扎克伯格頗有儀式感的從一個(gè)保險(xiǎn)箱里面掏出這款(Orion)AR眼鏡設(shè)備,并說(shuō)了一句:“這就是世界上最先進(jìn)的眼鏡。”
Meta Orion——據(jù)稱成本高達(dá)1萬(wàn)美元,Meta內(nèi)部研發(fā)10年,雖然它還只是原型機(jī),但里面的眾多技術(shù)值得我們關(guān)注。
70度視場(chǎng)角全彩顯示
Micro-LED+衍射光波導(dǎo)+碳化硅
從產(chǎn)品外形來(lái)看,其整體比較粗獷,鏡框看起來(lái)較厚,扎克伯格稱眼鏡重量控制在了100g以內(nèi)。Orion由3個(gè)部分組成,AR眼鏡Orion、獨(dú)立的計(jì)算單元Wireless Compute Puck以及EMG神經(jīng)腕帶。
Orion為AR一體機(jī)眼鏡,其通過(guò)無(wú)線與主機(jī)連接,內(nèi)置兩顆芯片,眼鏡本體續(xù)航可達(dá)2-3個(gè)小時(shí)。眼鏡采用衍射光波導(dǎo)+全彩Micro-LED光機(jī),據(jù)VR陀螺了解,該屏幕來(lái)自國(guó)內(nèi)頭部的Mirco-LED企業(yè)JBD,采用光波導(dǎo)合色方案,即使用R、G、B三個(gè)獨(dú)立單色光機(jī)進(jìn)行合色,一般搭配多層光波導(dǎo)/多個(gè)波導(dǎo)耦入口實(shí)現(xiàn)合色。
值得注意的是Orion的對(duì)角線市場(chǎng)角可以達(dá)到70度,這是目前市場(chǎng)上采用衍射光波導(dǎo)+全彩Micro-LED光機(jī)所達(dá)到的最大視場(chǎng)角產(chǎn)品,其原因在于采用了碳化硅材料。在此之前,衍射光波導(dǎo)多采用玻璃或者樹(shù)脂材料,玻璃透過(guò)率和平整性更高,并且折射率可達(dá)到2.0-2.2,所以能夠帶來(lái)更大的視場(chǎng)角,但其缺陷也比較明顯,一方面無(wú)法應(yīng)對(duì)曲面設(shè)計(jì),另外還會(huì)導(dǎo)致眼鏡更重、也更易碎。
而樹(shù)脂材質(zhì),從去年開(kāi)始眾多光波導(dǎo)光學(xué)企業(yè)都開(kāi)始探索和落地應(yīng)用,所以今年在光博會(huì)上看到了非常多采用樹(shù)脂材質(zhì)的光波導(dǎo)。樹(shù)脂作為眼鏡上最常用的鏡片材質(zhì),以其更輕量、可用于曲面設(shè)計(jì),同時(shí)抗摔落的屬性,受到了越來(lái)越多光學(xué)企業(yè)追捧。不過(guò)樹(shù)脂材質(zhì)的缺點(diǎn)也比較明顯,其折射率位于1.5-1.7區(qū)間,所以難以獲得更大的視場(chǎng)角。
碳化硅,公開(kāi)資料顯示,碳化硅是一種無(wú)機(jī)物,化學(xué)式為SiC,是用石英砂、石油焦(或煤焦)、木屑(生產(chǎn)綠色碳化硅時(shí)需要加食鹽)等原料通過(guò)電阻爐高溫冶煉而成。它是一種半導(dǎo)體,在自然界中以極其罕見(jiàn)的礦物莫桑石的形式存在。
其化學(xué)穩(wěn)定性強(qiáng),不易受化學(xué)腐蝕;在特定波長(zhǎng)范圍內(nèi),碳化硅光波導(dǎo)的傳輸損耗低,保證了信號(hào)的高質(zhì)量傳輸;寬頻帶特性使其適用于多種光通信和傳感應(yīng)用;高折射率有助于提高耦合效率并減少泄漏損失;環(huán)境適應(yīng)性強(qiáng),適用于極端溫度、濕度和壓力環(huán)境。
相比之下,目前玻璃最高折射率為2.0,密度為4.7g/cm³,而碳化硅在折射率上可達(dá)到2.6,密度為3.2g/cm³。更高的折射率使得光波導(dǎo)能夠更有效地束縛和引導(dǎo)光波,從而減少光的損失,提高傳輸效率。此外,較低的密度使得碳化硅光波導(dǎo)在重量上更輕。提升最終產(chǎn)品穿戴體驗(yàn)。
VR陀螺之前在與光博會(huì)參展企業(yè)慕德微納的交流中了解到,目前比較常見(jiàn)的碳化硅分為導(dǎo)電型及半絕緣型,導(dǎo)電型主要用于半導(dǎo)體領(lǐng)域,半絕緣型為透明態(tài),應(yīng)用較少,所以完全沒(méi)有起量,這也導(dǎo)致材料的價(jià)格非常高,如一片4寸的硅片做碳化硅片價(jià)格將近2000人民幣,而且由于其比普通的石英玻璃更加堅(jiān)硬,導(dǎo)致加工比較難,所以慕德微納采用的加工工藝是先壓印再刻蝕。
Orion交互:6DoF空間定位
+手勢(shì)&眼動(dòng)追蹤+EMG腕帶
除了波導(dǎo)材質(zhì)值得關(guān)注之外,Orion上還有諸多技術(shù)點(diǎn)值得留意。其支持6DoF Slam定位,以及手勢(shì)識(shí)別和眼動(dòng)追蹤,并且還搭配了EMG神經(jīng)腕帶,所以交互方式非常豐富,頭控、眼動(dòng)、手勢(shì)、以及眼鏡本體上的按鍵。
在Orion眼鏡上擁有7個(gè)攝像頭和傳感器,眼鏡前方和鏡腿兩側(cè)分別有兩個(gè)攝像頭用于6DoF Slam定位,在眼鏡內(nèi)側(cè)分別有2個(gè)攝像頭對(duì)眼球進(jìn)行追蹤,同時(shí)旁邊分布了一圈紅外燈來(lái)輔助捕捉。
關(guān)于顯示體驗(yàn),據(jù)了解其亮度完全可適用于室內(nèi)環(huán)境,但室外環(huán)境的亮度仍需提升。此外,據(jù)了解,Meta實(shí)際上為眼鏡準(zhǔn)備了電致變色與光致變色兩種方式來(lái)使其應(yīng)對(duì)更多更復(fù)雜的光線環(huán)境。
電致變色相對(duì)于光致變色擁有更廣的變色范圍,且可控性強(qiáng),如國(guó)內(nèi)伯宇可以實(shí)現(xiàn)10-80%的變色范圍,通過(guò)施加不同的電壓可以精確控制材料的透明度,實(shí)現(xiàn)從完全透明到不透明的連續(xù)調(diào)節(jié);而光致變色依賴于外部光線條件,響應(yīng)速度快且無(wú)需額外能量輸入,但不可手動(dòng)調(diào)節(jié)。相關(guān)資料指出,一般太陽(yáng)鏡型變色鏡片光照變色后的透過(guò)率降低到20~30%。舒適型的變色鏡片變色較淺,光照變色后的透過(guò)率40~50%左右。
另外,關(guān)于眼鏡主機(jī)Compute Puck部分,其呈橢圓長(zhǎng)條形,未搭載屏幕,內(nèi)置處理器,并且搭載了攝像頭和ToF等傳感器,可以掃描人臉建模,用于3D全息通話上。
主機(jī)主要為眼鏡提供算力,然后通過(guò)構(gòu)建無(wú)線局域網(wǎng)將畫(huà)面?zhèn)魉偷窖坨R上,腕帶則是與主機(jī)使用藍(lán)牙連接。Orion眼鏡支持多模態(tài)大模型,主要計(jì)算部分在主機(jī)上,據(jù)了解該計(jì)算單元可以實(shí)現(xiàn)一整天的使用續(xù)航。
關(guān)于神經(jīng)腕帶,很早之前Meta就公布了相關(guān)專利和早期的Demo產(chǎn)品,詳見(jiàn):《扎克伯格:VR/AR神經(jīng)腕帶將在未來(lái)幾年內(nèi)發(fā)貨》,不過(guò)當(dāng)時(shí)亮相的產(chǎn)品整體看起來(lái)還非常厚重,此次Orion套裝中的EMG腕帶看起來(lái)輕薄了許多,其采用編織材質(zhì),內(nèi)側(cè)放置了多個(gè)傳感器用來(lái)檢測(cè)肌電信息,將其轉(zhuǎn)換成電信號(hào)用來(lái)交互,可以實(shí)現(xiàn)諸多手勢(shì)動(dòng)作,如食指、中指捏合,握拳拇指單擊打、雙擊、左右上下滑動(dòng),同時(shí)腕帶內(nèi)置IMU,通過(guò)手移動(dòng)可以控制虛擬界面中的物體移動(dòng)、滑屏等操作。
在手勢(shì)追蹤部分,Meta考慮非常周全,通過(guò)腕帶可以實(shí)現(xiàn)一部分手勢(shì),同時(shí)眼鏡上的攝像頭也可以進(jìn)行CV視覺(jué)的手勢(shì)捕捉,以應(yīng)對(duì)其他交互出現(xiàn)問(wèn)題時(shí)緊急狀況。
Meta早前展示的EMG腕帶Demo
Meta Orion 套裝中的EMG神經(jīng)腕帶
關(guān)于肌電手環(huán),嚴(yán)格來(lái)說(shuō),其只是使用肌電信號(hào)控制設(shè)備的儀器。所謂肌電信號(hào),維基百科給出的解釋是,當(dāng)肌肉細(xì)胞被生物電或者神經(jīng)激活時(shí)產(chǎn)生的電能。
而將單個(gè)或者多個(gè)肌肉細(xì)胞或者部分肌肉組織活動(dòng)時(shí)產(chǎn)生的生物電變化,經(jīng)電極引導(dǎo),放大、記錄和顯示所獲得的電壓變化的一維時(shí)間序列信號(hào)圖形,就是肌電圖(electromyogram,簡(jiǎn)稱EMG),也就是我們今天能看到的肌電手環(huán)等使用的關(guān)鍵概念。
肌電手環(huán)的技術(shù)原理與應(yīng)用,VR陀螺早前有多篇文章闡述其技術(shù)原理,國(guó)內(nèi)從事肌電手環(huán)研發(fā)的傲意信息,早已將肌電手環(huán)用戶殘障人士,如斷臂者可以通過(guò)肌電手環(huán)采集電信號(hào)后,釋放到仿生機(jī)械手上,從而實(shí)現(xiàn)日常的拿取物體、用筷子吃飯等行為,真正讓科技惠及民生。
多模態(tài)Llama 3.2大模型,AI賦能內(nèi)容應(yīng)用
在應(yīng)用層,Orion展示了多個(gè)應(yīng)用,包括全息視頻、游戲、AI識(shí)物等。
Orion支持6DoF空間定位,因此可以實(shí)現(xiàn)虛實(shí)融合的MR效果,它相對(duì)于Vision Pro以及Meta Quest等以VST(Video See Through)為核心的MR產(chǎn)品要輕薄許多,當(dāng)然,目前OST的顯示效果也難以媲美VST。
Meta為Orion眼鏡開(kāi)發(fā)了一款Messenger應(yīng)用,能夠與VR頭顯、手機(jī)的用戶跨平臺(tái)進(jìn)行3D通話,類似蘋(píng)果的Persona功能。當(dāng)使用3D全息通話時(shí),眼鏡前方將顯示對(duì)方的3D Avatar,仿佛與真人在進(jìn)行對(duì)話,通話過(guò)程中,Avatar的眼神和嘴都會(huì)有對(duì)應(yīng)的動(dòng)作呈現(xiàn)。
另一款內(nèi)容是一個(gè)像素風(fēng)的射擊小游戲,主要操作是用頭部以及眼動(dòng)追蹤鎖定目標(biāo)后,然后用手指捏合來(lái)發(fā)射子彈,由于可支持6DoF空間定位,所以畫(huà)面會(huì)被固定在空間中,不會(huì)產(chǎn)生暈眩。
此外,其還演示了另一款雙人“乒乓球”的應(yīng)用,在兩人都佩戴Orion的前提下,通過(guò)掃描桌上的二維碼來(lái)進(jìn)行絕對(duì)位置定位,隨即便可在眼鏡中看到游戲界面——乒乓球?qū)?zhàn)框,用手移動(dòng)方塊區(qū)域?qū)⑶驌舸虻綄?duì)面,從而實(shí)現(xiàn)對(duì)戰(zhàn)。
AI也是本次Meta Conncet的一大亮點(diǎn),Meta推出了首個(gè)開(kāi)源多模態(tài)模型Llama 3.2。扎克伯格稱,當(dāng)前AI最簡(jiǎn)單的用例之一是AI助手,而Meta AI在這一類別中脫穎而出,不僅可以免費(fèi)無(wú)限制地訪問(wèn)最先進(jìn)的AI模型,還可以輕松集成到不同的產(chǎn)品和應(yīng)用程序中。Meta AI有望在今年年底成為世界上最常用的AI助手。
在Orion上Meta展示了兩個(gè)AI場(chǎng)景,一個(gè)是通過(guò)文字生成圖片;另一個(gè)為是通過(guò)眼鏡直接識(shí)別場(chǎng)景中的物體,并進(jìn)行解析。比如案例中演示了讓AI根據(jù)桌面上所放置的食材,為用戶提供一個(gè)適合的菜譜,并且在菜譜生成后,還能提供料理的所有步驟教程。此次,新版的Ray-Ban Meta眼鏡相比上一代也實(shí)現(xiàn)了實(shí)時(shí)視覺(jué)處理和實(shí)時(shí)翻譯,之前的AI需要先拍攝后,AI基于拍攝的圖像來(lái)進(jìn)行理解和分析,所以存在一定的延遲,而實(shí)時(shí)視覺(jué)處理能夠更快應(yīng)對(duì)場(chǎng)景的變化從而實(shí)時(shí)進(jìn)行分析。
此次展示的AI功能只是Llama 3.2的小部分應(yīng)用,實(shí)際上這個(gè)大模型已經(jīng)能夠?qū)崿F(xiàn)以下諸多功能,如:
1、圖像編輯
扎克伯格展示了Meta AI根據(jù)用戶輸入自由編輯圖像的能力。Meta AI擁有“理解圖像和文本”的能力,可以根據(jù)用戶提供的prompt為原始圖像進(jìn)行添加、疊加新元素以及其他編輯操作。
2、語(yǔ)音交互
現(xiàn)在,Messenger、Facebook、WhatsApp 和 Instagram用戶可以通過(guò)語(yǔ)音提問(wèn)在應(yīng)用程序中與 Meta AI 聊天,語(yǔ)音助手也同樣通過(guò)語(yǔ)音回復(fù)。目前 Meta AI內(nèi)置語(yǔ)音角色包括Dame Judi Dench、John Cena、Awkwafina等名人。
3、AI Studio
扎克伯格在現(xiàn)場(chǎng)展示了一段利用Meta AI根據(jù)真實(shí)人物創(chuàng)建AI角色智能體的演示。
在對(duì)話中,AI角色不僅外觀、語(yǔ)音、說(shuō)話方式與真實(shí)人物幾乎無(wú)異,甚至能根據(jù)設(shè)置的人設(shè)對(duì)不同的問(wèn)題作出具體回答。例如在問(wèn)到對(duì)該人物最近出版新書(shū)的看法時(shí),AI可以提出自己的見(jiàn)解,而當(dāng)問(wèn)到養(yǎng)牛的技巧時(shí),AI不會(huì)跳脫人物身份胡言亂語(yǔ),而會(huì)如實(shí)回答“我未擁有任何養(yǎng)牛技巧,我的專長(zhǎng)在于技術(shù)設(shè)計(jì)而非農(nóng)業(yè)。”
4、視頻AI配音
在AI演示中,扎克伯格特意強(qiáng)調(diào)了新工具Reels,可以對(duì)視頻進(jìn)行自動(dòng)翻譯配音,無(wú)論原始視頻是何種語(yǔ)言,Reels都能在翻譯后自動(dòng)口型同步,實(shí)現(xiàn)兩種語(yǔ)言語(yǔ)音的平穩(wěn)切換,且從現(xiàn)場(chǎng)演示的兩段視頻來(lái)看,Reels對(duì)轉(zhuǎn)換后的語(yǔ)音聲調(diào)音色和人物口型都處理得幾乎看不出AI痕跡。
5、Llama 3.2
以上所有的Meta AI用例的實(shí)現(xiàn)都得益于Meta新推出的開(kāi)源Llama 3.2模型。這是Meta第一個(gè)開(kāi)源多模態(tài)模型,支持多種可視化理解需要的應(yīng)用。
其中Llama 3.2 11B 和 90B 可以通過(guò)簡(jiǎn)單的描述解釋圖表和圖像,例如分析公司營(yíng)收?qǐng)D表或分析地形提供出行建議。
但值得注意的是,由于歐盟法案的限制,Llama 3.2 11B 和 90B將無(wú)法覆蓋歐洲,但扎克伯格樂(lè)觀地認(rèn)為Meta將會(huì)解決這個(gè)問(wèn)題。開(kāi)源模型的持續(xù)更新使得Meta AI即使”沒(méi)有在一些較大的國(guó)家推出“,也收獲了幾乎5億用戶。
以上AI功能并未完全應(yīng)用到Orion上,不過(guò)可以預(yù)見(jiàn)的是Meta AI未來(lái)一定會(huì)應(yīng)用到其全家桶所有產(chǎn)品上。
結(jié)語(yǔ)
就像蘋(píng)果發(fā)布Vision Pro,用最高的配置來(lái)堆性能一樣,這次Meta也實(shí)實(shí)在在地秀了一把肌肉。不過(guò)整體來(lái)看,OST路徑的AR眼鏡,由于其要在顯示效果、FOV、重量、體積、功耗各方面取得平衡,但是其中幾乎都是悖論,所以AR眼鏡很難實(shí)現(xiàn)“六邊形戰(zhàn)士”,甚至不存在“六邊形戰(zhàn)士”,而如今Meta的產(chǎn)品雛型,更多給了我們一種未來(lái)的思考,未來(lái)AR眼鏡的顯示迭代、交互以及AI功能的應(yīng)用等。
這是一個(gè)好的起點(diǎn),但距離落地,我們?nèi)匀徽J(rèn)為存在一定距離。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息