2023年9月6日，由VR陀螺聯(lián)合CIOE中國(guó)光博會(huì)主辦、恒悅創(chuàng)客魔方協(xié)辦的“光遇·第四屆中國(guó)AR技術(shù)應(yīng)用高峰論壇”在深圳會(huì)展中心順利舉辦。

該活動(dòng)以“光遇”為主題，聚焦AR在光學(xué)技術(shù)、工藝制作方面的突破以及應(yīng)用場(chǎng)景和發(fā)展機(jī)遇。來自JBD、耐德佳、莫界科技、瑞聲科技、谷東科技、MKS、VR陀螺的行業(yè)嘉賓為到場(chǎng)觀眾帶來了精彩的分享，演講內(nèi)容干貨滿滿。

其中，莫界科技 創(chuàng)始合伙人兼算法總監(jiān) 楊鵬為與會(huì)來賓奉上了“聯(lián)通虛擬與現(xiàn)實(shí)：消費(fèi)級(jí)AR領(lǐng)域的前沿技術(shù)探索與未來展望”的主題演講。

以下為演講實(shí)錄：

各位行業(yè)伙伴下午好，我是莫界科技的創(chuàng)始合伙人楊鵬，非常感謝主辦方陀螺的邀請(qǐng)，我分享的主題是“聯(lián)通虛擬與現(xiàn)實(shí)：消費(fèi)級(jí)AR領(lǐng)域的前沿技術(shù)探索與未來展望”，我將從兩個(gè)部分展開今天的演講，上半部分主要聚焦于莫界的光顯示相關(guān)技術(shù)。

莫界科技成立于2021年11月，相對(duì)而言是比較年輕的公司，目前主要從事兩大方向的研究，一是近眼顯示技術(shù)，二是感知交互技術(shù)。我們致力于生產(chǎn)消費(fèi)者可出門佩戴的輕量化眼鏡，同時(shí)支持AR的基本交互并實(shí)現(xiàn)聯(lián)通虛擬現(xiàn)實(shí)的能力。

盡管公司成立僅有2年時(shí)間，但我們?cè)贏R領(lǐng)域的探索最早可以追溯到2018年，當(dāng)時(shí)莫界就已開始布局在AR顯示和AI領(lǐng)域的探索。從成立之初，莫界就高度重視科技創(chuàng)新投入和人才隊(duì)伍建設(shè)，目前研發(fā)團(tuán)隊(duì)的碩博占比超過50%。莫界在深圳、珠海兩地均有運(yùn)營(yíng)，在珠海擁有超過10000平米的高端研發(fā)基地。2022年，莫界取得突破性進(jìn)展，在樹脂波導(dǎo)方案上實(shí)現(xiàn)單片樹脂波導(dǎo)鏡片重量輕至5g，同期與OPPO聯(lián)合發(fā)布的 OPPO Air Glass 2雙目整機(jī)重量?jī)H38克，這應(yīng)該是目前業(yè)內(nèi)最輕的AR眼鏡。

為什么莫界始終非常篤定地去研發(fā)樹脂波導(dǎo)？因?yàn)樵谖覀兊乃伎贾校?AR眼鏡首先是一副眼鏡。從眼鏡發(fā)展路線來看，眼鏡最早出現(xiàn)于1289年的意大利佛羅倫薩，鏡片材料歷經(jīng)7個(gè)世紀(jì)的發(fā)展，從水晶到玻璃，再到樹脂，目前市面上90%以上的眼鏡均采用樹脂鏡片。而相對(duì)于玻璃密度，樹脂僅有玻璃的1/ 3-1/ 4，這就意味著同等體積下樹脂重量比玻璃要輕60%-70%。同時(shí)，樹脂能夠通過2米自由跌落測(cè)試和64g鋼球2米高度的沖擊測(cè)試。

AR眼鏡是佩戴在我們眼前的物體，用戶會(huì)更關(guān)心它的重量，對(duì)于重量非常敏感，當(dāng)重量較大時(shí)，就會(huì)讓用戶的鼻梁處產(chǎn)生不適感。第二，用戶會(huì)關(guān)心它的安全性。樹脂波導(dǎo)能夠體現(xiàn)出這兩個(gè)方面的優(yōu)勢(shì)，一是重量，二是安全性，這也是莫界堅(jiān)定不移選擇樹脂路線的原因。

盡管有諸多優(yōu)勢(shì)，但樹脂波導(dǎo)在AR方面的應(yīng)用也面臨著眾多挑戰(zhàn)。

一是樹脂材料的選型。樹脂材料品類眾多，涵蓋ABS、PC、COC、 COP、PMMA以及PEI，如何選擇合適的樹脂材料并避免不同材料之間不合適的物化過程，是我們考慮的重點(diǎn)方向。

二是柔性材料的面型控制。樹脂不同于玻璃，它屬于柔性材料，成型工藝比玻璃更復(fù)雜，因此我們需要考慮如何選擇合適的TTV、 BOW以及WARP，從而制定出適合樹脂晶圓的標(biāo)準(zhǔn)。

三是基于柔性材料制程和工藝可靠性，確保產(chǎn)品有合格出廠標(biāo)準(zhǔn)。

針對(duì)上述挑戰(zhàn)，莫界完成了四方面的技術(shù)攻關(guān)。從設(shè)計(jì)到出廠，如果將流程類比為金字塔，首先最基礎(chǔ)的是如何在樹脂這樣低折射率的材料上制作出合格的波導(dǎo)鏡片。對(duì)此，莫界自主研發(fā)了全套的光學(xué)優(yōu)化設(shè)計(jì)軟件。

完成波導(dǎo)設(shè)計(jì)之后，我們應(yīng)考慮如何選用合適的晶圓材料，晶圓材料的重點(diǎn)是需要滿足大尺寸晶圓的制備。我們目前已經(jīng)掌握了8寸樹脂晶圓的制備工藝。

后續(xù)主要考慮整體的制程工藝。在整個(gè)制程工藝中，例如在納米壓印、樹脂切割、封裝貼合等方面我們都已實(shí)現(xiàn)改良。

最后是可靠性，需考慮耐候特性、跌落特性以及沖擊特性。目前莫界在樹脂光波導(dǎo)上已經(jīng)能夠達(dá)到336小時(shí)的耐候特性測(cè)試。

總體而言，在樹脂光波導(dǎo)設(shè)計(jì)方面，莫界具備全棧方案能力，可完成低功耗、高亮度的波導(dǎo)設(shè)計(jì)，并能夠?qū)ρ苌洳▽?dǎo)當(dāng)中的彩虹效應(yīng)進(jìn)行仿真和分析。值得強(qiáng)調(diào)的是，我們的波導(dǎo)技術(shù)也滿足隱私保護(hù)需求，具備防窺特性。針對(duì)全棧方案，我們具備一維和二維設(shè)計(jì)、以及HPG混合光柵設(shè)計(jì)能力。

在量產(chǎn)工藝方面，我們針對(duì)以下三個(gè)方面展開研究：一是在納米壓印的工藝上，相對(duì)于玻璃，樹脂對(duì)顆粒的管控更加嚴(yán)格，因此莫界對(duì)納米壓印工藝進(jìn)行了改良；二是在樹脂切割工藝上，目前業(yè)內(nèi)沒有非常成熟的無塵樹脂切割工藝，但莫界在經(jīng)過幾年探索后，實(shí)現(xiàn)了樹脂切割工藝外觀良率以及產(chǎn)能的提升；三是封裝貼合工藝，對(duì)于不同的貼合面，如果貼合不好會(huì)直接影響到光學(xué)性能。所以我們針對(duì)貼合部做了特殊結(jié)構(gòu)處理以及磨層設(shè)計(jì)，成功在彎曲模量較小的前提下實(shí)現(xiàn)較好的封裝貼合效果。

此外，莫界在珠海研發(fā)基地建設(shè)的所有生產(chǎn)制造車間都是百級(jí)以及千級(jí)潔凈度車間，包含母版制造線、納米壓印線、波導(dǎo)片封測(cè)線、光引擎生產(chǎn)線等。我們有整套自主的質(zhì)量檢測(cè)設(shè)備，目前莫界已通過ISO 9001質(zhì)量管理體系認(rèn)證、ISO 14001環(huán)境管理體系認(rèn)證及ISO 45001職業(yè)健康安全管理體系認(rèn)證，具備大規(guī)模量產(chǎn)出貨能力。

下面向大家介紹莫界在整機(jī)方面的工作開展情況。我們一直認(rèn)為AR眼鏡是作為AI智能助手的存在，其主要涵蓋三個(gè)方面的技術(shù)：一是傳感器相關(guān)技術(shù)，二是空間計(jì)算，三是交互。

傳感器是計(jì)算數(shù)據(jù)的來源，因此也會(huì)涉及到傳感器相關(guān)標(biāo)定技術(shù)的開發(fā)。

在空間計(jì)算方面，我們著重聚焦于實(shí)現(xiàn)3DoF以及6DoF，換而言之，可通過我們的傳感器估算出AR眼鏡整機(jī)的旋轉(zhuǎn)以及旋轉(zhuǎn)加位移的操作，這也是實(shí)現(xiàn)虛擬和現(xiàn)實(shí)交互的基礎(chǔ)所在。

在交互方面，我們主要考慮與真實(shí)場(chǎng)景以及物體兩方面的交互情況，最近也在探索與大語言模型之間、面向生活服務(wù)相關(guān)的交互。

在空間計(jì)算3DoF方面，我們做了一件非常有意思的事情。通常而言，大家出門習(xí)慣使用導(dǎo)航，在導(dǎo)航APP中輸入起始點(diǎn)和終點(diǎn)，它就會(huì)顯示文字導(dǎo)航以及二維地圖的導(dǎo)航路徑。但假設(shè)目的地離使用者很近，我們就可以通過3DoF信息結(jié)合地理位置信息，將目標(biāo)地點(diǎn)方向準(zhǔn)確地顯示在使用者佩戴的AR眼鏡上，并同步顯示出距離。因此在很短的距離下即可實(shí)現(xiàn)自我導(dǎo)航，為實(shí)現(xiàn)該功能，我們展開了如下研究。

一是完成9 axis IMU的融合，包括加速度計(jì)、陀螺儀以及磁力計(jì)。二是實(shí)現(xiàn)了GIS信息對(duì)齊。3DoF信息是基于AR眼鏡本體，因此在地理空間導(dǎo)航時(shí)，需要校準(zhǔn)對(duì)齊地理位置的東西南北，將眼鏡的坐標(biāo)和地理空間的坐標(biāo)進(jìn)行轉(zhuǎn)換。

三是波導(dǎo)顯示的校準(zhǔn)。它實(shí)際指的是經(jīng)過AR眼鏡渲染所形成的點(diǎn)和真實(shí)空間的方位實(shí)現(xiàn)對(duì)齊，這涉及到標(biāo)定相關(guān)的技術(shù)。技術(shù)實(shí)現(xiàn)后，我們就可以在AR眼鏡里顯示出準(zhǔn)確的目的地，并獲取它的位置信息。

除了業(yè)內(nèi)常用的3DoF技術(shù)，其中還包含空間顯示技術(shù)，在頭動(dòng)時(shí)完成空間錨定以及空間交互，例如通過頭動(dòng)進(jìn)行AR眼鏡的操控以及健康監(jiān)測(cè)。當(dāng)用戶頭戴眼鏡時(shí)，通過3DoF信息能夠準(zhǔn)確知道其低頭的角度，以及頭部其他的姿態(tài)。如果低頭時(shí)間過長(zhǎng)，該功能可以做健康提醒。

另外一點(diǎn)是更為基礎(chǔ)且核心工作，即6DoF能力。目前我們已經(jīng)完成了單目、雙目以及IMU融合的在線姿態(tài)估計(jì)?？紤]到輕薄型眼鏡長(zhǎng)久佩戴時(shí)會(huì)出現(xiàn)微小的形變，我們?cè)O(shè)計(jì)了在線校準(zhǔn)能力，通過在線估計(jì)生成地圖信息以及傳感器姿態(tài)信息。6DoF在整個(gè)AR眼鏡當(dāng)中是非常底層基礎(chǔ)的能力，但是在強(qiáng)調(diào)輕薄的眼鏡上，它仍存在很大的挑戰(zhàn)，尤其是在算力及功耗方面，需要對(duì)整個(gè)計(jì)算管道進(jìn)行優(yōu)化。

另一方面，我們也在探索通過自研AI引擎實(shí)現(xiàn)虛擬和現(xiàn)實(shí)之間的交互。

一是場(chǎng)景交互。以一個(gè)常見的場(chǎng)景舉例，在異國(guó)面對(duì)不熟悉的語言，不知道商鋪招牌所代表的業(yè)務(wù)時(shí)，可通過AR眼鏡結(jié)合相機(jī)捕獲到文字信息，翻譯后再轉(zhuǎn)換成我們熟悉的語言展示到眼前，從而了解到商鋪的主要業(yè)務(wù)。該功能為旅行場(chǎng)景提供了便利。

二是和物體進(jìn)行交互。我們通過肉眼觀察的物體，多數(shù)僅能觀察到外觀、顏色等表面信息，但無從得知其隱藏的屬性。通過物體識(shí)別以及物體6DoF追蹤，我們可以將其隱藏信息顯示在眼前。例如在手機(jī)錨定場(chǎng)景中，即使我們正在用手機(jī)操作其他信息，當(dāng)有后臺(tái)信息切入時(shí)，也可以在手機(jī)邊緣處再進(jìn)行顯示，實(shí)現(xiàn)無界面切換就能獲取來自后臺(tái)的已有信息。

三是AR眼鏡本體的操控交互，我們會(huì)依據(jù)常見的配飾，例如指環(huán)實(shí)現(xiàn)交互，裸手交互也有涵蓋，但主要面向微手勢(shì)交互，即不需要做太大的動(dòng)作就能實(shí)現(xiàn)對(duì)AR眼鏡的操控。

最后，我想分享莫界與大語言模型結(jié)合的相關(guān)工作。在參加光博會(huì)之前，我問了大語言模型三個(gè)問題。第一個(gè)問題是深圳光博會(huì)的主要目標(biāo)是什么？它提供了非常詳細(xì)的回答，包括促進(jìn)市場(chǎng)機(jī)會(huì)以及提高行業(yè)知名度。但是當(dāng)我問深圳光博會(huì)的舉辦地點(diǎn)在哪里時(shí)，面對(duì)超過能力范圍的問題，它的回答是不知道。最后我又問參加深圳光博會(huì)的路線，由于AI不知道我的地點(diǎn)，也不知道光博會(huì)的地點(diǎn)，所以它給出了非常籠統(tǒng)的回答。如果此時(shí)結(jié)合AR眼鏡，我們就可獲取具體位置信息，并通過其中的網(wǎng)絡(luò)得到行程對(duì)應(yīng)的時(shí)間。

以上述第三個(gè)問題為例，去深圳光博會(huì)的路線可以通過大語言的模型進(jìn)行拆解。首先是需要知道我的當(dāng)前位置，通過眼鏡的工具獲取到實(shí)時(shí)位置，同時(shí)通過搜索工具獲取光博會(huì)在寶安區(qū)的具體地址。當(dāng)兩個(gè)地址獲知后，AI可以使用第三方地圖信息服務(wù)檢索從當(dāng)前起始地點(diǎn)去深圳光博會(huì)的路線，最后把信息總結(jié)疊加返回給AR眼鏡的使用者。整個(gè)流程就是我簡(jiǎn)短地問話，AI就可以通過眼鏡實(shí)現(xiàn)我想要到達(dá)目的地的整個(gè)規(guī)劃，甚至還可以提供打車或其他的衍生服務(wù)。

以上就是莫界做的所有工作。在公司成立的2年里，莫界也和行業(yè)伙伴實(shí)現(xiàn)了深度合作，例如上述提及的與OPPO合作發(fā)布的Air Glass 2，目前是全球最輕的眼鏡，也獲得了MWC的獎(jiǎng)項(xiàng)。此外，莫界在今年也發(fā)布了首款消費(fèi)級(jí)GPT無線AR眼鏡。

未來，我們希望在光學(xué)技術(shù)以及AI技術(shù)方面展開更深度的研究，給消費(fèi)者帶來更多具備個(gè)性化的產(chǎn)品，作為優(yōu)秀的AI智能助手服務(wù)于用戶。此外，我們也會(huì)探索更多樣化的材料，提供更輕薄的眼鏡讓消費(fèi)者在日常生活中佩戴，也期待和行業(yè)的伙伴共同促進(jìn)AR產(chǎn)業(yè)領(lǐng)域的蓬勃發(fā)展。

謝謝大家！