2024年9月11日，由VR陀螺聯(lián)合CIOE中國(guó)光博會(huì)主辦的「光聚未來•第五屆中國(guó)AI+AR技術(shù)應(yīng)用高峰論壇」在深圳國(guó)際會(huì)展中心順利舉辦。

本次活動(dòng)以“光聚未來”為主題，聚焦AI與AR技術(shù)融合發(fā)展，從底層核心技術(shù)、生產(chǎn)工藝、產(chǎn)品應(yīng)用多維度展開深度探討。來自京東方、JBD、芯明、谷東科技、鯤游光電、Eulitha、VR陀螺以及陀螺研究院的行業(yè)嘉賓為到場(chǎng)觀眾帶來了精彩的分享，演講內(nèi)容干貨滿滿。

其中，芯明 副總裁 周凡博士為與會(huì)來賓奉上了“芯明空間計(jì)算芯片解鎖MR無限潛能”的主題演講。

以下為演講實(shí)錄（內(nèi)容略有刪減調(diào)整）：

大家下午好，非常榮幸在此給大家做一個(gè)分享，我叫周凡，來自芯明。

眾所周知，科技的變化可以極大地影響人類生活，每一個(gè)科技的每一個(gè)小的改變，對(duì)人類生活方式的轉(zhuǎn)變，對(duì)生產(chǎn)力的推動(dòng)，就如蝴蝶效應(yīng)般影響深遠(yuǎn)和顯著。此前，我們習(xí)慣用鼠標(biāo)、鍵盤對(duì)個(gè)人電腦進(jìn)行操控，這也稱之為個(gè)人計(jì)算時(shí)代。而現(xiàn)在我們已經(jīng)進(jìn)入到移動(dòng)計(jì)算時(shí)代，僅僅操控方式的一個(gè)小改變，就引發(fā)了一系列變革和技術(shù)進(jìn)步。舉一個(gè)很日常的例子，如今只需帶上手機(jī)，我們幾乎可以在中國(guó)的全境內(nèi)進(jìn)行支付而不用攜帶任何現(xiàn)金。這也印證了上述這句話，科技變化可以帶來極大變革，原因在于微小變化背后通常會(huì)涉及一系列復(fù)雜的技術(shù)演進(jìn)和發(fā)展。

隨著芯片、人工智能、空間計(jì)算等技術(shù)的發(fā)展和日益成熟，我們即將進(jìn)入空間計(jì)算時(shí)代。今年大家耳熟能詳?shù)囊蕴O果Vision Pro為代表的各種MR頭顯，可以看到這些面世產(chǎn)品的成熟度正日益增加，而與之緊密結(jié)合的空間計(jì)算和空間操控所帶來的變革無疑也將進(jìn)一步影響到我們的生活方式。

從 3D 空間計(jì)算而言，它最終會(huì)實(shí)現(xiàn)智能設(shè)備和真實(shí)世界的互動(dòng)，通過鏈接人與機(jī)器之間的交互，從而推動(dòng)機(jī)器更好地理解真實(shí)的三維世界，進(jìn)而對(duì)制造、機(jī)器人、娛樂包括社交等多個(gè)行業(yè)產(chǎn)生影響。我們相信隨著真實(shí)世界和虛擬世界的融合深入，它們將非常徹底地改變?nèi)祟惖纳罘绞?。而芯明聚焦和深耕空間計(jì)算技術(shù)，從事這一技術(shù)領(lǐng)域底層核心技術(shù)研發(fā)，上述提到的空間計(jì)算對(duì)各行業(yè)的影響，也和我們的技術(shù)息息相關(guān)。

回到這次分享的主題，在MR或 XR 行業(yè)，在行業(yè)中耕耘許久的人士都熟悉和感知到幾個(gè)顯著痛點(diǎn)。首先，無論是空間計(jì)算應(yīng)用，或高性能MR頭顯，它都需要集成和處理眾多傳感器信息，而眾多傳感信息數(shù)據(jù)量非常龐大，很多傳感器可能會(huì)超過4K的分辨率，達(dá)到90幀及以上刷新率，如攝像頭、Lidar、磁力計(jì)、ToF等，這些傳感器數(shù)量通常高達(dá)10個(gè)G以上。因此，必須低延時(shí)和低功耗去處理大量傳感器所帶來的海量數(shù)據(jù)，同時(shí)還要對(duì)傳感器的數(shù)據(jù)進(jìn)行融合，這樣才能給予MR頭顯或者空間計(jì)算應(yīng)用更好的技術(shù)支撐。

其次，隨著行業(yè)的快速發(fā)展，端側(cè)算力需求日益增加。比如大家所熟知的手勢(shì)識(shí)別、眼動(dòng)追蹤等算法，都需要在端側(cè)完成，而不是把所有源數(shù)據(jù)傳回到系統(tǒng)的CPU或者GPU進(jìn)行處理，否則很難解決延時(shí)問題，從而難以支撐復(fù)雜的空間計(jì)算及應(yīng)用。但縱觀目前空間計(jì)算或者M(jìn)R應(yīng)用的關(guān)鍵和基礎(chǔ)技術(shù)算法，較為傳統(tǒng)的做法就是將算法直接跑在CPU或GPU等主控芯片上，由此帶來最直接的問題就是延時(shí)、功耗和系統(tǒng)主控芯片算力需求大幅度增加。

可以預(yù)見，隨著應(yīng)用復(fù)雜性的增加，我們對(duì)于時(shí)延和功耗的需求逐漸增大，在傳統(tǒng)芯片上跑復(fù)雜算法，例如軟件化SLAM、異步時(shí)間扭曲等，僅依賴主控芯片運(yùn)行軟件算法的方案難以持續(xù)。

對(duì)此，芯明認(rèn)為，要全力提升產(chǎn)品力，必須從最基本的應(yīng)用需求入手，將產(chǎn)品力打入到更底層的芯片技術(shù)，因此我們?cè)O(shè)計(jì)把行業(yè)需求轉(zhuǎn)化到芯片的Spec，推出了針對(duì)MR空間感知計(jì)算的專用芯片。芯明MR感知計(jì)算芯片可以低時(shí)延處理大量傳感器數(shù)據(jù)，比如實(shí)時(shí)處理攝像頭數(shù)據(jù)4K、90幀及以上，并兼具多傳感器數(shù)據(jù)融合處理。

具體而言，為解決端側(cè)需求，芯片內(nèi)部放置了通用的3D視覺AI處理引擎，可實(shí)現(xiàn)AI 相關(guān)的算法端側(cè)運(yùn)行。對(duì)于行業(yè)應(yīng)用，例如空間計(jì)算等的底層技術(shù)算法，我們將行業(yè)技術(shù)需求和通用基礎(chǔ)算法直接做成硬件引擎放置于芯片中，依托單芯片就可實(shí)現(xiàn)3D感知，包括SLAM算法、AI等應(yīng)用，不需要額外的外置AI芯片。我們的理念是將盡量多的需求應(yīng)用高度集成為一個(gè)單芯片解決方案，從而解決在MR應(yīng)用或者空間計(jì)算應(yīng)用中的痛點(diǎn)。

從公司核心技術(shù)來看，作為一家以客戶需求為導(dǎo)向，專注空間計(jì)算及人工智能芯片和產(chǎn)品研發(fā)的公司，芯明的自研系列芯片是目前全球唯一單芯片集成芯片化3D立體視覺、AI、SLAM的系統(tǒng)級(jí)芯片，同時(shí)也是目前全球唯二實(shí)現(xiàn)3D雙目立體算法芯片化量產(chǎn)的公司。

細(xì)分到3D感知賽道，我們的技術(shù)和產(chǎn)品始終處于全球前列，我們的芯片3D感知深度分辨率和幀率可以在FHD上做到60fps，在720P做到120fps的刷新率，同時(shí)我們內(nèi)置了系統(tǒng)AI算力引擎，基于不同芯片的spec，AI算力在3.5 ~ 40 TOPS不等。同時(shí)芯明已成功實(shí)現(xiàn)單芯片支持6路攝像頭的多傳感器融合，可更方便快捷地構(gòu)建多芯片子系統(tǒng)組合，并兼具更低的功耗，能耗根據(jù)不同系統(tǒng)負(fù)載可達(dá)0.5 ~ 0.9W。

總體而言，芯明的核心就是深刻理解更多系統(tǒng)與行業(yè)應(yīng)用需求，并將其放置在芯片spec中，因?yàn)槲覀兿嘈胖挥袕淖畹讓拥幕A(chǔ)芯片技術(shù)出發(fā)，才能夠有效提升產(chǎn)品力。

從產(chǎn)品方向看，芯明的產(chǎn)品線擁有端到端的全棧解決方案。目前我們量產(chǎn)芯片為NU4000和NU4100，今年會(huì)推出NU4500，其中NU4100到NU4500都是12nm制程，我們也正和全球領(lǐng)先的客戶積極討論和探索NU5000的spec。

從空間計(jì)算以及相關(guān)MR的感知計(jì)算芯片延伸，我們有很多更為廣泛的產(chǎn)品線和客戶，不僅僅局限于MR 的客戶，例如機(jī)器人或者泛機(jī)器人客戶。芯明為他們?cè)O(shè)計(jì)可直接使用的3D模組，或便攜的空間拍攝相機(jī)，感知距離根據(jù)需求可長(zhǎng)可短，接口也根據(jù)需求差異化支持。

芯明目前接觸的基本都是細(xì)分行業(yè)的龍頭客戶群體，對(duì)這些客戶而言，他們?cè)谑忻嫔弦呀?jīng)很難去找到現(xiàn)有的標(biāo)準(zhǔn)化產(chǎn)品或解決方案，因此我們會(huì)主動(dòng)與該類細(xì)分行業(yè)龍頭合作，針對(duì)企業(yè)需求設(shè)計(jì)定制化解決方案，目前已實(shí)現(xiàn)的案例包括虛擬數(shù)字人、空間拍攝/掃描、養(yǎng)老機(jī)器人，口掃儀等?；谝陨辖鉀Q方案的合作，我們進(jìn)一步豐富了算法庫，從而可以高效將其復(fù)用到創(chuàng)新領(lǐng)域，幫助客戶設(shè)計(jì)定制適合他們需求的產(chǎn)品或解決方案。

再總結(jié)一下，芯明的產(chǎn)品是從芯片出發(fā)，從模組到解決方案到算法庫，端到端的全棧解決方案。未來我們也會(huì)更深入客戶需求，加強(qiáng)理解，把需求帶到芯片spec里，從而讓高性能芯片spec更好地滿足行業(yè)實(shí)際需求。

回到MR感知計(jì)算芯片，目前行業(yè)設(shè)計(jì)高性能 MR硬件設(shè)備的趨勢(shì)是分離式設(shè)計(jì)，即通用計(jì)算芯片和感知計(jì)算芯片分離。典型設(shè)計(jì)案例是蘋果Vision Pro，它沿用分離式設(shè)計(jì)架構(gòu)，以M2作為通用硬件芯片，感知計(jì)算芯片則使用自研空間計(jì)算芯片R1。

而我們的空間計(jì)算芯片也類似于蘋果R1的感知計(jì)算芯片，目的是為解決數(shù)據(jù)延時(shí)問題，尤其是在處理多達(dá) 10 到 12個(gè)傳感器信息時(shí)，分散主控芯片算力。當(dāng)然，也不僅僅是為了分散算力，主要是為降低延時(shí)去實(shí)現(xiàn)端側(cè)計(jì)算。

目前，芯明的空間計(jì)算芯片已量產(chǎn)，并被全球領(lǐng)先的MR設(shè)備廠商成功應(yīng)用，去年底已有產(chǎn)品發(fā)布，在全球開始出售，后續(xù)我會(huì)再詳細(xì)地講解這部分。

我們把芯片設(shè)計(jì)成可擴(kuò)展架構(gòu)，一個(gè)單芯片可處理6路攝像頭信息。這樣做的核心原因是我們發(fā)現(xiàn)很多客戶需求相對(duì)有限，直接設(shè)計(jì)成10路、12路，存在過剩問題。在此背景下，芯片架構(gòu)為單芯片、處理6路攝像頭、帶傳感器和IMU，這樣的spec就可以滿足大部分客戶的需求。

而對(duì)于比較復(fù)雜、高性能的MR頭顯，我們?cè)O(shè)計(jì)可擴(kuò)展架構(gòu)，使其可便捷地使用內(nèi)部協(xié)議構(gòu)架子系統(tǒng)，從而增加到兩顆、三顆芯片來實(shí)現(xiàn)具體MR空間計(jì)算需求。客戶若需要處理6個(gè)、12個(gè)和18個(gè)攝像頭的多傳感器信息融合，在芯片里也有多傳感器融合引擎，可以把多個(gè)攝像頭的信息進(jìn)行裁剪和拼接，滿足不同系統(tǒng)需求。

從軟件應(yīng)用而言，我們已經(jīng)和很多行業(yè)的細(xì)分龍頭企業(yè)實(shí)現(xiàn)合作，因此軟件支持MR頭顯主芯片不同平臺(tái)（Windows/Linux/Android），可提供成熟的API 接口。在此背景下，針對(duì)目前市面上較為常用以及主流的通用攝像頭，我們均已構(gòu)建了完善的驅(qū)動(dòng)庫，只要并非太過冷門的機(jī)型，大概率都可直接進(jìn)行使用。

去年開始，我們和全球高性能工業(yè)頭顯供應(yīng)商建立合作，他們使用芯明芯片作為MR感知計(jì)算芯片來設(shè)計(jì)最新一代MR頭顯。這款頭顯在去年12月份已量產(chǎn)，進(jìn)行了全球發(fā)售。在選擇芯明之前，客戶挑選了許久，因?yàn)楹茈y尋求專門的MR感知芯片，畢竟就目前而言，空間計(jì)算芯片在市場(chǎng)上仍較為稀缺，巨頭企業(yè)如蘋果都傾向于自研芯片搭載在自身產(chǎn)品應(yīng)用，不會(huì)對(duì)外進(jìn)行發(fā)售。

據(jù)我所知，現(xiàn)在國(guó)內(nèi)外也有很多相關(guān)的芯片設(shè)計(jì)廠商，正在進(jìn)行空間計(jì)算芯片的研發(fā)，但是多數(shù)廠商還未實(shí)現(xiàn)量產(chǎn)，所以去年合作方最終找到芯明，將芯明的空間計(jì)算芯片添加到頭顯產(chǎn)品中。僅從MR頭顯硬件spec而言，該產(chǎn)品比蘋果Vision Pro其實(shí)更高，兩者的區(qū)別是蘋果傾向于To C，這家企業(yè)聚焦To B。他們使用兩顆芯明空間計(jì)算芯片構(gòu)建子系統(tǒng)處理10路攝像頭的信息，BOM成本相對(duì)上一代方案預(yù)估降低超過2倍?？蛻粢卜答仯久魇悄壳叭蛭ㄒ荒軌蛘业角夷苓m應(yīng)他們需求的芯片供應(yīng)商。

就現(xiàn)階段而言，我們已經(jīng)在實(shí)踐中取得了一些不錯(cuò)的成績(jī)，實(shí)現(xiàn)了和全球頭部互聯(lián)網(wǎng)公司、全球Top 3筆記本廠商，全球高端工業(yè)MR頭顯供應(yīng)商、歐洲最大的媒體集團(tuán)、中國(guó)Top 3自主移動(dòng)機(jī)器人公司以及無人機(jī)等企業(yè)的合作。目前PPT上標(biāo)注的合作客戶是130+，其實(shí)目前數(shù)字已遠(yuǎn)遠(yuǎn)超過。我們致力于通過和每個(gè)細(xì)分領(lǐng)域龍頭企業(yè)合作，將需求帶入芯片設(shè)計(jì)，幫助客戶去實(shí)現(xiàn)設(shè)計(jì)能夠更好滿足需求的產(chǎn)品。

我的分享到此結(jié)束，謝謝大家！