文/VR陀螺 冉啟行

一則機(jī)圈裁員消息，暴露了廠商布局 XR 業(yè)務(wù)的“野心”。

2023 年 8 月，星紀(jì)魅族集團(tuán)被爆旗下芯片研究院即將進(jìn)行人員調(diào)整，該研究院大約有 200 名員工，調(diào)整計劃是裁撤所有應(yīng)屆生，留下一小部分老員工。 

多名知情人士透露，被裁撤的芯片研究院屬于前瞻技術(shù)業(yè)務(wù)之下，也是該業(yè)務(wù)板塊的主力部門，成立剛剛一年，主要做 AR 芯片。

裁撤原因在于，芯片投資周期長，成本高，AR 芯片現(xiàn)在沒有出產(chǎn)品，影響上市計劃，星紀(jì)魅族便“不想做了”。

作為“下一代計算平臺”，未來市場潛力不可估量，面對“芯片”這塊難啃的骨頭，有退場者，也有迎面直上的新玩家涌入。

XR 芯片這條賽道，正成為科技巨頭乃至創(chuàng)業(yè)公司爭相布局的新賽道。

 智能手機(jī)產(chǎn)業(yè)的發(fā)展  已證明自研芯片價值 

手機(jī)產(chǎn)業(yè)早期的“造芯熱”，正在 XR 行業(yè)上演。

憑借海思麒麟系列芯片，華為曾站在了與蘋果、三星同等的高度，并一度成為全球手機(jī)銷量霸主。

8月底，搭載最新款海思麒麟 9000s 的華為 Mate60 Pro 悄然上市，時隔 1500 多天后，華為“芯產(chǎn)品”在國內(nèi)市場被瘋搶至售罄。

當(dāng)然，于其他國產(chǎn)手機(jī)廠商而言，雖不設(shè)計核心處理平臺，但特定場景芯片，譬如影像芯片（拍攝算法優(yōu)化）、充電管理芯片（解決快充及安全）、獨顯芯片（游戲場景優(yōu)化）也成為了它們搶占用戶，爭奪市場的殺手锏。

拋開其他地緣政治因素不談，自研芯片的魅力不僅僅在于功能設(shè)計上的自主，更為重要的是產(chǎn)品差異化上帶來的強(qiáng)大市場競爭力，以此沖擊高端市場，較高的技術(shù)門檻還意味著其難以復(fù)制，最終形成品牌的護(hù)城河。

“自研芯片之爭”出現(xiàn)于智能手機(jī)產(chǎn)業(yè)的成熟期，這是行業(yè)面對同質(zhì)化現(xiàn)象，消費需求質(zhì)量拉升，市場下降的積極應(yīng)對。

然而，在 XR 芯片上，我們看到了“芯片之爭”的提前到來，在通用 PC、移動芯片的基礎(chǔ)上，主要聚焦“交互”與“顯示”兩大板塊，以“協(xié)處理器”作為切入，這是 XR 產(chǎn)品本身設(shè)計需求的延伸。

 XR協(xié)處理器  解決“交互”與“顯示”需求 

相對于傳統(tǒng) PC、手機(jī)，XR 設(shè)備需要解決的是“交互”與“顯示”兩個最特殊，也是最重要的技術(shù)面。

交互方面，XR 設(shè)備需要提供更加自然、直觀、高效的人機(jī)交互方式，例如 SLAM 定位、眼動追蹤、手勢識別等。顯示方面，作為近眼顯示的 XR 設(shè)備需要提供更加高清、快速、舒適的視覺效果，例如高分辨率 VST、高刷新率、低延遲等。

顯然，傳統(tǒng)的 PC、移動通用芯片無法滿足 XR 設(shè)備對于交互和顯示方面的特殊需求和標(biāo)準(zhǔn)。通用芯片在設(shè)計時往往考慮的是以手機(jī)為主的多種應(yīng)用場景和兼容性，難以針對 XR 設(shè)備的高并發(fā)進(jìn)行專門的優(yōu)化和加速。

因此，XR 協(xié)處理器應(yīng)運而生。XR 協(xié)處理器是一種專門針對 XR 設(shè)備進(jìn)行優(yōu)化和加速的芯片，它可以與通用芯片協(xié)同工作，分擔(dān)部分或全部的交互和顯示任務(wù)。XR 協(xié)處理器可以根據(jù)不同的 XR 形式和應(yīng)用場景進(jìn)行定制化設(shè)計，以滿足不同的性能和體驗需求。

XR 協(xié)處理器可以利用專門的算法和架構(gòu)來提高傳感器數(shù)據(jù)處理和圖像渲染的效率和質(zhì)量，通過技術(shù)手段降低延遲和暈眩感，提高視覺效果和用戶體驗。

以蘋果 Vision Pro 為例，其不僅配備了 PC 級性能的 M2 芯片，還有一顆為 MR 量身定制的 R1 芯片。

 12毫秒處理傳感數(shù)據(jù)  蘋果 R1 “上傳下達(dá)” 

蘋果 M2 芯片的任務(wù)是運行與操作，簡而言之就是可以讓用戶通過頭顯打開應(yīng)用程序，運行應(yīng)用程序，而 R1 處理器則負(fù)責(zé)來自交互傳感器的幾乎所有信息。

這些傳感器包括 12 個攝像頭，5 個傳感器和 6 個麥克風(fēng)，傳感器將其感測到的任何內(nèi)容轉(zhuǎn)換或數(shù)字化為數(shù)字?jǐn)?shù)據(jù)輸入。R1 芯片接收輸入數(shù)據(jù)進(jìn)行實時處理，以生成塑造混合現(xiàn)實環(huán)境的輸出數(shù)據(jù)。

具體來看，兩個主要的 RGB 外部攝像頭記錄外部真實世界，每秒將超過十億像素推送到頭顯的 4K 屏幕上。最重要的是，一對側(cè)面攝像頭，以及兩個底部安裝的攝像頭和兩個紅外傳感器，即使在弱光條件下，也可以從各種位置跟蹤手部運動。

外向傳感器還包括 LiDAR 掃描儀和 TrueDepth 攝像頭，可捕獲周圍環(huán)境的深度圖形，使 Vision Pro 能夠在用戶的空間中準(zhǔn)確定位數(shù)字對象。在頭戴面內(nèi)部，每個周圍有一圈 LED 燈和兩個紅外攝像頭，用于跟蹤眼球運動。

通過這一系列的傳感器，蘋果實現(xiàn)了最重要的 VST 顯示傳輸、SLAM 空間定位、手勢+眼動交互和深度信息感知，而作為“上傳下達(dá)”這一切的中樞，R1 解決了一款 MR 頭顯最重要的一環(huán)。

該芯片本質(zhì)上是一個數(shù)字信號處理器（DSP），但據(jù)外媒稱，它卻采用了集成更多晶體管的 5nm 芯片工藝，從而提高芯片的性能和效率，并且集成了 1 GB DRAM 以支持高速處理。

該 DRAM 同樣不簡單，為了應(yīng)對 R1 的高速處理需求，SK海力士專門開發(fā)了一款定制的 1GB DRAM，新的 DRAM 將輸入和輸出的引腳數(shù)量增加了 8 倍，可最大限度減少延遲，此類芯片也被稱為 Low Latency Wide IO。

對于近眼顯示系統(tǒng)而言，端到端的低延遲非常重要。延遲是指攝像頭看到的內(nèi)容與頭顯 4K 屏幕上顯示的圖像之間的延遲，理論上滯后越短越好。當(dāng)大腦從眼睛接收的輸入與感知的輸入之間存在明顯的滯后時，就會發(fā)生暈動病，產(chǎn)生不適感。

R1 雖僅是一顆協(xié)處理器，但依舊是一套系統(tǒng)化的工程，麻雀雖小，五臟俱全。整套下來，據(jù)稱，R1 可以在 12 毫秒內(nèi)處理來自這些傳感器的輸入數(shù)據(jù)，這比眨眼速度還快 8 倍。

除蘋果外，不少正在布局 XR 業(yè)務(wù)的企業(yè)，也在 XR 協(xié)處理器上發(fā)力。

 品牌廠商下場做芯片  三星、華為和vivo？

目前，XR 芯片玩家主要分兩大類：一類是產(chǎn)品未出，芯片先行的品牌廠商們，另一類則是瞄準(zhǔn) XR 增量市場的三方芯片廠商的卷入。

作為科技產(chǎn)業(yè)的頭部企業(yè)，在半導(dǎo)體上一直有輸出和布局的三星自然不例外。XR 方面，三星入局并不算晚，只是早期略有曲折。而在近兩年，伴隨著蘋果的競爭，我們也看到了三星 XR 的更多動態(tài)。

2023 年 5 月，據(jù)報道，三星旗下設(shè)計 Exynos 處理器和 ISOCELL 相機(jī)傳感器的部門 System LSI 已開始邁出為 XR 設(shè)備制造處理器的第一步。

由于三星本身就有 Exynos 系列移動平臺的設(shè)計能力，并有自家的晶圓代工廠，所以不管是做一顆“R1”的專用協(xié)處理器芯片，還是做一顆類“高通驍龍 XR2”的擴(kuò)展芯片，皆有可能。

在蘋果 Vision Pro 的驚艷沖擊下，三星的 XR 頭顯被爆料已經(jīng)推遲至 2024 年 6 月，早前曝光的產(chǎn)品也或?qū)⒅匦略O(shè)計?；谌沁^去高舉高打，一直對標(biāo)蘋果的市場策略，芯片方面，三星或重塑產(chǎn)品，打造專用協(xié)處理器，以更好應(yīng)對蘋果的 Vision Pro 帶來的市場競爭。

Meta 在 XR 業(yè)務(wù)上的投入每年都高達(dá)數(shù)十億美元，自然也包括涉及了芯片業(yè)務(wù)。 根據(jù)早前的一份報道，Meta 公司為第二代 Ray-Ban Stories 智能眼鏡開發(fā)自己的芯片以失敗告終，所以才決定用高通芯片代替。而根據(jù)泄露的硬件路線圖，未公布的可穿戴設(shè)備可能會在今年發(fā)布。

據(jù) The Information 報道，Meta 與三星曾合作開發(fā) AR 眼鏡的芯片，但該合作關(guān)系于 2022 年結(jié)束，當(dāng)時 Meta 決定只為開發(fā)者生產(chǎn)數(shù)量非常有限的設(shè)備，聯(lián)合開發(fā)的芯片將被用于 2024 年 Meta Connect 上亮相的第一款 AR 眼鏡。

在 Meta 與三星的合作關(guān)系結(jié)束后，Meta 尋找到了新的合作伙伴——聯(lián)發(fā)科，這家公司將為 AR 眼鏡設(shè)計芯片，該眼鏡預(yù)計將于 2027 年發(fā)布。

回歸國內(nèi)視野，vivo 在 XR 芯片方面一直都有人才積累，其芯片研發(fā)中心位于上海，首款手機(jī) ISP 芯片 vivo v1 于 2021 年發(fā)布。不過，在 XR 硬件方面，由于一直未有相關(guān)產(chǎn)品露出，仍有待進(jìn)一步觀察。

華為上一代 VR Glass 6DoF 游戲套裝于 2020 年發(fā)布，而據(jù)小道消息稱華為 VST 的 MR 產(chǎn)品也將十分驚艷，可能也與海思加持的協(xié)處理器芯片有關(guān)。

這個猜測也并非無中生有，海思并非沒有 XR 相關(guān)積累。早在 2020 年 5 月，上海海思就曾發(fā)布 XR 芯片平臺，推出了可支持 8K 解碼能力的集成 GPU、NPU 的 XR 芯片，應(yīng)用于雙目 AR 眼鏡 Rokid Vision。

整機(jī)品牌公司是一方面，近兩年，以 XR 協(xié)處理器揭竿而起的初創(chuàng)企業(yè)也受到了極大的關(guān)注。

 XR供應(yīng)鏈初創(chuàng)企業(yè)  瞄準(zhǔn)類“R1”芯片 

國內(nèi)企業(yè)耀宇視芯成立于 2022 年 1 月 19 日，公司位于南京，是一家 SLAM 算法及芯片提供商，主要從事 SLAM 算法及芯片研發(fā)、設(shè)計業(yè)務(wù)，致力于提供 AR、VR 軟硬件解決方案。

其 SLAM 算法已落地某 AR 整機(jī)品牌廠商，交互質(zhì)量已初見成效，預(yù)計其主打交互的 XR 協(xié)處理器將于今年 Q4 看到更多消息。

另一家 XR 芯片廠商可謂是資本寵兒，萬有引力 GravityXR 成立于 2021 年。2022 年 4 月公司宣布在半年內(nèi)連獲天使輪、Pre-A 輪融資，融資金額共計數(shù)億元。

天使輪由高榕資本領(lǐng)投，紅杉資本、IDG 資本和金沙江創(chuàng)投共同投資。Pre-A 輪則由某知名 XR 領(lǐng)軍企業(yè)領(lǐng)投，高榕資本、紅杉資本、聯(lián)想創(chuàng)投、耀途資本、米哈游、追遠(yuǎn)創(chuàng)投、三七互娛、奇績創(chuàng)壇、遠(yuǎn)陽資本、五源資本等投資機(jī)構(gòu)共同投資。

據(jù)相關(guān)介紹，萬有引力將于 2024 年完成第一代芯片的量產(chǎn)，這款芯片將是業(yè)內(nèi)首款專門針對 XR 應(yīng)用，高硬件應(yīng)用定制化、高集成度的芯片平臺，且在顯示、感知、圖像等多方面具備硬件加速處理的定制化設(shè)計。致力于解決四大問題：

• 其一，緩解主 SoC 通用平臺的渲染負(fù)荷，更智能地達(dá)到 8K/120Hz；
• 其二，采用視頻穿透式（VST），解決 VR 硬件終端的“老大難”暈眩問題；
• 其三，增強(qiáng) VR/MR 的畫質(zhì)效果，包括動態(tài)高質(zhì)量的顯示/光學(xué)增強(qiáng)和相機(jī)處理；
• 其四，為感知技術(shù)提供足夠的靈活性和計算能力，使得 XR 頭顯在不同的交互感知性能中，能夠靈活分配算力資源。

根據(jù)萬有引力官網(wǎng)介紹，其團(tuán)隊成員均來自蘋果、Meta、華為等高科技公司，擔(dān)任技術(shù)與產(chǎn)品研發(fā)的重要職位。在顯示、感知、圖像視覺、芯片和 XR 領(lǐng)域有著深厚的積累。據(jù) VR陀螺獲悉，萬有引力的 XR 芯片的制程可能會是在 14nm 以內(nèi)的先進(jìn)制程工藝，或能成為安卓版的“R1”。

放眼海外市場，以色列 VR/XR 光學(xué)技術(shù)公司超視覺（hypervision）也在布局 XR 協(xié)處理器。據(jù)介紹，為快速實現(xiàn)基于超視覺 IP 的 PCVR VR/XR 頭顯，超視覺正在開發(fā)電子設(shè)備和協(xié)處理器，以在 MIPI DSI 顯示器、MIPI CSI 圖像傳感器和 PC 之間建立橋梁。有以下模塊：

• 4 x MIPI 顯示器驅(qū)動基于顯示端口的電子設(shè)備到 2x MIPI DSI 橋接器
• 傳感器電子模塊：3DoF IMU、接近傳感器、IPD 傳感器
• 基于4（或5）個 MIPI 相機(jī)的真實世界 240 ° /360 ° 立體相機(jī)流的See-through
• 眼睛和面部跟蹤 MIPI 相機(jī)流與用于 NIR 和 RGB 照明的 LED 驅(qū)動器的組合

作為第二階段，超視覺計劃將所有模塊組合到基于 FPGA（或 ASIC）的單個協(xié)處理器中，該協(xié)處理器將驅(qū)動高達(dá) 4 倍高分辨率/幀速率的 MIPI 顯示器，將從外部攝像頭以及凝視和面部收集圖像流跟蹤攝像機(jī)。

協(xié)處理器將連接到 PC 或 SoC（用于獨立 VR/XR）?？梢詫α鬟M(jìn)行實時處理、失真補(bǔ)償和顯示內(nèi)容渲染，以減輕 PC 或 SoC 的負(fù)擔(dān)。將真實圖像直接定向到顯示器（繞過 PC 或 SoC）的選項將實現(xiàn)接近“零延遲”，這對于 VST 非常重要（就像在 AR 眼鏡中的 OST 那樣自然）。

從上文一系列解決方案和技術(shù)解析可以看出，XR協(xié)處理器芯片依舊在圍繞 XR 硬件最核心的“交互”與“顯示”兩個層面設(shè)計。

 高成本與長周期 機(jī)遇與挑戰(zhàn)并存 

盡管 XR 協(xié)處理芯片已成為 XR 行業(yè)謀求高質(zhì)量交互與顯示的共識，并且在未來更能助品牌形成差異化競爭力，但由于半導(dǎo)體行業(yè)本身的技術(shù)門檻問題，廠商需要承擔(dān)較長的時間周期，以及高昂的研發(fā)成本，仍面臨較大的挑戰(zhàn)。

今年，手機(jī)半導(dǎo)體行業(yè)的一大地震事件是 OPPO 旗下半導(dǎo)體子公司 ZEKU 的解散，3000 多名員工全部畢業(yè)。OPPO 方面對外宣布：面對全球經(jīng)濟(jì)、手機(jī)市場的不確定性，經(jīng)過慎重考慮，公司決定終止 ZEKU 業(yè)務(wù)。

究其核心原因，還是投入與產(chǎn)出的不成正比導(dǎo)致。以馬里亞納芯片為例，INNO DAY上，陳明永就曾透露，“單顆 SoC 的投入都是一億美金級別的”。

成熟的手機(jī)產(chǎn)業(yè)尚且如此，還未被點燃市場的 XR 產(chǎn)業(yè)則可能會面對更大的風(fēng)險，星紀(jì)魅族集團(tuán)的 AR 芯片夭折就是一個前車之鑒，廠商們?nèi)孕枳龊瞄L期入不敷出的準(zhǔn)備。

另外，值得注意的是，目前做 XR 協(xié)處理芯片的企業(yè)還面臨高通、聯(lián)發(fā)科等傳統(tǒng)手機(jī)芯片巨頭業(yè)的挑戰(zhàn)，一旦其開始重視 XR 板塊，并發(fā)力 VST 顯示、SLAM 算法等方面，憑借其原有的半導(dǎo)體產(chǎn)業(yè)架構(gòu)，不光是在研發(fā)速度，還是落地客戶上，都有極高的優(yōu)勢存在。

自研芯片是個好方向，于品牌廠商而言，可以建立品牌護(hù)城河，打差異化高端產(chǎn)品；于供應(yīng)鏈企業(yè)而言，可以解決 XR 硬件在使用體驗上的核心問題，供給未來需求市場。

然而，如此吸睛且舉足輕重的業(yè)務(wù)也是最燒錢，最漫長的投資。

參考：https://www.profolus.com/topics/what-is-the-apple-r1-chip-specifications-and-capabilities/

https://www.hypervision.ai/copy-of-xr-rr-coprocessor