文/VR陀螺 冉啟行
一則機(jī)圈裁員消息,暴露了廠(chǎng)商布局 XR 業(yè)務(wù)的“野心”。
2023 年 8 月,星紀(jì)魅族集團(tuán)被爆旗下芯片研究院即將進(jìn)行人員調(diào)整,該研究院大約有 200 名員工,調(diào)整計(jì)劃是裁撤所有應(yīng)屆生,留下一小部分老員工。
多名知情人士透露,被裁撤的芯片研究院屬于前瞻技術(shù)業(yè)務(wù)之下,也是該業(yè)務(wù)板塊的主力部門(mén),成立剛剛一年,主要做 AR 芯片。
裁撤原因在于,芯片投資周期長(zhǎng),成本高,AR 芯片現(xiàn)在沒(méi)有出產(chǎn)品,影響上市計(jì)劃,星紀(jì)魅族便“不想做了”。
作為“下一代計(jì)算平臺(tái)”,未來(lái)市場(chǎng)潛力不可估量,面對(duì)“芯片”這塊難啃的骨頭,有退場(chǎng)者,也有迎面直上的新玩家涌入。
XR 芯片這條賽道,正成為科技巨頭乃至創(chuàng)業(yè)公司爭(zhēng)相布局的新賽道。
智能手機(jī)產(chǎn)業(yè)的發(fā)展 已證明自研芯片價(jià)值
手機(jī)產(chǎn)業(yè)早期的“造芯熱”,正在 XR 行業(yè)上演。
憑借海思麒麟系列芯片,華為曾站在了與蘋(píng)果、三星同等的高度,并一度成為全球手機(jī)銷(xiāo)量霸主。
8月底,搭載最新款海思麒麟 9000s 的華為 Mate60 Pro 悄然上市,時(shí)隔 1500 多天后,華為“芯產(chǎn)品”在國(guó)內(nèi)市場(chǎng)被瘋搶至售罄。
當(dāng)然,于其他國(guó)產(chǎn)手機(jī)廠(chǎng)商而言,雖不設(shè)計(jì)核心處理平臺(tái),但特定場(chǎng)景芯片,譬如影像芯片(拍攝算法優(yōu)化)、充電管理芯片(解決快充及安全)、獨(dú)顯芯片(游戲場(chǎng)景優(yōu)化)也成為了它們搶占用戶(hù),爭(zhēng)奪市場(chǎng)的殺手锏。
拋開(kāi)其他地緣政治因素不談,自研芯片的魅力不僅僅在于功能設(shè)計(jì)上的自主,更為重要的是產(chǎn)品差異化上帶來(lái)的強(qiáng)大市場(chǎng)競(jìng)爭(zhēng)力,以此沖擊高端市場(chǎng),較高的技術(shù)門(mén)檻還意味著其難以復(fù)制,最終形成品牌的護(hù)城河。
“自研芯片之爭(zhēng)”出現(xiàn)于智能手機(jī)產(chǎn)業(yè)的成熟期,這是行業(yè)面對(duì)同質(zhì)化現(xiàn)象,消費(fèi)需求質(zhì)量拉升,市場(chǎng)下降的積極應(yīng)對(duì)。
然而,在 XR 芯片上,我們看到了“芯片之爭(zhēng)”的提前到來(lái),在通用 PC、移動(dòng)芯片的基礎(chǔ)上,主要聚焦“交互”與“顯示”兩大板塊,以“協(xié)處理器”作為切入,這是 XR 產(chǎn)品本身設(shè)計(jì)需求的延伸。
XR協(xié)處理器 解決“交互”與“顯示”需求
相對(duì)于傳統(tǒng) PC、手機(jī),XR 設(shè)備需要解決的是“交互”與“顯示”兩個(gè)最特殊,也是最重要的技術(shù)面。
交互方面,XR 設(shè)備需要提供更加自然、直觀(guān)、高效的人機(jī)交互方式,例如 SLAM 定位、眼動(dòng)追蹤、手勢(shì)識(shí)別等。顯示方面,作為近眼顯示的 XR 設(shè)備需要提供更加高清、快速、舒適的視覺(jué)效果,例如高分辨率 VST、高刷新率、低延遲等。
顯然,傳統(tǒng)的 PC、移動(dòng)通用芯片無(wú)法滿(mǎn)足 XR 設(shè)備對(duì)于交互和顯示方面的特殊需求和標(biāo)準(zhǔn)。通用芯片在設(shè)計(jì)時(shí)往往考慮的是以手機(jī)為主的多種應(yīng)用場(chǎng)景和兼容性,難以針對(duì) XR 設(shè)備的高并發(fā)進(jìn)行專(zhuān)門(mén)的優(yōu)化和加速。
因此,XR 協(xié)處理器應(yīng)運(yùn)而生。XR 協(xié)處理器是一種專(zhuān)門(mén)針對(duì) XR 設(shè)備進(jìn)行優(yōu)化和加速的芯片,它可以與通用芯片協(xié)同工作,分擔(dān)部分或全部的交互和顯示任務(wù)。XR 協(xié)處理器可以根據(jù)不同的 XR 形式和應(yīng)用場(chǎng)景進(jìn)行定制化設(shè)計(jì),以滿(mǎn)足不同的性能和體驗(yàn)需求。
XR 協(xié)處理器可以利用專(zhuān)門(mén)的算法和架構(gòu)來(lái)提高傳感器數(shù)據(jù)處理和圖像渲染的效率和質(zhì)量,通過(guò)技術(shù)手段降低延遲和暈眩感,提高視覺(jué)效果和用戶(hù)體驗(yàn)。
以蘋(píng)果 Vision Pro 為例,其不僅配備了 PC 級(jí)性能的 M2 芯片,還有一顆為 MR 量身定制的 R1 芯片。
12毫秒處理傳感數(shù)據(jù) 蘋(píng)果 R1 “上傳下達(dá)”
蘋(píng)果 M2 芯片的任務(wù)是運(yùn)行與操作,簡(jiǎn)而言之就是可以讓用戶(hù)通過(guò)頭顯打開(kāi)應(yīng)用程序,運(yùn)行應(yīng)用程序,而 R1 處理器則負(fù)責(zé)來(lái)自交互傳感器的幾乎所有信息。
這些傳感器包括 12 個(gè)攝像頭,5 個(gè)傳感器和 6 個(gè)麥克風(fēng),傳感器將其感測(cè)到的任何內(nèi)容轉(zhuǎn)換或數(shù)字化為數(shù)字?jǐn)?shù)據(jù)輸入。R1 芯片接收輸入數(shù)據(jù)進(jìn)行實(shí)時(shí)處理,以生成塑造混合現(xiàn)實(shí)環(huán)境的輸出數(shù)據(jù)。
具體來(lái)看,兩個(gè)主要的 RGB 外部攝像頭記錄外部真實(shí)世界,每秒將超過(guò)十億像素推送到頭顯的 4K 屏幕上。最重要的是,一對(duì)側(cè)面攝像頭,以及兩個(gè)底部安裝的攝像頭和兩個(gè)紅外傳感器,即使在弱光條件下,也可以從各種位置跟蹤手部運(yùn)動(dòng)。
外向傳感器還包括 LiDAR 掃描儀和 TrueDepth 攝像頭,可捕獲周?chē)h(huán)境的深度圖形,使 Vision Pro 能夠在用戶(hù)的空間中準(zhǔn)確定位數(shù)字對(duì)象。在頭戴面內(nèi)部,每個(gè)周?chē)幸蝗?LED 燈和兩個(gè)紅外攝像頭,用于跟蹤眼球運(yùn)動(dòng)。
通過(guò)這一系列的傳感器,蘋(píng)果實(shí)現(xiàn)了最重要的 VST 顯示傳輸、SLAM 空間定位、手勢(shì)+眼動(dòng)交互和深度信息感知,而作為“上傳下達(dá)”這一切的中樞,R1 解決了一款 MR 頭顯最重要的一環(huán)。
該芯片本質(zhì)上是一個(gè)數(shù)字信號(hào)處理器(DSP),但據(jù)外媒稱(chēng),它卻采用了集成更多晶體管的 5nm 芯片工藝,從而提高芯片的性能和效率,并且集成了 1 GB DRAM 以支持高速處理。
該 DRAM 同樣不簡(jiǎn)單,為了應(yīng)對(duì) R1 的高速處理需求,SK海力士專(zhuān)門(mén)開(kāi)發(fā)了一款定制的 1GB DRAM,新的 DRAM 將輸入和輸出的引腳數(shù)量增加了 8 倍,可最大限度減少延遲,此類(lèi)芯片也被稱(chēng)為 Low Latency Wide IO。
對(duì)于近眼顯示系統(tǒng)而言,端到端的低延遲非常重要。延遲是指攝像頭看到的內(nèi)容與頭顯 4K 屏幕上顯示的圖像之間的延遲,理論上滯后越短越好。當(dāng)大腦從眼睛接收的輸入與感知的輸入之間存在明顯的滯后時(shí),就會(huì)發(fā)生暈動(dòng)病,產(chǎn)生不適感。
R1 雖僅是一顆協(xié)處理器,但依舊是一套系統(tǒng)化的工程,麻雀雖小,五臟俱全。整套下來(lái),據(jù)稱(chēng),R1 可以在 12 毫秒內(nèi)處理來(lái)自這些傳感器的輸入數(shù)據(jù),這比眨眼速度還快 8 倍。
除蘋(píng)果外,不少正在布局 XR 業(yè)務(wù)的企業(yè),也在 XR 協(xié)處理器上發(fā)力。
品牌廠(chǎng)商下場(chǎng)做芯片 三星、華為和vivo?
目前,XR 芯片玩家主要分兩大類(lèi):一類(lèi)是產(chǎn)品未出,芯片先行的品牌廠(chǎng)商們,另一類(lèi)則是瞄準(zhǔn) XR 增量市場(chǎng)的三方芯片廠(chǎng)商的卷入。
作為科技產(chǎn)業(yè)的頭部企業(yè),在半導(dǎo)體上一直有輸出和布局的三星自然不例外。XR 方面,三星入局并不算晚,只是早期略有曲折。而在近兩年,伴隨著蘋(píng)果的競(jìng)爭(zhēng),我們也看到了三星 XR 的更多動(dòng)態(tài)。
2023 年 5 月,據(jù)報(bào)道,三星旗下設(shè)計(jì) Exynos 處理器和 ISOCELL 相機(jī)傳感器的部門(mén) System LSI 已開(kāi)始邁出為 XR 設(shè)備制造處理器的第一步。
由于三星本身就有 Exynos 系列移動(dòng)平臺(tái)的設(shè)計(jì)能力,并有自家的晶圓代工廠(chǎng),所以不管是做一顆“R1”的專(zhuān)用協(xié)處理器芯片,還是做一顆類(lèi)“高通驍龍 XR2”的擴(kuò)展芯片,皆有可能。
在蘋(píng)果 Vision Pro 的驚艷沖擊下,三星的 XR 頭顯被爆料已經(jīng)推遲至 2024 年 6 月,早前曝光的產(chǎn)品也或?qū)⒅匦略O(shè)計(jì)。基于三星過(guò)去高舉高打,一直對(duì)標(biāo)蘋(píng)果的市場(chǎng)策略,芯片方面,三星或重塑產(chǎn)品,打造專(zhuān)用協(xié)處理器,以更好應(yīng)對(duì)蘋(píng)果的 Vision Pro 帶來(lái)的市場(chǎng)競(jìng)爭(zhēng)。
Meta 在 XR 業(yè)務(wù)上的投入每年都高達(dá)數(shù)十億美元,自然也包括涉及了芯片業(yè)務(wù)。 根據(jù)早前的一份報(bào)道,Meta 公司為第二代 Ray-Ban Stories 智能眼鏡開(kāi)發(fā)自己的芯片以失敗告終,所以才決定用高通芯片代替。而根據(jù)泄露的硬件路線(xiàn)圖,未公布的可穿戴設(shè)備可能會(huì)在今年發(fā)布。
據(jù) The Information 報(bào)道,Meta 與三星曾合作開(kāi)發(fā) AR 眼鏡的芯片,但該合作關(guān)系于 2022 年結(jié)束,當(dāng)時(shí) Meta 決定只為開(kāi)發(fā)者生產(chǎn)數(shù)量非常有限的設(shè)備,聯(lián)合開(kāi)發(fā)的芯片將被用于 2024 年 Meta Connect 上亮相的第一款 AR 眼鏡。
在 Meta 與三星的合作關(guān)系結(jié)束后,Meta 尋找到了新的合作伙伴——聯(lián)發(fā)科,這家公司將為 AR 眼鏡設(shè)計(jì)芯片,該眼鏡預(yù)計(jì)將于 2027 年發(fā)布。
回歸國(guó)內(nèi)視野,vivo 在 XR 芯片方面一直都有人才積累,其芯片研發(fā)中心位于上海,首款手機(jī) ISP 芯片 vivo v1 于 2021 年發(fā)布。不過(guò),在 XR 硬件方面,由于一直未有相關(guān)產(chǎn)品露出,仍有待進(jìn)一步觀(guān)察。
華為上一代 VR Glass 6DoF 游戲套裝于 2020 年發(fā)布,而據(jù)小道消息稱(chēng)華為 VST 的 MR 產(chǎn)品也將十分驚艷,可能也與海思加持的協(xié)處理器芯片有關(guān)。
這個(gè)猜測(cè)也并非無(wú)中生有,海思并非沒(méi)有 XR 相關(guān)積累。早在 2020 年 5 月,上海海思就曾發(fā)布 XR 芯片平臺(tái),推出了可支持 8K 解碼能力的集成 GPU、NPU 的 XR 芯片,應(yīng)用于雙目 AR 眼鏡 Rokid Vision。
整機(jī)品牌公司是一方面,近兩年,以 XR 協(xié)處理器揭竿而起的初創(chuàng)企業(yè)也受到了極大的關(guān)注。
XR供應(yīng)鏈初創(chuàng)企業(yè) 瞄準(zhǔn)類(lèi)“R1”芯片
國(guó)內(nèi)企業(yè)耀宇視芯成立于 2022 年 1 月 19 日,公司位于南京,是一家 SLAM 算法及芯片提供商,主要從事 SLAM 算法及芯片研發(fā)、設(shè)計(jì)業(yè)務(wù),致力于提供 AR、VR 軟硬件解決方案。
其 SLAM 算法已落地某 AR 整機(jī)品牌廠(chǎng)商,交互質(zhì)量已初見(jiàn)成效,預(yù)計(jì)其主打交互的 XR 協(xié)處理器將于今年 Q4 看到更多消息。
另一家 XR 芯片廠(chǎng)商可謂是資本寵兒,萬(wàn)有引力 GravityXR 成立于 2021 年。2022 年 4 月公司宣布在半年內(nèi)連獲天使輪、Pre-A 輪融資,融資金額共計(jì)數(shù)億元。
天使輪由高榕資本領(lǐng)投,紅杉資本、IDG 資本和金沙江創(chuàng)投共同投資。Pre-A 輪則由某知名 XR 領(lǐng)軍企業(yè)領(lǐng)投,高榕資本、紅杉資本、聯(lián)想創(chuàng)投、耀途資本、米哈游、追遠(yuǎn)創(chuàng)投、三七互娛、奇績(jī)創(chuàng)壇、遠(yuǎn)陽(yáng)資本、五源資本等投資機(jī)構(gòu)共同投資。
據(jù)相關(guān)介紹,萬(wàn)有引力將于 2024 年完成第一代芯片的量產(chǎn),這款芯片將是業(yè)內(nèi)首款專(zhuān)門(mén)針對(duì) XR 應(yīng)用,高硬件應(yīng)用定制化、高集成度的芯片平臺(tái),且在顯示、感知、圖像等多方面具備硬件加速處理的定制化設(shè)計(jì)。致力于解決四大問(wèn)題:
根據(jù)萬(wàn)有引力官網(wǎng)介紹,其團(tuán)隊(duì)成員均來(lái)自蘋(píng)果、Meta、華為等高科技公司,擔(dān)任技術(shù)與產(chǎn)品研發(fā)的重要職位。在顯示、感知、圖像視覺(jué)、芯片和 XR 領(lǐng)域有著深厚的積累。據(jù) VR陀螺獲悉,萬(wàn)有引力的 XR 芯片的制程可能會(huì)是在 14nm 以?xún)?nèi)的先進(jìn)制程工藝,或能成為安卓版的“R1”。
放眼海外市場(chǎng),以色列 VR/XR 光學(xué)技術(shù)公司超視覺(jué)(hypervision)也在布局 XR 協(xié)處理器。據(jù)介紹,為快速實(shí)現(xiàn)基于超視覺(jué) IP 的 PCVR VR/XR 頭顯,超視覺(jué)正在開(kāi)發(fā)電子設(shè)備和協(xié)處理器,以在 MIPI DSI 顯示器、MIPI CSI 圖像傳感器和 PC 之間建立橋梁。有以下模塊:
作為第二階段,超視覺(jué)計(jì)劃將所有模塊組合到基于 FPGA(或 ASIC)的單個(gè)協(xié)處理器中,該協(xié)處理器將驅(qū)動(dòng)高達(dá) 4 倍高分辨率/幀速率的 MIPI 顯示器,將從外部攝像頭以及凝視和面部收集圖像流跟蹤攝像機(jī)。
協(xié)處理器將連接到 PC 或 SoC(用于獨(dú)立 VR/XR)??梢詫?duì)流進(jìn)行實(shí)時(shí)處理、失真補(bǔ)償和顯示內(nèi)容渲染,以減輕 PC 或 SoC 的負(fù)擔(dān)。將真實(shí)圖像直接定向到顯示器(繞過(guò) PC 或 SoC)的選項(xiàng)將實(shí)現(xiàn)接近“零延遲”,這對(duì)于 VST 非常重要(就像在 AR 眼鏡中的 OST 那樣自然)。
從上文一系列解決方案和技術(shù)解析可以看出,XR協(xié)處理器芯片依舊在圍繞 XR 硬件最核心的“交互”與“顯示”兩個(gè)層面設(shè)計(jì)。
高成本與長(zhǎng)周期 機(jī)遇與挑戰(zhàn)并存
盡管 XR 協(xié)處理芯片已成為 XR 行業(yè)謀求高質(zhì)量交互與顯示的共識(shí),并且在未來(lái)更能助品牌形成差異化競(jìng)爭(zhēng)力,但由于半導(dǎo)體行業(yè)本身的技術(shù)門(mén)檻問(wèn)題,廠(chǎng)商需要承擔(dān)較長(zhǎng)的時(shí)間周期,以及高昂的研發(fā)成本,仍面臨較大的挑戰(zhàn)。
今年,手機(jī)半導(dǎo)體行業(yè)的一大地震事件是 OPPO 旗下半導(dǎo)體子公司 ZEKU 的解散,3000 多名員工全部畢業(yè)。OPPO 方面對(duì)外宣布:面對(duì)全球經(jīng)濟(jì)、手機(jī)市場(chǎng)的不確定性,經(jīng)過(guò)慎重考慮,公司決定終止 ZEKU 業(yè)務(wù)。
究其核心原因,還是投入與產(chǎn)出的不成正比導(dǎo)致。以馬里亞納芯片為例,INNO DAY上,陳明永就曾透露,“單顆 SoC 的投入都是一億美金級(jí)別的”。
成熟的手機(jī)產(chǎn)業(yè)尚且如此,還未被點(diǎn)燃市場(chǎng)的 XR 產(chǎn)業(yè)則可能會(huì)面對(duì)更大的風(fēng)險(xiǎn),星紀(jì)魅族集團(tuán)的 AR 芯片夭折就是一個(gè)前車(chē)之鑒,廠(chǎng)商們?nèi)孕枳龊瞄L(zhǎng)期入不敷出的準(zhǔn)備。
另外,值得注意的是,目前做 XR 協(xié)處理芯片的企業(yè)還面臨高通、聯(lián)發(fā)科等傳統(tǒng)手機(jī)芯片巨頭業(yè)的挑戰(zhàn),一旦其開(kāi)始重視 XR 板塊,并發(fā)力 VST 顯示、SLAM 算法等方面,憑借其原有的半導(dǎo)體產(chǎn)業(yè)架構(gòu),不光是在研發(fā)速度,還是落地客戶(hù)上,都有極高的優(yōu)勢(shì)存在。
自研芯片是個(gè)好方向,于品牌廠(chǎng)商而言,可以建立品牌護(hù)城河,打差異化高端產(chǎn)品;于供應(yīng)鏈企業(yè)而言,可以解決 XR 硬件在使用體驗(yàn)上的核心問(wèn)題,供給未來(lái)需求市場(chǎng)。
然而,如此吸睛且舉足輕重的業(yè)務(wù)也是最燒錢(qián),最漫長(zhǎng)的投資。
參考:https://www.profolus.com/topics/what-is-the-apple-r1-chip-specifications-and-capabilities/
https://www.hypervision.ai/copy-of-xr-rr-coprocessor
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息