文/VR陀螺 小鉆風(fēng)
今年的 WWDC 沒(méi)有 MR 頭顯也沒(méi)有 XR 操作系統(tǒng) RealiyOS,大會(huì)前有關(guān) AR 的猜測(cè)再次全部落空,“跳票”這個(gè)詞就差貼在蘋果腦門上。
整場(chǎng)主題演講下來(lái),唯有 ARKit 雖未亮相卻已如期而至。至此,ARKit 作為蘋果當(dāng)前在 AR 方向唯一明確的技術(shù)儲(chǔ)備,已經(jīng)走過(guò) 5 個(gè)年頭,更新至第 6 代(ARKit 6)。
圖源:Developer.Apple
2017 年 6 月,蘋果無(wú)視市場(chǎng)對(duì) Apple Glass 的呼聲,選擇從軟件層入手,基于已有的移動(dòng)端硬件生態(tài)構(gòu)建 AR 生態(tài),推出移動(dòng)端 AR 開(kāi)發(fā)工具集合 ARkit。
ARKit 推出后不過(guò)半年,據(jù) Sensor Tower 統(tǒng)計(jì),其應(yīng)用下載量便已突破1300萬(wàn)。雖然在新奇過(guò)后,ARKit也曾遇冷,但今年1月,庫(kù)克在 2022 年 Q1 季度財(cái)報(bào)會(huì)議上宣布,蘋果 App Store 現(xiàn)有 AR 軟件應(yīng)用超 14000 款。
時(shí)隔 5 年,AR 消費(fèi)端市場(chǎng)對(duì)蘋果而言似乎仍是一片空白,但蘋果在 AR 知名粉絲庫(kù)克帶領(lǐng)之下,已讓 ARKit 成長(zhǎng)為最大的 AR 平臺(tái)。
ARKit 雖現(xiàn)多用于移動(dòng)端,但對(duì) AR 眼鏡而言也有重要意義。有關(guān) AR 眼鏡的生態(tài),有這樣一個(gè)認(rèn)識(shí),那就是會(huì)發(fā)生移動(dòng)端生態(tài)的遷移,而 ARKit 為蘋果帶來(lái)的 14000+ 款 AR 應(yīng)用、背后培養(yǎng)的大量 AR 開(kāi)發(fā)者,以及所完成的用戶教育,將成為蘋果 AR/MR 眼鏡內(nèi)容生態(tài)的巨大財(cái)富。
今天,陀螺君便帶大家回顧下 ARKit 進(jìn)化史,看這五年間,ARKit 經(jīng)歷了怎樣的更新迭代,能為我們帶來(lái)什么樣的AR體驗(yàn)。
1、2017 年 6月 ARKit
2017 年 6 月,蘋果在 WWDC 針對(duì) iOS11 推出新的核心技術(shù),即首代 ARKit。
依托 iOS 強(qiáng)大的硬件設(shè)備,例如攝像頭高性能 CPU 和 GPU,以及運(yùn)動(dòng)感應(yīng)器等,第一代 ARKit 便能提供快速且穩(wěn)定的運(yùn)動(dòng)跟蹤,使用設(shè)備上的所有傳感器和攝像頭尋找平面,例如地板和桌子,能夠估算環(huán)境亮度幫助進(jìn)行渲染,并且?guī)椭M(jìn)行比例縮放,同時(shí),也提供與各種第三方框架的整合,幫助進(jìn)行渲染。
功能:
圖源:Bilibili
在正式介紹 ARKit 前,蘋果用 iPhone 進(jìn)行了一段展示:在桌面上放置虛擬的水杯、臺(tái)燈,兩者與桌面不僅無(wú)縫銜接,臺(tái)燈開(kāi)與關(guān),與水杯相對(duì)位置的改變,都會(huì)帶來(lái)與現(xiàn)實(shí)情境無(wú)異的光影變化。
在發(fā)布 ARKit 之時(shí),蘋果發(fā)言人 Craig Federighi 當(dāng)時(shí)提到:ARKit 會(huì)很快流行起來(lái),成為世界上最大的 AR 平臺(tái)。這一預(yù)測(cè)如今成真。
2、2018 年 1 月,ARKit 1.5
2018 年 1 月,蘋果推出 iOS 11.3 預(yù)覽版,同時(shí)帶來(lái)了 ARKit 1.5。
ARKit 1.5 主要更新點(diǎn)在于識(shí)別垂直表面比如窗戶、墻壁的能力,此外還能測(cè)繪出不規(guī)則形狀的表面,比如圓形家具。ARKit 1.5 另一個(gè)新增功能是 2D 圖像識(shí)別。
將手機(jī)指向繪畫,AR 應(yīng)用程序會(huì)標(biāo)識(shí)圖像,然后根據(jù)圖像在應(yīng)用程序中產(chǎn)生 3D 對(duì)象或虛擬體驗(yàn)。在蘋果演示的例子中,當(dāng) iPhone 指向“阿波羅 13 號(hào)”登月藝術(shù)壁畫后,iPhone 就可以展開(kāi)登月艙的整個(gè)虛擬旅程。
圖源:VR陀螺
此外,ARKit 1.5 對(duì)整體的體驗(yàn)進(jìn)行了改進(jìn),同時(shí)蘋果表示會(huì)將分辨率提高50%,并配備自動(dòng)對(duì)焦功能,讓 AR 內(nèi)容更加真實(shí)。
3、2018 年 6月,ARKit 2
2018 年 6月蘋果 WWDC,隨 iOS 12 一同到來(lái)的還有 ARKit 2。
在正式發(fā)布 ARKit 2 之前,Craig Federighi 展示了由蘋果制作的一款測(cè)距 AR 應(yīng)用,鑒于此前應(yīng)用商店已有同類型產(chǎn)品上線,因此算不上驚艷。
此外,蘋果展示了與皮克斯共同開(kāi)發(fā)的一種新的 AR 文件格式 USDZ( USD是由皮克斯發(fā)明的通用 3D 場(chǎng)景格式),用戶可以通過(guò) “新聞”、 Safari 瀏覽器,以及“文件”等應(yīng)用瀏覽 AR 對(duì)象,并通過(guò) iMessage 和“郵件”與好友共享。
圖源:Bilibili
ARKit 2 相對(duì)前一個(gè)版本,改進(jìn)了人臉追蹤,渲染更加逼真,同時(shí)支持 3D 對(duì)象的檢測(cè),體驗(yàn)也更為持久,更為重要的是,支持 AR 體驗(yàn)共享,多個(gè)用戶可以在一個(gè)共同的虛擬環(huán)境中進(jìn)行操作。
樂(lè)高對(duì)此進(jìn)行了演示,樂(lè)高建筑游戲置于真實(shí)的環(huán)境當(dāng)中,兩位用戶共同在虛擬的樂(lè)高環(huán)境中操作。不僅僅是用戶間形成互動(dòng),整個(gè)虛擬樂(lè)高的建筑連細(xì)節(jié)特征都能看得非常清楚。
ARKit 2 更新:
圖源:Bilibili
4、2019 年 6月,ARKit 3
2019 年 6 月的蘋果 WWDC 公布了 AR 的最新動(dòng)態(tài),包含三大亮點(diǎn):RealityKit、Reality Composer 以及 ARKit 3。
蘋果考慮到多數(shù) ARKit 體驗(yàn)均使用 Unity、Unreal 等專業(yè)游戲開(kāi)發(fā)引擎開(kāi)發(fā),這些引擎學(xué)習(xí)門檻高,且開(kāi)發(fā)者可能并不熟悉 AR 場(chǎng)景的開(kāi)發(fā),于是針對(duì) AR 開(kāi)發(fā)推出了高級(jí) AR 框架 RealityKit。RealityKit 可以實(shí)現(xiàn)攝像級(jí)的真實(shí)渲染、環(huán)境及鏡頭特效。
圖源:Bilibili
Reality Composer 則是一款獨(dú)立的用于建模的應(yīng)用,內(nèi)置 AR 內(nèi)容庫(kù)存,用戶在應(yīng)用中可以對(duì)素材進(jìn)行編輯、拖拽、動(dòng)畫生成等操作,快速構(gòu)建 AR 交互體驗(yàn)。
ARKit 3 則進(jìn)行了全新升級(jí),主要功能有兩點(diǎn):
人物遮擋:此前進(jìn)行人物遮擋的處理需要手動(dòng)完成,更新后,通過(guò)了解人在場(chǎng)景中所處的位置,對(duì) AR 內(nèi)容進(jìn)行分層,分析其前后關(guān)系,可以實(shí)時(shí)呈現(xiàn)人物遮擋關(guān)系。
圖源:Bilibili
動(dòng)作捕捉:只需把相機(jī)對(duì)準(zhǔn)某個(gè)人,就可以實(shí)時(shí)追蹤其位置,其頭部、四肢、軀干,并將這些信息導(dǎo)入AR體驗(yàn),完成對(duì)動(dòng)作的捕捉。此外,在游戲《我的世界》演示中,用戶可以被合成至虛擬場(chǎng)景當(dāng)中。
圖源:Bilibili
此外,ARKit 面部追蹤可同時(shí)跟蹤三張臉,借助蘋果手機(jī)、平板為 Snapcha t等前置攝像頭提供驅(qū)動(dòng);同時(shí),這一版本的 ARKit 開(kāi)始提供協(xié)作會(huì)議功能,多之間進(jìn)行實(shí)時(shí)協(xié)作,構(gòu)建協(xié)作世界地圖。
5、2020 年 3 月,ARKit 3.5
2020 年 3 月,蘋果在 iPad Pro 正式發(fā)布前將 ARKit 升級(jí)至 ARKit 3.5,新添加的功能可以調(diào)用平板電腦的 LiDAR 傳感器。
圖源:網(wǎng)絡(luò)
ARKit 3.5 添加新的 Scene Geometry API,該 API 可以利用 LiDAR掃描創(chuàng)建空間的 3D 地圖,對(duì)地板、天花板、墻壁、門等對(duì)象進(jìn)行區(qū)分(場(chǎng)景幾何)。LiDAR 也可實(shí)現(xiàn)快速平面檢測(cè),無(wú)需掃描便可在現(xiàn)實(shí)世界中放置 AR(即時(shí)AR)。
此外,ARKit 3 對(duì)上一版本中人物遮擋 、動(dòng)作捕捉功能進(jìn)行了改進(jìn),因?yàn)橛辛?LiDAR 后可以更好地估算人物深度與動(dòng)作操作的精度。
6、2020 年 6 月,ARKit 4
2020 年 6 月,蘋果 WWDC 并未對(duì) ARKit 進(jìn)行重點(diǎn)介紹,而是在官網(wǎng)進(jìn)行了更新,更新基于ARKit 3.5 版本圍繞新搭載的 LiDAR 展開(kāi),包含了深度 API、位置錨定、面部追蹤等功能。
圖源:網(wǎng)絡(luò)
深度 API:基于 LiDAR 對(duì)周圍環(huán)境進(jìn)行深度信息分析。通過(guò)與Scene Geometry API生成的3D網(wǎng)格數(shù)據(jù)結(jié)合使用,讓虛擬物體與顯示物體的的結(jié)合更加自然和真實(shí),人物遮擋效果更好。
位置錨定:利用 LiDAR 收集的深度信息,通過(guò)位置錨定功能和蘋果地圖中的數(shù)據(jù)將 AR 作品錨定在特定的經(jīng)、緯度以及高度,用戶可圍繞虛擬對(duì)象從不同角度對(duì)其進(jìn)行觀察。
面部追蹤更新:降低了對(duì)終端的要求,將面部追蹤功能擴(kuò)展到更多設(shè)備,讓更多設(shè)備支持前置攝像頭的 AR 體驗(yàn)。
多圖像的物理信息測(cè)量:支持一次性最多100張圖像的信息檢測(cè) ,并自動(dòng)估算圖像中對(duì)象的物理尺寸。
7、2021年 6 月,ARKit 5
2021 年 6 月的 WWDC 蘋果未在主題演講環(huán)節(jié)展示 ARKit,但一年一更的 ARKit 5 與迭代版本的 RealityKit 2 如期到來(lái)。
圖源:Plainconcepts
ARKit 5 與上一年相比沒(méi)有大幅度更新,主要更新以下三項(xiàng)功能:
位置錨定支持更多城市,用戶可以在倫敦以及美國(guó)更多城市的特定地點(diǎn)創(chuàng)建 AR 體驗(yàn);
擴(kuò)展對(duì)面部追蹤的支持,支持任何搭載 A 12 仿生芯片及更高版本設(shè)備的前置攝像頭,包括iPad Pro(第5代)超寬攝像頭,以保證讓更多用戶能夠獲得 AR 體驗(yàn)。
App Clip Code,開(kāi)發(fā)者可以將 App Clips 或 ARKit 應(yīng)用中的虛擬內(nèi)容固定到印刷版或數(shù)字版的 App Clip Code,其他玩家可以通過(guò)掃描二維碼快速查看相關(guān)虛擬內(nèi)容。
圖源:Plainconcepts
相比于 ARKit 5,RealityKit 2 新增的 Object Capture API 在主題演講中獲得亮相,借助 Object Capture 用戶可使用蘋果手機(jī)或平板,將幾張 2D 照片合成高質(zhì)量的 3D 模型。
8、2022 年 6 月,ARKit 6
2022 年 6 月的 WWDC 主題演講環(huán)節(jié)再次未亮相 ARKit,但 ARKit 已如期更新至第6代(ARKit 6),并且?guī)?lái)幾項(xiàng)新的功能。
圖源:developer.apple
捕獲4K 視頻,ARKit 6 可利用后置攝像頭捕獲4K 視頻,據(jù)蘋果官網(wǎng)介紹,4K 視頻非常適合那些將虛擬和現(xiàn)實(shí)世界的內(nèi)容集成在一起生成視頻的應(yīng)用,比如社交媒體,專業(yè)的視頻編輯,以及各類視頻制作應(yīng)用。
捕獲高分辨率圖像,引入對(duì) HDR 視頻的支持,用戶可捕獲高分辨率背景圖像,這對(duì)高質(zhì)量虛擬對(duì)象的重建以及希望引導(dǎo)用戶拍攝完美且圖像質(zhì)量高的攝像應(yīng)用程序非常適用。
ARKit 還引入對(duì) HDR 視頻的支持,并為每個(gè) ARKit 幀添加 EXIF 標(biāo)簽,例如曝光和白平衡。用戶可以在 ARKit 會(huì)話期間直接控制相機(jī)的曝光、白平衡和對(duì)焦設(shè)置。
同時(shí)使用前置與后置攝像頭,同時(shí)使用前置與后置攝像頭對(duì)面部以及周圍環(huán)境進(jìn)行追蹤,比如用戶可使用面部在后置攝像鏡頭中與 AR 內(nèi)容進(jìn)行交互。
此外,ARKit 6 再次新增支持位置錨定的城市比如蒙特利爾、悉尼、新加坡、東京等,并且對(duì)動(dòng)作追蹤等功能進(jìn)行了改進(jìn)。
圖源:VR陀螺
結(jié)語(yǔ)
ARKit 2017 年誕生后,接下來(lái)的兩年都被作為關(guān)鍵技術(shù)在主題演講環(huán)節(jié)呈現(xiàn),2020 年隨著 LiDAR 開(kāi)始在 iPad Pro 進(jìn)行搭載隨后又延申至 iPhone 13 Pro / Max,ARKit 更新重點(diǎn)也隨即開(kāi)始圍繞利用 LiDAR 深度掃描能力,功能上新并不多。
也是這時(shí)起,ARKit 鮮少在主題演講亮相,但其更新進(jìn)度并未放慢,至近日, ARKit 6 再次帶來(lái)了捕獲 4K 視頻、引入對(duì) HDR 視頻支持等重要功能。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
版權(quán)申明:本文為VR陀螺原創(chuàng),任何第三方未經(jīng)授權(quán)不得轉(zhuǎn)載。如需轉(zhuǎn)載請(qǐng)聯(lián)系微信:vrtuoluo233 申請(qǐng)授權(quán),并在轉(zhuǎn)載時(shí)保留轉(zhuǎn)載來(lái)源、作者以及原文鏈接信息,不得擅自更改內(nèi)容,違規(guī)轉(zhuǎn)載法律必究。文中有圖片、視頻素材來(lái)自互聯(lián)網(wǎng)或無(wú)法核實(shí)出處,如涉及版權(quán)問(wèn)題,請(qǐng)聯(lián)系本網(wǎng)站協(xié)商處理。
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息
上一篇: 傳HoloLens負(fù)責(zé)人面臨性騷擾指控即將離開(kāi)微軟,MR團(tuán)隊(duì)將會(huì)重組
下一篇: 虛擬現(xiàn)實(shí)+眼動(dòng)追蹤精選實(shí)戰(zhàn)分享:認(rèn)知“新”健康