疫情背景下，Google 為了與本土開(kāi)發(fā)者相聚，GDS 2020（Google 開(kāi)發(fā)者大會(huì)）搬到線上，以“代碼不止”為主題，14+ 產(chǎn)品線，50+ 精彩技術(shù)演講，70+ 技術(shù)專(zhuān)家，6 天技術(shù)演講滿(mǎn)滿(mǎn)干貨。ARCore 壓軸出場(chǎng)，著重介紹了今年新推出的兩項(xiàng)AR領(lǐng)域的重磅功能 : Depth API（深度 API）以及持久云錨點(diǎn)（Persistent Cloud Anchors）技術(shù)，搭載引人入勝的精彩展示，帶你感受科技為生活帶來(lái)的無(wú)限可能。

Google 發(fā)布于2018年的 ARCore 是增強(qiáng)現(xiàn)實(shí)技術(shù)開(kāi)發(fā)者的平臺(tái)，為 Android 和 iOS 用戶(hù)創(chuàng)造有效的 AR 體驗(yàn)。目前該技術(shù)已支持7億臺(tái)以上的設(shè)備，被應(yīng)用成千上萬(wàn)款 APP 上，并且持續(xù)成長(zhǎng)中。

11月16日的 Keynote 演講，以及11月21日的兩場(chǎng)會(huì)議圍繞“ ARCore 新功能”和“深度 API 實(shí)現(xiàn) AR 真實(shí)感”兩大主題，介紹了 ARCore 在技術(shù)上的新進(jìn)功能，在環(huán)境景深理解上的進(jìn)階技術(shù)探索，以及與本地開(kāi)發(fā)者的創(chuàng)新合作成果。加上科技達(dá)人多角度詮釋 ARCore 技術(shù)更新及本土案例，掀起科技迷們對(duì) AR 的新一波熱情。

ARCore在中國(guó) - 越來(lái)越多開(kāi)發(fā)者正在創(chuàng)新運(yùn)用

從 2018 年 ARCore 技術(shù)登陸中國(guó)，已經(jīng)在教育、購(gòu)物、游戲等多個(gè)行業(yè)和大量開(kāi)發(fā)者進(jìn)行合作。隨著 ARCore 的不斷更新，越來(lái)越多的中國(guó)開(kāi)發(fā)者正在創(chuàng)新應(yīng)用這項(xiàng)技術(shù)，為本地用戶(hù)帶來(lái)更多新奇體驗(yàn)。

美圖 - 用 AR 拍出夢(mèng)幻自我

美圖公司利用 ARCore 的增強(qiáng)臉部 API（Augmented Faces API）構(gòu)建了 100 多個(gè)自拍濾鏡，讓用戶(hù)可以在拍攝照片和視頻時(shí)體驗(yàn) AR 特效。增強(qiáng)臉部 API 提供高精度的由 468 個(gè)點(diǎn)組成的密集 3D 臉部網(wǎng)格，追蹤嘴部動(dòng)作、眨眼、點(diǎn)頭和一些復(fù)雜的細(xì)節(jié)。

此外，新推出的瞬間放置 API (Instant Placement API) 對(duì)美圖更是如虎添翼。加上幾行代碼，通過(guò)將 AR 對(duì)象錨定到 2D 圖像中，讓用戶(hù)不需要掃描，就可以放置虛擬物件并進(jìn)行互動(dòng)。

有道少兒詞典 - 用 AR 身臨其境地學(xué)習(xí)

有道少兒詞典使用 AR 打破了時(shí)空限制，讓孩子們有趣和又有效的方式學(xué)習(xí)新單詞。利用 ARCore 的環(huán)境理解（Environmental Understanding）及平面識(shí)別(Plane Finding)，識(shí)別環(huán)境中的對(duì)象和特征，精確地理解環(huán)境，加上炫酷逼真的 3D 模型，為孩子們帶來(lái)身臨其境學(xué)單詞的樂(lè)趣體驗(yàn)。

學(xué)習(xí)過(guò)程中，孩子們不僅可以將精致模型投射在家里，從各種角度進(jìn)行觀察，放大縮小或移動(dòng)；還可以點(diǎn)擊模型上的中英文詞框，或點(diǎn)進(jìn)查詞結(jié)果頁(yè)，查看中英單詞的權(quán)威釋義，使形象和字義深刻聯(lián)結(jié)。這大大提升了學(xué)習(xí)的趣味性，讓孩子們邊學(xué)邊玩兩不誤。

滴滴 - 用 AR 讓路癡永不迷路

在火車(chē)站、商場(chǎng)和機(jī)場(chǎng)等大型公共區(qū)域，你是否有打上車(chē)卻找不到司機(jī)的體驗(yàn)？AR實(shí)景導(dǎo)航，讓路癡輕松找到方向。

基于 ARCore 技術(shù)，滴滴構(gòu)建了一個(gè)實(shí)景導(dǎo)航解決方案，實(shí)時(shí)識(shí)別用戶(hù)和環(huán)境之間的定位關(guān)系，AR 實(shí)景導(dǎo)航引導(dǎo)信息逼真地和實(shí)景環(huán)境相結(jié)合，用戶(hù)只需要跟著 AR 路標(biāo)走，直接跳過(guò)轉(zhuǎn)換 2D 地圖信息的步驟。在這個(gè)過(guò)程中，ARCore 的環(huán)境理解和運(yùn)動(dòng)跟蹤功能，確保手機(jī)始終識(shí)別用戶(hù)方位，給出正確的路標(biāo)指導(dǎo)。

在定位時(shí)，ARCore 會(huì)提示用戶(hù)獲得一張有效定位圖片，利用運(yùn)動(dòng)追蹤功能，感知用戶(hù)位置、移動(dòng)速度和角度。同時(shí)，ARCore 通過(guò)環(huán)境理解功能可以理解周?chē)F(xiàn)實(shí)環(huán)境，估算平面信息，不論是商場(chǎng)地面，還是垂直于水平地面的墻壁、指示牌，它都能快速理解并相應(yīng)放置虛擬指示路標(biāo)，使引導(dǎo)信息渲染得更加逼真，讓用戶(hù)一看就明白。

這種有用、科技感十足的導(dǎo)航方式，一經(jīng)推出就大受用戶(hù)好評(píng)。這項(xiàng)功能在中國(guó)、日本等多地上線，據(jù)數(shù)據(jù)顯示，它幫助用戶(hù)節(jié)省近 1/4 的時(shí)間，滿(mǎn)意度達(dá) 80%。

ARCore 新進(jìn)展 - 讓更多人，在更多地方體驗(yàn)更逼真的增強(qiáng)世界

除了這些豐富多彩的創(chuàng)新合作成果，本次 Google 開(kāi)發(fā)者大會(huì)上，還著重介紹了 ARCore 技術(shù)的最新進(jìn)展，為各位開(kāi)發(fā)者們帶來(lái)了兩項(xiàng)AR領(lǐng)域的重磅功能：Depth API（深度 API）以及持久云錨點(diǎn)（Persistent Cloud Anchors）技術(shù)。

深度 API - 解決 AR 界的遮擋及互動(dòng)難題

2020年中，Google 發(fā)布了 ARCore Depth API（深度 API），為開(kāi)發(fā)者們帶來(lái)解決虛擬物件擬真技術(shù)難題的希望，開(kāi)發(fā)者憑借 Depth API 和單個(gè) RGB 攝像頭就可創(chuàng)建出深度圖。不依賴(lài)任何特殊硬件，所以在大部分兼容 ARCore 的設(shè)備上都是可以使用深度API的。

Depth API 的一項(xiàng)最關(guān)鍵功能就是“遮擋”：虛擬物體能夠準(zhǔn)確地出現(xiàn)在現(xiàn)實(shí)物體后面，與場(chǎng)景真正融合在一起。此前沒(méi)有遮擋功能，虛擬物體容易“橫空出世”，更像是現(xiàn)實(shí)世界中的“貼圖”，讓人瞬間出戲。

△ 左邊沒(méi)有遮擋功能的“喵星人”缺乏真實(shí)感，右側(cè)開(kāi)啟遮擋功能的“喵星人”則逼真地藏在了遮擋物后面。

那么究竟深度 API 是怎么實(shí)踐的呢？怎么使用深度呢？

首先，我們先定義深度：就像下圖里面表示的，C 點(diǎn)是攝像機(jī)的位置，Z 軸是攝像機(jī)的主軸。大寫(xiě)的 A 點(diǎn)，表示一個(gè)現(xiàn)實(shí)的物體。C 到 A 點(diǎn)的深度，就是線段 CA 在 Z 軸的投影。

一旦我們知道場(chǎng)景里面的物體的距離，我們就可以在渲染虛擬物體的時(shí)候使用這個(gè)信息，進(jìn)行 Z buffer 計(jì)算。比較當(dāng)前的像素點(diǎn)的深度與之前渲染在這個(gè)像素的點(diǎn)的深度，如果已經(jīng)有別的物體出現(xiàn)在更近的位置，那么我們就忽略當(dāng)前的像素點(diǎn)，這樣就實(shí)現(xiàn)了基于深度的遮擋效果。

如上圖所示，我們使用藍(lán)色表示近處的深度，藍(lán)色越深表示一個(gè)物體靠近攝像頭越近，它的的深度值就越低。當(dāng)我們啟用深度表示時(shí)，就可以看到桌子的深度比椅子所在的位置深度低，所以桌子就能遮擋住椅子。

此外，使用深度信息，還可以做出一系列擬真的特殊效果。例如更加逼真的物理反彈飛濺，避開(kāi)障礙物的優(yōu)選路徑規(guī)劃，或完美貼合在凹凸不平的表面。也可以近一步運(yùn)用粒子特效，模擬一些很難用其它傳統(tǒng)的渲染技術(shù)達(dá)到真實(shí)感的自然現(xiàn)象，如火花、落葉、下雨、下雪等。

知名的社交應(yīng)用 Snap 公司的設(shè)計(jì)師和工程師就將 Depth 的多項(xiàng)特性巧妙地融合在一起，開(kāi)發(fā)出了一套與實(shí)景完美結(jié)合的  Snapchat 濾鏡，包括跳舞熱狗（Dancing Hotdog ）以及 Android 版獨(dú)有的海底世界（Undersea World）。此外，Snapchat 也在濾鏡開(kāi)發(fā)工具中，整合了ARCore Depth API ，濾鏡創(chuàng)作者只需在開(kāi)發(fā)工具中下載 ARCore Depth API 模版，就能開(kāi)發(fā)出基于深度，更沉浸更真實(shí)的體驗(yàn)。因?yàn)殚_(kāi)發(fā)過(guò)程大大簡(jiǎn)化，濾鏡創(chuàng)作者們可以更輕松地應(yīng)用高級(jí)的深度功能。

△ Snapchat 濾鏡的真實(shí)體驗(yàn)感

除了移動(dòng)游戲與社交軟件上的應(yīng)用之外，深度 API(Depth API) 還在很多工具類(lèi)應(yīng)用上大放光彩。

例如，提供遠(yuǎn)程技術(shù)解決方案的應(yīng)用程序 TeamViewer Pilot 在視頻會(huì)話中加入 AR 注釋?zhuān)@都多虧了 Depth API 幫助程序更好地理解環(huán)境及物件，世界各地的專(zhuān)家足不出戶(hù)，就可以準(zhǔn)確使用實(shí)時(shí) 3D AR 注釋為用戶(hù)提供遠(yuǎn)程技術(shù)支持。

△ TeamViewer Pilot 應(yīng)用中的 3D 注釋功能讓專(zhuān)家遠(yuǎn)程精準(zhǔn)標(biāo)記出重要細(xì)節(jié)

三星的快速測(cè)量工具 Quick Measure 也在技術(shù)支持下不斷迭代 ，目前 Quick Measure 就可以在三星 Galaxy Note10+ 和 Galaxy S20 Ultra 的設(shè)備上應(yīng)用 ARCore Depth API ,為用戶(hù)提供更精確的測(cè)量功能了。

三星相機(jī)技術(shù)項(xiàng)目經(jīng)理 Soowan Kim 認(rèn)為 Depth API 大有可為：“Depth 會(huì)從多個(gè)層面豐富用戶(hù)的 AR 體驗(yàn)。它將減少掃描時(shí)間，加快平面檢測(cè)速度，即使是紋理不清晰的平面也能快速檢測(cè)。

△ Quick Measure 實(shí)現(xiàn)更精準(zhǔn)測(cè)量

持久云錨點(diǎn) (Persistent Cloud Anchors) - 讓 AR 物體永存的秘密

ARCore 云錨點(diǎn)，通過(guò) Google 的云服務(wù)托管錨點(diǎn)，可以讓二個(gè)人甚至是二百人在同一個(gè)虛擬世界共享與互動(dòng)。全新的持久云錨點(diǎn)則加強(qiáng)了這個(gè)功能，讓用戶(hù)將虛擬內(nèi)容“儲(chǔ)存”到任意現(xiàn)實(shí)場(chǎng)景中，將了文字、影像信息、或3D人物虛擬內(nèi)容的和現(xiàn)實(shí)世界地點(diǎn)關(guān)聯(lián)起來(lái)，永久保存共享。

△ SJ Labs 通過(guò) AR 標(biāo)記協(xié)助指引旅客們?cè)谒沟赂鐮柲χ醒胲?chē)站內(nèi)行進(jìn)

這一技術(shù)，讓許多人以城市真實(shí)環(huán)境互動(dòng)的沉浸 AR 應(yīng)用及游戲得以實(shí)現(xiàn)。例如 MARK，是由 創(chuàng)夢(mèng)天地和 ????Sybo 開(kāi)發(fā)的一款A(yù)R社交應(yīng)用，可以讓你通過(guò)智能手機(jī)，在現(xiàn)實(shí)世界中和朋友、粉絲共同發(fā)現(xiàn)、共同創(chuàng)作的和現(xiàn)實(shí)場(chǎng)景完美融合的AR涂鴉。運(yùn)用 AR 和地點(diǎn)場(chǎng)景完美整合的特性，你還可以用來(lái)裝飾房屋、進(jìn)行多人大范圍的尋寶游戲、甚至跨城市的慈善募款等。

△ MARK 應(yīng)用中與粉絲好友一起 AR 涂鴉

此外，沉浸式內(nèi)容工作室 Phoria 與 Google 、Netflix、WMF和一加合作，推出大自然主題的移動(dòng)端 AR 互動(dòng)應(yīng)用：《Rewild》（中文直譯為：重歸荒野）。首個(gè)試播集名為《Frozen》，是系列四部曲的第一部。你在體驗(yàn)過(guò)程中，需要先用手機(jī)掃描周?chē)h(huán)境，通過(guò)掃描和探索來(lái)發(fā)覺(jué)故事中的 AR內(nèi)容。通過(guò)該應(yīng)用，你可以利用周?chē)目臻g與 AR 進(jìn)行互動(dòng)，好像親眼目睹地球的浩劫與救贖，效果震撼人心。

△ REWILD 應(yīng)用中可身臨其境探索宇宙

接軌5G - AR賦能 5G 更多沉浸體驗(yàn)

當(dāng)我們討論行動(dòng)互聯(lián)網(wǎng)的未來(lái), 相信“5G” 是那個(gè)最重要的關(guān)鍵詞。

5G 賦能了巨量、穩(wěn)定、且快速的資料互聯(lián), 無(wú)論是對(duì)用戶(hù)，或是整個(gè)IoT生態(tài)圈，都將帶來(lái)革命性的新機(jī)會(huì), 也為AR的應(yīng)用帶來(lái)前所未有的可能。

Google ARCore 團(tuán)隊(duì)也和許多運(yùn)營(yíng)商合作嘗試了AR 加 5G 的全新應(yīng)用。例如，在南韓，這個(gè)率先邁入 5G 全面商用化的國(guó)家，LG Uplus 在首爾地鐵站，建立了 AR 藝術(shù)長(zhǎng)廊以及展示車(chē)廂。雖然地鐵站一向都是人數(shù)多、信號(hào)差的地方，但是有了 5G 的加持，用戶(hù)可以直接通過(guò)手機(jī)觀看韓流明顯或是瑜伽教練的真人全息影像，也可以順暢體驗(yàn)復(fù)雜的 3D 人物舞蹈。

此外，Google 也與SK Telecom，及文化遺產(chǎn)管理局合作，創(chuàng)建了全球第一個(gè)5G 賦能的AR增強(qiáng)現(xiàn)實(shí)文旅體驗(yàn)，作為 5G 網(wǎng)絡(luò)服務(wù)示范。通過(guò)ARCore 賦能，用戶(hù)可以身臨其境的了解昌德宮的歷史故事，生動(dòng)地看到昌德宮的金泉橋、仁政殿、熙政堂等景點(diǎn)。之前因文化遺產(chǎn)保護(hù)而限制入內(nèi)的地方也得以公開(kāi)。 此外，用戶(hù)還可以與AR中的王和王后一起拍攝 AR 照，或進(jìn)行 AR 射箭、AR 放風(fēng)箏等豐富多彩的 AR 體驗(yàn)。SK 電信品牌營(yíng)銷(xiāo)集團(tuán)負(fù)責(zé)人表示：“今后將利用 5G 技術(shù)，推出更多能夠?yàn)樯鐣?huì)做出貢獻(xiàn)的活動(dòng)”。 

AR 作為一種視覺(jué)沉浸式媒介，持續(xù)吸引著社會(huì)各界的廣泛關(guān)注。Google 作為技術(shù)先驅(qū),正積極地與全球開(kāi)發(fā)者合作，用大放異彩的 ARCore 帶來(lái)一個(gè)又一個(gè)驚喜。這種變革式的新體驗(yàn)，在不斷發(fā)展中已有長(zhǎng)足進(jìn)步，但想必它還有更為廣闊的遠(yuǎn)景。未來(lái)，它將如何予力社會(huì)與個(gè)人，改變你我的生活呢，讓我們拭目以待。

 想馬上開(kāi)始實(shí)做你的第一個(gè)AR 應(yīng)用卻沒(méi)有基礎(chǔ)？ Google 與網(wǎng)易有道在中國(guó)大學(xué) MOOC（慕課）合作，上線 ARCore 技術(shù)零基礎(chǔ)免費(fèi)線上課程，助力開(kāi)發(fā)者學(xué)習(xí)成長(zhǎng)。你可以直接到慕課官網(wǎng)搜索 “Google ARCore 入門(mén)開(kāi)發(fā)課程“, 馬上開(kāi)始學(xué)習(xí)！

正在開(kāi)發(fā)AR app 但總是覺(jué)得虛擬物件效果不夠真實(shí)？你可以通過(guò)Google的示范應(yīng)用ARCore Depth Lab 馬上體驗(yàn) ARCore 深度 API 的功能。這個(gè)應(yīng)用已經(jīng)上架 Google Play，并且代碼開(kāi)源，在 Github 中直接搜尋 arcore-depth-lab，相關(guān)的代碼、論文、簡(jiǎn)介小視頻都可以免費(fèi)下載。