ARCore 是 Google 為開(kāi)發(fā)者構(gòu)建的增強(qiáng)現(xiàn)實(shí)平臺(tái),如何讓虛擬物體和真實(shí)世界完美融合,這一直是 Google ARCore 技術(shù)所探討的問(wèn)題。眾所周知,當(dāng)虛擬物體附近有現(xiàn)實(shí)物體時(shí),有可能會(huì)出現(xiàn)互相交融、重疊等效果,大大地影響了用戶體驗(yàn)。這一直是 AR 技術(shù)的難點(diǎn),也是 Google 不懈努力的方向。今天 ARCore 給出了這一難題的答案。
Depth API 正式發(fā)布
2019 年底,Google 曾發(fā)布過(guò) ARCore Depth API(深度 API)的預(yù)覽,為開(kāi)發(fā)者們帶來(lái)解決技術(shù)難題的希望,開(kāi)發(fā)者將憑借 Google 動(dòng)態(tài)深度算法和一顆 RGB 攝像頭就可創(chuàng)建出深度圖,我們挑選了部分合作伙伴進(jìn)行早期測(cè)試,探索在不同領(lǐng)域上 Depth API 如何更好發(fā)揮作用,創(chuàng)造更自然真實(shí)的增強(qiáng)現(xiàn)實(shí)體驗(yàn)。
經(jīng)過(guò)數(shù)月的探索與實(shí)踐,現(xiàn)在我們宣布 Depth API 在 ARCore 1.18 正式發(fā)布,同步支持 Android 和 Unity 平臺(tái),全球數(shù)億臺(tái)支持 ARCore 的 Android 設(shè)備將支持 Depth API 。
△ Depth API 無(wú)需特定硬件支持就可生成深度圖,解鎖更多增強(qiáng)現(xiàn)實(shí)能力,比如“遮擋”
Depth API 到底厲害在哪里呢?這里我們要?jiǎng)澮幌轮攸c(diǎn):Depth API 的一項(xiàng)關(guān)鍵功能就是“遮擋”:虛擬物體能夠準(zhǔn)確地出現(xiàn)在現(xiàn)實(shí)物體后面,與場(chǎng)景真正融合在一起。此前沒(méi)有遮擋功能,虛擬物體容易“橫空出世”,更像是現(xiàn)實(shí)世界中的“貼圖”,讓人瞬間出戲。
△ 左邊沒(méi)有遮擋功能的“喵星人”在空間里穿越,缺乏真實(shí)感,右側(cè)開(kāi)啟遮擋功能的“喵星人”則逼真地藏在了遮擋物后面。
而有了 Depth API,虛擬物體可以在現(xiàn)實(shí)世界找到自己的位置,和環(huán)境良好互動(dòng),讓我們一起看一些優(yōu)秀的使用案例。
“遮擋”掉不真實(shí) 讓精彩上線
開(kāi)發(fā)了 Five Nights at Freddy’s AR:Special Delivery (玩具熊的五夜后宮 AR)這款游戲的工作室 IIIumix 運(yùn)用 Depth API 的遮擋功能,讓虛擬的游戲角色隱藏在真實(shí)環(huán)境物體之后,從你的手機(jī)里的增強(qiáng)現(xiàn)實(shí)畫面里突然跳出,現(xiàn)場(chǎng)感十足,刺激又好玩。
△ 玩具熊的五夜后宮 AR 游戲畫面
除了遮擋這個(gè)核心功能,ARCore Depth API 為開(kāi)發(fā)者解鎖了更多玩法和互動(dòng)形式來(lái)打造更逼真的 AR 體驗(yàn)。ARCore 深度實(shí)驗(yàn)室更是多方位的尋找靈感,例如逼真的的物理體驗(yàn),物體表面的碰撞交互以及物體在環(huán)境內(nèi)橫越縱游等。開(kāi)發(fā)者們?nèi)绻信d趣,可直接通過(guò)開(kāi)源的 GitHub 項(xiàng)目來(lái)學(xué)習(xí)和構(gòu)建。
GitHub 項(xiàng)目
△ ARCore 深度實(shí)驗(yàn)室
讓開(kāi)發(fā)者的創(chuàng)意“深”不可測(cè)
Snap 公司的設(shè)計(jì)師和工程師將 Depth 的多項(xiàng)特性巧妙地融合在一起,開(kāi)發(fā)出了一套超乎想象的 Snapchat 濾鏡,包括跳舞熱狗(Dancing Hotdog )以及 Android 版獨(dú)有的海底世界(Undersea World),快來(lái)感受一下吧。
△ 了解深度信息是如何提升 Snapchat 濾鏡的真實(shí)體驗(yàn)感
Snapchat 的濾鏡創(chuàng)作者只需在開(kāi)發(fā)工具中下載 ARCore Depth API 模版,就能在 ARCore 支持設(shè)備上開(kāi)發(fā)出基于深度,更沉浸更真實(shí)的體驗(yàn)。Snap 公司的研究工程經(jīng)理 Sam Hare 難掩興奮:“我們預(yù)計(jì)即將會(huì)有很多讓開(kāi)發(fā)者興奮,讓用戶喜愛(ài)的各式深度應(yīng)用場(chǎng)景誕生。這個(gè)簡(jiǎn)單的系統(tǒng)集成簡(jiǎn)化了開(kāi)發(fā)過(guò)程,讓濾鏡工作室的開(kāi)發(fā)人員可以更輕松地應(yīng)用高級(jí)的深度功能”。
Google Creative Lab(谷歌創(chuàng)新實(shí)驗(yàn)室)打造的另一款實(shí)驗(yàn)性 Android 應(yīng)用程序 Lines of Play ,也是將 Depth API 的遮擋功能與碰撞相結(jié)合的精彩案例:這款應(yīng)用將多米諾骨牌的藝術(shù)靈感與 AR 融合,借助深度信息,倒塌的多米諾骨牌會(huì)與房間中的墻壁、家具產(chǎn)生自然而真實(shí)的互動(dòng),遮擋與碰撞進(jìn)一步凸顯出技術(shù)的魅力。
△ Lines of Play 中多米諾骨牌連續(xù)碰撞、倒下,最后倒在真實(shí)的墻壁上
為實(shí)用類工具帶來(lái)“深”遠(yuǎn)影響
除了移動(dòng)游戲與自我表達(dá)類應(yīng)用之外,深度信息還在很多工具類應(yīng)用上大放光彩。例如,提供遠(yuǎn)程技術(shù)解決方案的應(yīng)用程序 TeamViewer Pilot 允許在視頻會(huì)話中加入 AR 注釋,這都多虧了 Depth API 幫助程序更好地理解周圍環(huán)境,世界各地的專家足不出戶,就可以準(zhǔn)確使用實(shí)時(shí) 3D AR 注釋為用戶提供遠(yuǎn)程技術(shù)支持。
△ TeamViewer Pilot 應(yīng)用中的 3D 注釋功能讓專家遠(yuǎn)程精準(zhǔn)標(biāo)記出重要細(xì)節(jié)
預(yù)計(jì)在 2020 年底,還會(huì)有更多獨(dú)特的深度 AR 體驗(yàn)上線。例如,Reality Crisis 的一款新游戲 SKATRIX,它可以將你的家變成一個(gè)數(shù)字滑板公園,使用 ForwARdgames 的 SPLASHAAR,你可以用手機(jī)里的 AR 蝸牛和朋友在家比拼“速度與激情”。
△ SKATRIX 和 SPLASHAAR 使用 ARCore 實(shí)現(xiàn)物體表面的交互以及物體在環(huán)境內(nèi)橫越縱游
雖然深度傳感器如 TOF 傳感器并非 Depth API 的必需配置,但如果配備 ToF 將讓用戶體驗(yàn)的更上一層樓。三星相機(jī)技術(shù)項(xiàng)目經(jīng)理 Soowan Kim 非常期待 Depth API 與 ToF 在未來(lái)的組合擦出創(chuàng)造力的火花:“Depth 會(huì)從多個(gè)層面豐富用戶的 AR 體驗(yàn)。它將減少掃描時(shí)間,加快平面檢測(cè)速度,即使是紋理不清晰的平面也能快速檢測(cè)。這將有助于創(chuàng)造沉浸式的無(wú)縫體驗(yàn),讓用戶更能頻繁和容易地使用 AR 應(yīng)用。”
在接下來(lái)的幾個(gè)月中,三星將升級(jí)快速測(cè)量工具 Quick Measure ,這樣 Quick Measure 就可以在三星 Galaxy Note10+ 和 Galaxy S20 Ultra 的設(shè)備上應(yīng)用 ARCore Depth API 提供更好的體驗(yàn)了。
△ Quick Measure 實(shí)現(xiàn)更精準(zhǔn)測(cè)量
看到這里,你是不是躍躍欲試?yán)??我們期待更多中?guó)開(kāi)發(fā)者使用 Depth API 的精彩創(chuàng)意。ARCore 1.18 在國(guó)內(nèi)各大應(yīng)用市場(chǎng)已正式上線,請(qǐng)下載安裝包或訪問(wèn) ARCore 官方網(wǎng)站深入了解。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息