王啟文Leon是 Google AR 團(tuán)隊(duì)的軟件工程總監(jiān)，主管ARCore 的機(jī)器感知算法項(xiàng)目，如運(yùn)動(dòng)跟蹤和深度感知等技術(shù)的開發(fā)。加入 Google 之前，他在 Microsoft, Facebook 和 Pinterest 先后擔(dān)任過工程經(jīng)理。Leon擁有麻省理工學(xué)院計(jì)算機(jī)科學(xué)的學(xué)士和碩士學(xué)位。

首先，王啟文強(qiáng)調(diào)了AR作為一種視覺沉浸式媒介，能夠吸引人們的注意力，是一種體驗(yàn)信息的新方式，并最終推動(dòng)用戶的行動(dòng)。而谷歌發(fā)布于2018年的ARCore是AR開發(fā)者平臺(tái)，提供了簡(jiǎn)單而強(qiáng)大的工具，為Android和iOS用戶創(chuàng)造有效的AR體驗(yàn)。目前已被應(yīng)用在7億臺(tái)設(shè)備和成千上萬(wàn)款app上，并且已獲得一些更新。

其中，王啟文介紹了包括美圖、滴滴、有道少兒詞典的中國(guó)開發(fā)者如何使用ARCore提高產(chǎn)品的性能和體驗(yàn)。

美圖公司利用ARCore的增強(qiáng)面孔API（Augmented Faces API）構(gòu)建了100多個(gè)自拍濾鏡，就是現(xiàn)在我們?cè)贐eautyPlus上可以體驗(yàn)到的AR特效，用戶可以拍攝照片和視頻與朋友分享。

增強(qiáng)面孔API（Augmented Faces API）從2D圖像中生成3D網(wǎng)格，可追蹤嘴部動(dòng)作、眨眼、點(diǎn)頭和一些復(fù)雜的細(xì)節(jié)。

滴滴的ARCore導(dǎo)航功能幫助乘客在火車站、商場(chǎng)和機(jī)場(chǎng)等大型公共區(qū)域找到司機(jī)。滴滴地圖中加入了AR路標(biāo)，15%的用戶使用AR來引導(dǎo)他們找到訂單司機(jī)，80%的用戶給出好評(píng)。

有道少兒詞典應(yīng)用使用AR來幫助孩子們以一種有趣和吸引人的方式學(xué)習(xí)新單詞。該應(yīng)用將“三角龍Triceratops ”等單詞與其3D模型在AR中配對(duì)，父母可以把AR畫面錄制或拍照，方便日后成為孩子們可參考的學(xué)習(xí)材料。

另外，ARCore的新增功能如下：

迅速放置API（Instant Placement API）

一般來說，用戶在空間中放置過ar對(duì)象時(shí)，需要先用手機(jī)掃描周圍的環(huán)境，完成3D表面檢測(cè)。但這個(gè)過程將耗費(fèi)一些時(shí)間和精力。實(shí)際上，在大多數(shù)情況下，我們不需要知道AR對(duì)象確切的3D位置也可以正確地呈現(xiàn)它。

借助迅速放置API和幾行代碼，開發(fā)人員可讓用戶將AR對(duì)象錨定到2D圖像中，而不需要確切知道AR對(duì)象具體的3D位置。如果需要更精確的比例，可以針對(duì)3D位置進(jìn)行三角測(cè)量。

景深應(yīng)用API（Depth API）

景深A(yù)PI可以從單個(gè)RGB相機(jī)生成地圖。原理是通過不同角度拍攝多張圖像，并在移動(dòng)手機(jī)時(shí)進(jìn)行比較，以估計(jì)到每個(gè)像素的距離。盡管只有一個(gè)RGB相機(jī)，添加了景深傳感器（如飛行時(shí)間傳感器），會(huì)讓景深地圖效果更好。

景深可以通過多種方式增強(qiáng)AR真實(shí)感，“遮擋”是其中一種景深應(yīng)用，即隱藏?cái)?shù)字物體在現(xiàn)實(shí)世界中被遮擋的部分，從而使它們看上去像是在現(xiàn)實(shí)場(chǎng)景中真實(shí)存在。

另一種是“表面交互”，即在設(shè)備中的世界里，添加3D層面的計(jì)算，可以實(shí)現(xiàn)與現(xiàn)實(shí)物品表面的交互，比如創(chuàng)意AR對(duì)象，并在其表面設(shè)計(jì)反彈和飛濺的動(dòng)作。此功能可以用于開發(fā)新的交互式游戲機(jī)制，使玩家能夠躲在真實(shí)物體的后面。Snapchat的Dancing Hotdog和Undersea World Lens效果都使用了景深。

Persistent Cloud Anchors API

Cloud Anchors API可用于與多個(gè)用戶共享ar對(duì)象。在相同物理空間中的不同位置同時(shí)查看這些對(duì)象并與之交互，AR內(nèi)容也因此可使用更長(zhǎng)時(shí)間。

這相當(dāng)于一個(gè)“保存按鈕”，人們可以基于相同的AR體驗(yàn)進(jìn)行創(chuàng)作并進(jìn)行反復(fù)修改。比如，Sybo和iDreamSky的Mark應(yīng)用采用了該功能，人們可以在現(xiàn)實(shí)世界中與朋友一起創(chuàng)建、發(fā)現(xiàn)和共享ar藝術(shù)。