作者/沉浸感 劉芳平（本文轉(zhuǎn)載自沉浸感） 一年一度的網(wǎng)購狂歡節(jié)“雙十一”剛剛過去，這不僅僅是購物者的盛宴，也是各種新技術(shù)登場的時刻，其中就包括Buy+?VR購物。 有很多人喜歡網(wǎng)購體驗，端著手機、電腦、Pad一頁頁瀏覽商品，但也有許多人懷念線下購物，那種和姐妹一起逛街、聊天，拿起一件商品查看標簽和價格的感覺。VR購物或許就可以在這兩種體驗中找到一個中間值，讓你同時擁有網(wǎng)購和實體店的體驗。 Buy+于11月1日在手機淘寶上線，一個可以用VR手機盒子體驗的購物應(yīng)用，帶你穿越到世界各地的商場購物，遇到喜歡的還可以直接線上下單。 除了這個手機版，此前阿里還公布過通過3D建模打造的HTC Vive VR購物體驗。那么，阿里巴巴是怎么做VR購物的？VR購物會成為電商的未來嗎？此次公開課我們邀請到了Buy+負責(zé)人胡曉航，為你解答所有這些疑問。

胡曉航簡介

胡曉航，Buy+負責(zé)人，負責(zé)VR業(yè)務(wù)的探索。手淘無線技術(shù)專家，虛擬互動的負責(zé)人，給雙十一提供各種好玩的虛擬互動。 以下內(nèi)容整理自胡曉航在硬創(chuàng)公開課上的分享： 大家好！我是來至阿里巴巴的宋五，目前負責(zé)Buy+和造物神計劃。今天從三個維度看BUY+，一是數(shù)據(jù)、二是愿景、三是技術(shù)和產(chǎn)品。

Buy+的數(shù)據(jù)

首先簡單過一下可以公開的數(shù)據(jù)。 這次的Buy+其實是在11月11日上線的，已經(jīng)完成了整個購物鏈路，而不是停留在修demo的階段了。我們還是想去嘗試一下用戶對VR購物持有怎樣的態(tài)度。 從以上數(shù)據(jù)看出，大家對新鮮事物還是有興趣去體驗一下的。特別值得一提的是Buy+用戶的年齡分布，還是以25-29歲的年輕人居多。以后VR的產(chǎn)品可能瞄準的也是這群人。 這次整個Buy+完成了三個國家七個場景的購物，商品數(shù)的話不多就百級別。想分享的故事就是在家就可以隨時隨地買遍全球。 Buy+的愿景 我們對Buy+的定義是探索極致的購物體驗，一方面，通過VR技術(shù)重建購物的環(huán)境和商品，利用合理的交互給大家提供比較真實的購物體驗；另一方面，通過每次發(fā)布的產(chǎn)品去促進整個VR市場的發(fā)展，在用戶端對VR有更多的認知。所以這方面投入了很多的心血。 目前已經(jīng)嘗試了PC的Buy+，在造物節(jié)的時候用HTC的VIVE做了兩個場景，一個是買包的一個是買內(nèi)衣的，體驗的效果還不錯，不過那時候只是一個demo，沒有完成全鏈路。 這次的Buy+我們已經(jīng)把全鏈路做通了，用戶可以在手機淘寶的APP上完成整個購物鏈路。 我們希望用簡單的方式，讓普通用戶有機會體驗到VR的東西。當(dāng)然我們未來還會嘗試通過其他的手段，比如Detail AR把東西投影到現(xiàn)實的場景中看他的大小、形狀、顏色。還有 Detail 3D去展現(xiàn)全方位的商品詳情。我們還在嘗試用VR構(gòu)建線下的店鋪，讓線上用戶對商家更有信任感。 通過技術(shù)看Buy+ 下面聊一聊大家比較關(guān)心的技術(shù)層面和產(chǎn)品層面的東西。我會通過以下四點展開來說：

一、為什么是全景視頻+手機淘寶+Cardboard?

首先，為什么用全景視頻和Cardboard，并且在手機淘寶上來呈現(xiàn)。 因為現(xiàn)在Vive的方案是比較重的，除了VR設(shè)備還要買一臺PC機，做出來的方案很難有大量的用戶能夠體驗到。這樣受眾面非常窄，而且我們在造物節(jié)上做過一版Vive的體驗。這次我們的考慮是讓更多的消費者體驗到VR，所以我們選擇在移動端來實現(xiàn)這次的Buy+。 另外，考慮到客戶端普及度的問題，我們沒有用獨立的App去做，而是在手淘上。這樣可以讓最大的用戶群體驗到VR購物，不需要下載用戶不認識的新App。 由于我們希望更廣泛的用戶體驗到VR購物，這也給我們的技術(shù)實現(xiàn)帶來了很大困難。比如我們選擇在手機淘寶App上實現(xiàn)，那么如果用了一個非常大游戲引擎，承載這些內(nèi)容和交互，那會把手機淘寶App變得非常大。 為什么是全景視頻？因為如果全用3D方案，建模起來需要時間成本；采用Cardboard而沒有用一體機也是從成本的角度考慮。另外，我們送出了20萬Cardboard。

二、場景建模

在全景視頻+手淘+Cardboard 的情況下，場景建模我們選擇了全景視頻，因為成本和時間的考慮。 但也出現(xiàn)了一些困難，因為選擇了全景視頻后，環(huán)境的清晰度下降了，空間移動也變得困難。 這兩塊在接下來的商品建模和交互方式方面我也會講到。

三、商品建模

商品建模方面，之所以有沒用3D模型，是因為受到了交互方式的局限。Cardboard搭配手機，即使是完完整整的3D模型，交互方式也無法發(fā)揮3D模型應(yīng)有的作用。比如，把3D模型拿過來，近距離地看，走動，都不行。所以這些用的是360度環(huán)拍的照片，每隔一定角度我們?nèi)∫粡堈掌? 有一個事情工作量非常大，就是在場景中旋轉(zhuǎn)的照片需要把背景變成透明的，起初的時候覺得比較簡單，通過綠幕拍完直接摳掉就好了，但實際情況并沒有這么理想。 所以這部分投入了非常大的工作量。

四、交互方式

交互方式上，主要只有一個交互方式，就是盯住觸發(fā)按鈕。很多人發(fā)現(xiàn)的是其實Cardboard上點擊的按鍵也是可以用的，但我們沒有宣傳。對于新事物，教用戶更多的新交互方式也是有教育成本和風(fēng)險的，一次教太多，用戶反而可能不知所措。 因為已經(jīng)是基于手機+全景視頻了，所以交互上沒有特別好的方式讓你體驗到PC上Vive的體驗，沒法拿著商品，也沒法走動。 Buy+里標注的商品 不知道大家注意到一個細節(jié)沒有，采用了全景視頻以后，停下來商品總是能標定得非常準確。如果在純3D的模型里這是非常簡單的，但現(xiàn)在是一個視頻，要每時每刻都知道物品在哪里，是非常有難度的。 假設(shè)一個視頻每秒有60幀，是60張圖片，如果用手工一張一張去標商品在哪里，這個工作量肯定是接受不了的。 最后我們嘗試了一些方案，碰到過的“坑”這里分享一下：

1、圖片識別

作為技術(shù)人員，我們首先想到的是做圖片識別。有一個標定的圖片，然后跑算法，一幀一幀去算，看每張圖片里是不是有你想要的物品。 但是這個方案經(jīng)過討論以后很快就被否定，也沒有去嘗試，因為走到每個位置時看到的物品的面都不一樣，這給圖像識別帶來很大難度。而且很多商品在場景中看上去并不是那么大，對圖像識別的要求實在太高，按照目前的技術(shù)無法實現(xiàn)。

2、顏色識別

于是我們想到了一個辦法，把整個全景視頻拍兩遍，第一遍正常拍，第二遍在有商品的位置用一個有特殊顏色的物品代替。然后用顏色的識別來取出商品相應(yīng)的位置； 這里有兩個難點，首先兩次拍攝的速度必須是一樣的，另外需要把場景中特殊顏色的位置全部用圖像算法摳出來。 我們真實嘗試時發(fā)現(xiàn)了兩個問題，一是如果代替物很小，在整個圖片中的像素表現(xiàn)是不夠的；二是很容易被其它顏色干擾，比如燈光，每個商店的燈光不一樣，而且環(huán)境中可能會有與物體顏色一樣的東西。經(jīng)過多次嘗試后發(fā)現(xiàn)，這個方案也是不可行的。因為我們對現(xiàn)場的燈光跟環(huán)境基本沒有控制力。

3、轉(zhuǎn)換坐標系

這時我們又嘗試了另外一個方案，我們開始拍的時候把視頻的第一幀拿出來，所有物體離攝像頭的距離都測出來。然后根據(jù)攝像頭的勻速運動判斷商品下一幀會在什么位置。 這個方案理論上蠻通的，但實現(xiàn)的時候也遇到很大技術(shù)困難，首先是勻速運動的問題，這個用軌道車可以解決。第二點，整個坐標系轉(zhuǎn)化的問題，測量時一個很小的誤差會導(dǎo)致坐標系轉(zhuǎn)化（平面坐標轉(zhuǎn)化為三維坐標）產(chǎn)生很大的誤差。還有，每個攝像頭的參數(shù)不一樣，這導(dǎo)致每次坐標系轉(zhuǎn)化的參數(shù)都要重新通過數(shù)據(jù)去訓(xùn)練。 我們嘗試去訓(xùn)練Insta 360的一個設(shè)備，最后訓(xùn)練完拿到坐標系的參數(shù)，誤差還可以。但是后來嘗試其它攝像頭，發(fā)現(xiàn)這個參數(shù)是完全不可用的。到此我們的第三種方案也基本可以認為是不可行的。

空間移動方案

這次我們完成了兩個方向的全自由移動，原理也是蠻簡單的，我們把一個視頻拍完以后，轉(zhuǎn)成一個倒播的視頻。只需要在正向走動的時候播正向的視頻。 3D商品的展示和交互體系 3D商品的展現(xiàn)，我們選擇了一個蠻實用的方案，就是每個物品環(huán)拍一圈，然后每隔一定度數(shù)取一張照片，把它形成一個連播的文件。用戶進來的時候，就默認先播一圈，但這里也有蠻坑的事情。如果商品和背景需要融合得很好的話，需要把背景摳成透明的。我們做了幾百個商品，每個商品都有很多張圖片，基本上屬于不能完成的工作量。 我們通過綠幕的手段，結(jié)合一些圖片提取的方法讓效率變得很高，最終把這件事情完成。 剛才提到功能上線在手淘，像這種超級app對包的大小非常敏感，導(dǎo)致我們沒法用一些現(xiàn)成的游戲引擎。里面所有UI和交互都是我們自己用Open GL研發(fā)的。 我們構(gòu)建了自己的坐標體驗，事件的調(diào)度體系，UI復(fù)用還有粒子系統(tǒng)，動畫系統(tǒng)和事件檢測機制。

Buy+項目的開發(fā)投入和內(nèi)容制作

整個項目做了3個月左右，我們做了所有的開發(fā)、嘗試，在3個國家取了7個場景。最后把場景和Buy+的產(chǎn)品融合起來。 各方都是并行開始的，在還沒有開發(fā)完產(chǎn)品的時候通過討論和技術(shù)的實現(xiàn)就已經(jīng)定了內(nèi)容的方案，內(nèi)容組的同事就已經(jīng)出發(fā)去拍攝了，開發(fā)組的同事還在開發(fā)，需求偶爾還會有一些變更。 可以想像，在這種情況下做出的內(nèi)容要和系統(tǒng)完全匹配的難度是非常高的。 這里不得不提一些拍攝內(nèi)容的注意點，現(xiàn)在市面上拍攝有兩個設(shè)備用得比較多，一個是GoPro一個是360，使用場景也不一樣。GoPro的貨柜間距要求會大一點，大概1點多米，360的話間距小一點，每邊是0.6-0.8米的樣子。 比如拍日本藥妝店，貨柜放的非常近，因為安全距離的問題很難拍，所以用了360的攝像頭，當(dāng)然360的攝像頭肯定沒有GoPro那么好。 還有拍攝VR視頻時建議能用靜止就靜止，如果一定要移動，就穩(wěn)穩(wěn)勻速移動，不然有轉(zhuǎn)彎或不是勻速的話，戴上去一分鐘大家就會暈得要死。 這就是選擇手機上做VR購物引起的問題，現(xiàn)在手機上沒有好技術(shù)來實現(xiàn)空間移動。 由于安全距離的問題，對小商品的細節(jié)描述會遇到問題，比如貨柜上的手表會看不清楚。 最后我們用子場景來解決，也就是走到一個區(qū)域時，我們讓你進入另外一個場景，這個場景是全景圖片，這個時候商品細節(jié)表現(xiàn)會好一些。 剛才一些注意點好多剛開始定方案時是沒想到的，到實際拍時，技術(shù)的同學(xué)跟過去才發(fā)現(xiàn)這些問題，也導(dǎo)致了產(chǎn)品上非常多的一些反復(fù)。 最后我們大概投入了7、8個市場運營和技術(shù)人員完成內(nèi)容拍攝和后期制作，投入了大概20個開發(fā)人員把底層產(chǎn)品開發(fā)完畢，可以想像過程有多少緊張。

本地開發(fā)的適配問題

除了工作量跟沒有經(jīng)驗可以借鑒外，其實還有一個蠻重要的問題，這次所有開發(fā)用的是原生Native，而不是H5的方案。由于雙十一所有的產(chǎn)品都要做一程度的保密，所以沒辦法做大規(guī)?；叶闰炞C。因為按以往的開發(fā)慣例和經(jīng)驗，Native的東西上線需要做一些線上的灰度，讓線上一些真實的用戶來發(fā)現(xiàn)一些隱藏的問題。 Buy+在手淘里的入口 既然不能去做線上灰度，如何保障線上技術(shù)穩(wěn)定呢？我們做了幾個方面的事情，首先，我們適配了目前70幾款主流的設(shè)備，保證其在這些設(shè)備上的運行是沒有問題的。 并且每一次改版都需要重新去適配，因為也不知道改版對兼容性會造成什么樣的問題，特別是Android，它有4.X、5.X、6.X，甚至7.X的系統(tǒng)，在每個版上的表現(xiàn)是不一樣的，適配問題上真的是投入了巨大的人力物力。 另外，我們做了很多的降級預(yù)案，比如我們把性能比較差的機器直接列入了降級名單，讓它看全景的圖片，而不是像現(xiàn)在看有標定又有移動的全景視頻方案。 當(dāng)然，所有的機型都可以加白名單和黑名單，也準備了很多降級開關(guān)，比如萬一崩潰比較多，而且是針對某些機型的話，也可以順手將這些機型降成全景圖片，甚至屏蔽其玩Buy+。 聽起來加白名單黑名單這件事很簡單，其實并不是這樣。特別針對Android來說，不可能將市面上所有機器都做一輪適配，行的加白名單，不行的黑名單，這個事情是幾乎做不到的。白名單的事每年都在提，但根本沒多少用處，因為不可能將所有機器都列出來。 唯一可能采用的方案就是黑名單，但也有問題，就是只能發(fā)現(xiàn)一款加入一款，這樣很難確保線上不會出現(xiàn)大面積崩潰。這次我們基本上把Android 4.X以下的機器都降級了。Android上還有部分機器陀螺儀不行，這部分也全部降級了。 iOS也不是完全沒有問題，如果操作系統(tǒng)升上10.0時也會遇到陀螺儀調(diào)不同接口返回的情況不一樣。 總之，如果采用Native的方案，要保證線上盡量少的崩潰，需要考慮的問題是非常多的。其實到上線的最后一刻，我們還是沒有信心說這個東西上去完全沒有問題，不會出現(xiàn)大面積崩潰，當(dāng)然最后的結(jié)果驗證我們的努力是沒有白費的。

全鏈路購物

最后一點技術(shù)的問題，提一下全鏈路購物的事情，大部分的VR從業(yè)者開發(fā)的同學(xué)不是特別了解交易鏈路和支付鏈路的事情，它其實是一個蠻龐大和復(fù)雜的系統(tǒng)。舉個簡單的例子，做一個商品詳情，看上去展現(xiàn)的東西并不多，測試的同學(xué)會告訴你這里面有幾千個Test Case，大家可以感受一下它的復(fù)雜度。 當(dāng)然商品詳情這種還算比較簡單，如果涉及到優(yōu)惠價格體系和支付寶鏈路的話，里面的復(fù)雜度不是幾個人或者某幾個團隊可以搞清楚。所以這次開發(fā)都有核心的業(yè)務(wù)團隊參與了，比如支付有支付專業(yè)的團隊幫助開發(fā)，支付寶的同學(xué)也過來跟我們一起做VR適配。 Buy+里的支付環(huán)節(jié) 即使是這樣，其實在完成整個交易鏈路的時候還是遇到了蠻多問題，比如優(yōu)惠方案是怎么樣的，在Buy+渠道只能有Buy+的優(yōu)惠，但是你會發(fā)現(xiàn)，一旦給了他優(yōu)惠，在其它地方搜索了Buy+的商品也會有優(yōu)惠價格。這樣種種交易鏈路上的問題都要一個個去趟開。

造物神計劃

整個造神計劃，我們的宗旨是，讓新的內(nèi)容產(chǎn)生得更加容易。目前還是聚焦在3D模型的建模上，只有更好的3D場景和商品，我們才能在VR領(lǐng)域走得更遠。所以這次雙十一上，我們也借助buy＋重啟了造神計劃。希望和大家一起把3D建模這件事情做到極致。 目前我們推出了3種不同級別的解決方案，第一種是DIVA（Digital Interactive Visual Augmentation數(shù)字化交互視覺增強）。 它在手機淘寶上已經(jīng)開始應(yīng)用了。核心的技術(shù)其實也是通過180軸的轉(zhuǎn)動，拍照片、視頻，再提取里面的關(guān)鍵幀，根據(jù)陀螺儀的信息顯示里面的關(guān)鍵幀，可以大幅度提升商品和用戶的交互過程。 第二種方案，我們采用的方案是視頻掃描方案。這種方案相對于上一種方案的成本可能會高一些。掃出一個商品，價格可能在200-300元左右，為這個掃描我們還是做了很多平臺化的事情。比如我們所有的的掃描、貼圖、計算、模型計算都把它放在了云端，不需要你去買一個特別好的PC機去承載這些東西。 光場方案 最后一種方案，是還在“寓言”中的方案——光場掃描。這個方案對建模難度非常高的商品是有比較好的效果。舉個例子說，如果你用3D掃描儀去掃出來的手機可能只能做出iPhone的亞黑色，但用光場的技術(shù)去做，可以做出iPhone的亮黑色。 這是一個造神計劃的邀約鏈接：http://zao.alibaba.com，大家有興趣的話可以一起參與到3d建模中來。

問答環(huán)節(jié)

網(wǎng)易游戲工程師：為什么Buy+現(xiàn)在采用的移動方式?jīng)]有選用VR應(yīng)用中常見的那種瞬移的方式——就是看向哪個點，就瞬間傳送到那個點？ 胡：如果用瞬移的方式，無論從場景采集的復(fù)雜度和眩暈度來講，我覺得可能都比這種直線移動會好一點，畢竟我在體驗的時候覺得，移動過程中加載的那些視頻資源挺浪費的，因為我只會盯著地面移動，而且停下來的位置有時離商品很遠，不如預(yù)設(shè)幾個點來的好。 網(wǎng)易游戲工程師提的方案我們考慮過。我們現(xiàn)在沒有用3D場景，但是我們考慮過用全景圖片。一個場景一個場景的跳躍移動，這個在我們的降級方案里面用了，我們覺得這個的自由度沒有視頻的好。視頻的移動是去模擬正常的逛店鋪的感覺。 怎么平衡瞬移和模擬正常移動兩種方案的優(yōu)劣，和如何進一步優(yōu)化，我們現(xiàn)在也已經(jīng)有了新的方案會去嘗試。 云治（Buy+產(chǎn)品負責(zé)人）：瞬間移送最好要有模型，純?nèi)皥D或視頻是沒有空間定位的。場景最大的問題在于你要真實感，現(xiàn)階段比較低成本靠譜的就是全景圖和全景視頻，缺陷是沒有空間定位。如果用場景模型，有了空間定位，缺點是很難建模到照片級別的真實感，或者手工優(yōu)化成本太大。不過目前我們已經(jīng)找到同時具備照片質(zhì)量+空間定位的低成本方案了。 三星研究院研究員：1、 “光場掃描“具體什么設(shè)備？2 、全景視頻拍攝用什么設(shè)備移動的？ 胡：商店里面是軌道車，不能用軌道車的地方就是人的頭盔上安裝拍攝設(shè)備，用電動車。 三星研究院研究員：商品的照片級渲染如何能夠降低后期人工修正成本，是否可以讓廣大商家自行增加？ 云治：在商品方面，商家沒有這方面的技術(shù)能力的，一般都是找ISV。你們就理解一個最簡單的邏輯，商家的商品拍攝通常都是寄給ISV來拍攝的，然后ISV回傳素材，商家把素材發(fā)布到線上。這樣成本、效率、質(zhì)量都是要考慮的部分。在場景方面，現(xiàn)在的全景店鋪還沒有到說成本有多少的時候，基本上屬于探索階段，商業(yè)的價值還沒有說清楚。 附：Buy+目前正在招聘VR相關(guān)人才，有意向請投遞簡歷至songwu.hxh@alibaba-inc.com。