6月18日，微軟舉辦的“HoloLens與混合現(xiàn)實(shí)技術(shù)集會深圳站”在騰訊大廈舉行，微軟（中國）開發(fā)者體驗(yàn)與合作平臺事業(yè)部劉昕羽就HoloLens的應(yīng)用設(shè)計做了相關(guān)分享。 以下內(nèi)容由VR陀螺整理（有刪減）： 交互設(shè)計的變化 對于開發(fā)者來說，以前的信息只是展示在2D的屏幕上，但在HoloLens里增加了3D空間的感知，信息可能會和物理化學(xué)結(jié)合在一起，所以交互上的框架或者信息的展現(xiàn)的思維方式發(fā)生了根本性的變化。 1.信息在空間中三種鎖定方式 第一種，Display-lock（顯示屏鎖定）。現(xiàn)在汽車前面的玻璃上或者抬頭顯示設(shè)備上顯示的信息HUD，典型的Display-lock。車在轉(zhuǎn)動的時候，正前方的屏幕上面的信息根據(jù)你看到的這個物理環(huán)境，信息發(fā)生一些變化。直接把這個場景直接遷移達(dá)到HoloLens上，就是說鏡片上貼了一層信息，當(dāng)人在轉(zhuǎn)動的時候，身體和頭部運(yùn)動是鎖死的。 第二種，Body-lock（追隨式的鎖定）。把原來屏幕上常用的工具欄或者菜單放置在3D空間時，工具欄和菜單距離人有一些空間位置。當(dāng)人在走動或者轉(zhuǎn)動時，工具欄和菜單是一起轉(zhuǎn)動的。Body-lock和Display-lock的區(qū)別是，Display-lock的屏幕是鎖定的，相當(dāng)于在頭和信息中間，視線是一根鋼絲。頭在轉(zhuǎn)動的過程中，信息位置是鎖死的。而Body-lock，鋼絲換成軟管，頭部轉(zhuǎn)動，信息相對遲緩，滯后于頭部運(yùn)動。 我們發(fā)現(xiàn)，如果信息以Display lock的形式呈現(xiàn)給鎖給用戶，他會時刻想把這個東西甩開，所以建議大家有常用的工具欄、常用的菜單請把Display lock換成Body-lock的形式，客戶更容易接受。 第三種，Word-lock（物理環(huán)境鎖定）。它是指一個hologram或者常用的工具欄、菜單鎖定在一個固定的物理位置，當(dāng)人走動的時候，hologram像一個真實(shí)的物理物體一樣固定在這個位置，不會追隨這個人的走動去變化，這是最常用到的鎖定方式。 2.三種應(yīng)用類型 開發(fā)一款HoloLens的應(yīng)用，我們大概把它分成3類。 一，以增強(qiáng)環(huán)境為主的體驗(yàn)。這對應(yīng)的是現(xiàn)在應(yīng)用商店用戶可以下載到的一些2D的內(nèi)容，包括HoloLens可以運(yùn)行的IE瀏覽器，一些小的APP，它們是2D的。打開應(yīng)用的時候依然是一個2D的視窗，只不過可以把這個貼在臥室或者廚房的墻上。 二，HoloLens最擅長的一種，叫混合現(xiàn)實(shí)的體驗(yàn)。這種是全息的物體和真實(shí)的物體之間互相映射拓展。 三，HoloLens也可以有趨向于虛擬現(xiàn)實(shí)的體驗(yàn)。HoloLens里有一款經(jīng)典、標(biāo)桿類型的游戲叫做《Fragments》，它是模擬第一人稱視角的密室逃脫游戲。這款游戲提供了類似虛擬現(xiàn)實(shí)的體驗(yàn)，不同的是戴上HoloLens需要掃描房間的表面結(jié)構(gòu)，之后HoloLens會基于掃描的地面、墻壁、房頂重新渲染，把整個房間變成游戲場景中一個特制的封閉的地下室的場景。游戲沉浸感非常強(qiáng)，但這種場景更多的依賴于真實(shí)環(huán)境。在這樣的場景里會面臨著大范圍的渲染、貼圖，這對于設(shè)備的耗能消耗是比較大的。 3.UI類型的拓展 UI的類型也能進(jìn)行一定的拓展。傳統(tǒng)的UI對話框或者HUD，還有劇情UI。劇情UI最開始來源于游戲場景。比如游戲場景里，手機(jī)、電話、PC等等游戲道具會自發(fā)的給用戶提供一些線索，幫助用戶完成游戲后面的一些流程，這就是劇情UI。但劇情UI不一定會被發(fā)現(xiàn)，尤其是用戶第一次使用頭戴體驗(yàn)應(yīng)用。用戶最開始體驗(yàn)產(chǎn)品的好奇心是非常強(qiáng)的，當(dāng)他看到空間中有這么多虛擬的內(nèi)容時候，哪個都想看，而哪個劇情UI能夠引起用戶的注意，這是設(shè)計師需要重點(diǎn)去關(guān)注的。 再加上，人正常的視野范圍很廣，210~220度。而現(xiàn)在市面上不管是HoloLens，還是VR設(shè)備，水平方向的范圍并沒有真實(shí)人眼的視場角廣。那么會產(chǎn)生就遇到一個問題，比如我做了一款產(chǎn)品，混合現(xiàn)實(shí)的游戲場景，一定有些游戲線索是超出了用戶視野范圍的，該怎么去引起用戶的注意？ 這一點(diǎn)或許有些難度，像HoloLens可以借助它靈敏的部件，比如它兩邊紅色的小耳朵，空間音效的音箱給用戶指引，也包括空間當(dāng)中提供給用戶一些視覺，比如箭頭類的指引，或者通過游戲中間的一些虛擬人物的出現(xiàn)，虛擬人物在觀察視野的角度，他觀察的方向其實(shí)對于真實(shí)體驗(yàn)游戲的人來說，也可以間接指引告訴用戶應(yīng)該去看哪兒。 所以運(yùn)用3D應(yīng)用空間設(shè)計的時候，開發(fā)者要更多的關(guān)注產(chǎn)品和硬件本身性能特性，充分把它利用起來，給用戶提供更多的線索 。 4.視角切換 對于用戶來說，他現(xiàn)在的這個視角是第一人稱。HoloLens上，官方建議hologram展現(xiàn)的屏幕可操作的區(qū)域距離在1m~5m，近裁面是0.85。這意味著展現(xiàn)位置是0.85m時，用戶離hologram越來越近，用戶會看見這個模型的裁切面。但如果說，開發(fā)者就想用戶近距離的去探索一些細(xì)節(jié)，可以手動把這個近裁面調(diào)近（即<0.85m），但是有可能離hologram越來越近時，這個效果會變得模糊、跳幀。 六大交互組件 現(xiàn)在MR平臺上的六大交互組件，注視、手勢、語音是用戶主動輸入的交互方式。 1.注視 注視是指正前方的白色光標(biāo)，開發(fā)者知道用戶在看哪兒，可以充分調(diào)動它。除了像鼠標(biāo)一樣定位以外，也可以長時間注視后，實(shí)現(xiàn)按鈕的激活。 注視是一個很好的幫手，當(dāng)用戶看不到光標(biāo)會默認(rèn)死機(jī)，他們會特別沒有安全感。我們建議開發(fā)者如果沒有特別需求，盡可能把光標(biāo)展現(xiàn)在客戶的眼前，讓他用的時候能隨時能夠抓得到，千萬別把它默認(rèn)到看不見了，不然用戶不知道下一步該做什么。 光標(biāo)是一個入口，開發(fā)者可以自己定義光標(biāo)的形態(tài)，顏色，視覺反饋的一些效果。現(xiàn)在有一些團(tuán)隊把光標(biāo)做成了一個推廣品牌的渠道，比如說品牌的顏色、跟品牌相關(guān)的一些視覺元素放到光標(biāo)里。 再有，用戶的頭怎么動，他正前方的光標(biāo)就怎么動，頻繁地動頭或者精準(zhǔn)定位是非常累的。我們建議開發(fā)者千萬別把視追角度做的太小，定位太嚴(yán)苛了，用戶不會發(fā)太多時間在這上面去浪費(fèi)時間。大家可以提供自動吸附的功能，那對于用戶的脖頸壓力會小一些。 2.手勢 手勢，現(xiàn)在支持的手勢還很有限，像Bloom基本是系統(tǒng)獨(dú)占的手勢，專門來調(diào)起“開始”菜單或者幫助用戶關(guān)閉第三方應(yīng)用。開發(fā)者最常用的是“點(diǎn)擊”或者“拖拽”實(shí)現(xiàn)放大縮小，調(diào)整位置的場景。手勢API現(xiàn)在沒開放是考慮到這個平臺比較新，特別擔(dān)心每一個產(chǎn)品大家都定制手勢，這樣對于用戶來說，學(xué)習(xí)成本太高。毫無疑問，手勢API肯定會開放，但不能確保時間點(diǎn)。 3.語音 語音，HoloLens進(jìn)中國了，但這個版本上它只支持英文的。另外，小娜的語音識別比較苛刻，但凡有一點(diǎn)口音，識別都不是特別準(zhǔn)。中文，開發(fā)者要求助微軟一些做中文語音語譯服務(wù)的技術(shù)或者像第三方科大訊飛。 語音是一個比較好的渠道，可以幫助用戶跳過很多繁雜的步驟，但是語音也有一些受限的場景。比如，用戶需要“放大、縮小”時，可以用手較好控制顆粒大小，而語音控制放多大，放多小，這是非常不好描述的。我們建議開發(fā)者把手勢、語音、注視這幾種交互方式把它搭配去使用，包括極端場景，比如一些公共場合用戶是不能說話的，這種場景下用戶可以通過語音以外的交互方式體驗(yàn)。 再則，微軟平臺上，語音有一個交互模型，用戶看見什么就讀什么，比如你正前方的這個按鈕，它上面繪有簡單文字的指令，用戶看到了，注視到了這個按鈕。接下來，按鈕上寫了什么就讀什么，可能有一系列的按鈕，開發(fā)者需要確保語音指令的簡短，包括不同的指令發(fā)音相似。 4.空間掃描指引 空間映射、空間音效、世界坐標(biāo)，無疑是開發(fā)者提示大家，設(shè)計思路要放開，不再是2D平面，要利用其Z軸的縱深。 大家認(rèn)為HoloLens有意思是因?yàn)樗旧韺Νh(huán)境有感知能力，即利用Spatial Mapping能力，但同時也要知道Spatial Mapping帶來的問題。比如，HoloLens在掃描空間會出現(xiàn)一些誤差或者掃不到鏡面，又或者掃不到平面會凹凸不平，出現(xiàn)不貼合的狀態(tài)。這可能是因?yàn)楣饩€和實(shí)際物理材質(zhì)、顏色都可能對定位產(chǎn)生影響。 材質(zhì)上，玻璃不行，HoloLens會默認(rèn)什么東西都沒有。顏色上，純色、純黑或純白，尤其是帶亮面反光，出錯的幾率非常高。大地色、木頭顏色、木頭紋路、地毯紋路、房間中有反差比較大的圖形圖像都能進(jìn)行精準(zhǔn)定位。精準(zhǔn)掃描后才能確保在空間坐標(biāo)系上增加的錨點(diǎn)，以及錨點(diǎn)上增加的這些hologram不會出現(xiàn)漂移的情況。光線對HoloLens色性來說，不是太好。之前很多人說HoloLens不能再室外用，其實(shí)不是不能在室外用，而是不能在室外這種有強(qiáng)烈光線照射下使用。再則變化的光源，像夜店或者一些展會的光特別閃，對于HoloLens來說，在定位時很容易出錯。 這么多問題，怎么盡可能的避免？開發(fā)者首先要確定用戶的使用場景，接下來設(shè)計上，如果產(chǎn)品對于空間的實(shí)際的環(huán)境要求非常嚴(yán)格，掃描之前需要加入一段引導(dǎo)掃描指南。比如，地面、墻面、房頂都增加一些維度，從而讓掃描結(jié)果達(dá)到不同的等級。掃描足夠精準(zhǔn)時，再讓用戶開始應(yīng)用體驗(yàn)。此外，盡可能在空間中去搭建錨點(diǎn)的網(wǎng)格體系，在一個錨點(diǎn)在2m~3m的范圍之內(nèi)，在此基礎(chǔ)之上，多增加錨點(diǎn)的網(wǎng)格體系。 1.文字顯示 HoloLens上的文字顯示和微軟在其他平臺的文字非常類似。就微軟而言，HoloLens上開發(fā)者所做的應(yīng)用不只是針對娛樂，更多是幫助提高工作效率，文字的使用上盡可能選用易讀文字。我們建議，英文用segou UI，中文用等線體，不管是放大還是縮小，識別率都非常高。HoloLens上不建議開發(fā)者用細(xì)體的文字。如果有些可交互的按鈕，開發(fā)者盡可能在按鈕之后加入一些反饋的色塊襯托，一來用戶看的特別清楚，二來，按鈕交互的尺寸要大一些。 2.顏色顯示 HoloLens有四層鏡片，它們分層渲染，每一層鏡片紅、藍(lán)、綠，這意味用戶快速轉(zhuǎn)動頭時，尤其正前方是一個白色的球，快速移動頭，色彩分離的現(xiàn)象就出來了，大家會看到每層鏡片在渲染什么顏色。怎么去避免？不能避免，只能通過一些小的手段把這個問題繞開。比如，運(yùn)動模式上用Body-lock鎖定方式；純白色很容易出現(xiàn)色彩分離現(xiàn)象，用Display-lock的鎖定方式就會出現(xiàn)色彩分離，但是如果把換成Body-lock，效果就會好很多；要么調(diào)整顏色，要么改變展示形式，把固態(tài)的圖像變化成模糊線的形式，兩邊漸變就消失掉。HoloLens里白色使用RGB 235，不用純白。 3.設(shè)計考量要素 HoloLens不間斷工作時長是2~3小時，技術(shù)上來說，眼鏡視野范圍是可以放大，但如果把鏡片的視野范圍放大，帶來的直接結(jié)果就是只能支撐半個小時，這是用戶無法接受的；掃描空間，10*10的會議室或者說10*10小的倉儲房間應(yīng)該是可以的，再大，我們也沒試過；舒適度，盡量避免用戶在使用的時候長時間舉著胳膊去進(jìn)行操作；刷新率，如果確保不了60幀的刷新率，盡可能確保穩(wěn)定的30幀；慎用HUD；UI別像以前做平面設(shè)計或者app設(shè)計中常用工具欄放在在右上角或者右下角，HoloLens里，用頭去夠這些工具欄時，一定放在視野偏下的位置，這些地方對于用戶是他頭頸比較接受的范圍；降低用戶有可能出現(xiàn)暈眩的感覺，HoloLens相比VR產(chǎn)品好很多，但是也有體質(zhì)特別敏感的人，尤其是一些動效，這種Z軸的帶加速度的離遠(yuǎn)離近最有可能讓他發(fā)生眩暈。 場景設(shè)計與原型制作 開發(fā)者通過一些平面軟件或者一些交互的工具設(shè)計移動應(yīng)用原型還比較方便，但做這種混合現(xiàn)實(shí)或者虛擬現(xiàn)實(shí)，沒那么簡單了。最直觀的方法是手繪，而通過手繪去表現(xiàn)一個3d空間，卻不能確保最后的體驗(yàn)和原型相互匹配上。比如，用一些手上可以找到的模型搭建開發(fā)者想要的場景，手里拿的軟管是在模擬正前方的光標(biāo)，籃框在試圖模擬遠(yuǎn)近不同的時，有限視野范圍能看見什么。我們建議開發(fā)者把這種相對簡單，原始方式搭配使用，做一些測試。 福利：后臺回復(fù)“HoloLens”，獲取完整版PPT！ 關(guān)注微信公眾號：VR陀螺（vrtuoluo）,定時推送，VR/AR行業(yè)干貨分享、爆料揭秘、互動精彩多。