2019年5月12日,Unity在上海舉行了Unite Shanghai 2019,會上Unity大中華區(qū)商務經(jīng)理肖蓓蓓女士與HTC VIVEPORT中國區(qū)負責人謝禮安共同宣布Unity與HTC達成VIVEPORT VR內(nèi)容分發(fā)平臺合作。
謝禮安表示,“從去年開始,HTC便開始與愛奇藝、創(chuàng)維、大朋等一體機達成VIVEPORT平臺合作。截止目前,VIVEPORT平臺用戶基數(shù)已有三到四倍的增長,所以我們希望有更多的開發(fā)者往VR方向發(fā)展,此次與Unity合作,就是給未來開發(fā)提供更好的工具,降低分發(fā)困難和時間成本。”
在隨后的時間,Vive中國區(qū)開發(fā)者關系及內(nèi)容團隊負責人袁東為我們講述了以及Vive平臺的最新技術(shù)以及Vive SDK的沉浸式SDK的具體功能。
以下為演講內(nèi)容整理:
“今天,我想跟大家分享的是Vive的SDK,HTC在全世界能夠制作出世界上最驚艷VR的設備,同樣我們想把最前沿的VR技術(shù)帶給開發(fā)者,讓開發(fā)者能制作出更驚艷的內(nèi)容。在現(xiàn)在社會中,產(chǎn)品的體驗是勝于產(chǎn)品的本身的,為了能有更多沉浸的體驗,以下我將給大家介紹Vive SDK的沉浸四大功能。”
提起VR,大家的第一感受是視覺,其次便是音效體驗。Vive提供的3DSP技術(shù)能夠幫助開發(fā)者更好的去渲染音效,特別提供高精度的聲音模擬,傳統(tǒng)的錄制過程中會使有兩個麥克風來錄制自然界的聲音,但將這運用到VR中是遠遠不夠的。
其中影響人類聽覺的因素有非常多,除了距離這一因素,其實人的耳廓、耳道,甚至你的衣服的材質(zhì)都會影響你聲音的體驗,所以我們提供比較高精度的,讓大家在錄制中能夠更有觀感體驗。
Hi-Res 3D是耳機中高保真度的評判標準之一,而我們提供的SDK便采用第三階的Hi-Res。我們以每五度是一個度量單位,并且提供方向設定,同時我們也提供了3D Audio中有物理疊加的體驗,以及聲音衰減等。
例如在虛擬環(huán)境中,雙方隔著一堵墻,那么我們可以通過3D Audio模擬出隔絕,聲音阻隔的效果。
下面重點介紹一下XR Engine,這個工具是對虛擬和現(xiàn)實世界的感知和理解體現(xiàn)。這個演示的RD,能夠很好的展示我們現(xiàn)階段XR達到的成績,通過HTC Vive Pro的攝像頭,能讓用戶在虛擬現(xiàn)實中看到現(xiàn)實的場景。
RD展示的效果便是在XR狀態(tài)下,在現(xiàn)實世界中打開了一個隧道,而這一連接虛擬世界和現(xiàn)實的隧道,可以讓你在這兩個世界來回的走動,而且可以把一個物體從一個世界扔到另一個世界,這個過程還有碰撞的反饋,是不是很像哆啦A夢的夢幻體驗?
如果開發(fā)者有一臺Grght Eye和Left Eye的話,那么開發(fā)者可以嘗試使用我們提供SEE-Through功能進行開發(fā),這是一個很有趣的過程。
值得一提的是,用戶在使用SEE-Through功能跟真實世界中交互體驗時,我們可以獲取用戶的場景深度信息,這可以輔助開發(fā)者做出非常有意思的Demo。
而這一過程所需的便是3D Reconstruction,它能把現(xiàn)實的場景在虛擬中重現(xiàn),從而重塑一個交互場景。
SRWorks SDK,它的功能就是感知現(xiàn)實世界。我們在做Srworks SDK的時候,主要的方向是為開發(fā)者提供更高精度的Mesh。所以我們提供的Mesh是通用的OPG文件,開發(fā)者首先做了可以生成OPJ的文件,再將這個打到具體的項目中,這時,開發(fā)者就能發(fā)現(xiàn)它有許多非常優(yōu)秀的屬性可以幫助你進行開發(fā)。
當你在使用設備掃描場景時,就Srworks SDK會讀取物品的形狀。而你只要根據(jù)這些信息,去設計有趣的內(nèi)容就行了。也就是說我們可以實時的掃出整個世界,每一楨的疊加,可以真實的和世界做互動,這樣你就可以實時的做一些反饋,這個非常有意思。
要做到實時反饋,便需要AI.Vision,它是你的AI認知工具。我們可以通過學習,將攝像頭前面的物體進行感知識別。2D的方面它能識別9類的物體,舉例說明,當你在VR中玩《Beat Saber》的時候,有人走到你面前,這時Vision就會有提醒的在畫面中給予提醒,以此避免發(fā)生一些危險的事情。
我相信大家很多人,在第一次體驗VR的內(nèi)容中,可能第一個內(nèi)容可能是深海奇遇,當你站再一個沉浸甲板的時候,你可能看到海底混沌海水的時候,你第一個反應是伸出雙手感知世界,這是人跟世界最自然的一種接觸,就是通過雙手。
我們北京的研究團隊一直致力于這種交互的研究,這一交互系統(tǒng),可以在MR環(huán)境下提供最基本的左手跟右手的識別,我們在一基礎上定義了五種手勢,未來也會有更多的手勢可以識別出來。此外它能夠提供手的骨骼信息(2D、3D),大約有21個點。
這是我們一個工程師在演示Demo,他的雙手被識別出來,而且每個手的關節(jié),21個點清晰的識別出來,而且是實時的。我們單個攝像頭提供3D信息,是有一點困難,所以暫時使用Vive,是不支持3D的信息捕捉。此外,移動設備VIVE FOCUS,因為一體機算力的受限,目前也沒法達到這一效果,但在未來,我們也會提供勢骨骼捕捉支持。
我們的SDK支持最流行的Native Library、Java AAR Plugin等,這些工具都可以開發(fā)出內(nèi)容。我們有一個應用叫Vive Paper,通過這個應用可以利用手勢,用最自然的方式讀你想要看的雜志和書籍。
為了讓開發(fā)者更加清楚的了解用戶的行為,我們設計了SRAnipal工具。這是Eye tracking(眼球追蹤技術(shù)),這個技術(shù)可以能追蹤開發(fā)者眼球注視的點。這時,我們可以通過SRAnipal來清楚的了解到用戶在內(nèi)容體驗的整個過程中所關注的點。
此外我們支持Lip tracking(嘴唇捕捉),通過外置設備我們可以通過嘴唇來識別出不同的表情。同時還有Movement tracking(運動追蹤)和shape tracking(形狀捕捉),我相信聽到這里在座的人應該會很開心,因為我們正在朝著《黑客帝國》的方向發(fā)展。
SRanipal,我們想感知用戶的表達,還有預測他,現(xiàn)在我們能夠提供的是Movement tracking和shape tracking,我相信在座的人應該很開心,像《黑客帝國》,我們朝著這個一步一步做。未來會我們還會識別出更多的自然界的形態(tài),包括光照。例如開燈、關燈,光照燈源的方向等,將環(huán)境中的信息,反饋到XR中。
下面我向大家介紹Vive WAVE平臺,現(xiàn)在市面有400個不同的平臺和不同種類的VR設備。對于開發(fā)者來講,這么多的設備,他們就會有很多的抱怨,相信不少開發(fā)者都有做內(nèi)容Porting(移植)的煩惱,尤其做安卓的開發(fā)者。因為業(yè)界缺乏這樣的標準,所以我們的WAVE平臺很希望能成為像Unity一樣的多平臺支持,可以不用很多的優(yōu)化,你只需要關注的就是把你的精力用在創(chuàng)造更加驚艷的內(nèi)容上,這是我們的愿望和夢想。
這是WAVE的Scope,如果你是第三方的兼容硬件的開發(fā)者,你可以用DEVICE MAKER,做開發(fā)。這個是WAVE的DIAGRAM,它是一個Base在安卓的平臺上,但是是可以安裝的平臺,只要你是符合我們標準的安卓的設備,就可以安裝WAVE。
值得一提的是,WAVE的Main Features是高階的開發(fā)工具。使用Single pass rendering 以后,能夠?qū)崿F(xiàn)雙眼的楨級渲染。畫面的渲染會以用戶的注視點來進行取舍,以高分辨率去渲染關注點,而用戶沒有關注到的畫面會以一個比較低的分辨率來進行渲染。
通過以上所述的SDK和VIVEPORT兩種方式,可以幫助用戶生成最后的content,且這一結(jié)果不會受到盜版的影響。
我的分享就到這里,非常感謝大家對Vive還有VIVEPORT的支持,在此也呼吁大家通過developer.vive.com去下載我們的開發(fā)平臺。到時,我們都會有專家的解答和及時的解答。
關注微信公眾號:VR陀螺(vrtuoluo),定時推送,VR/AR行業(yè)干貨分享、爆料揭秘、互動精彩多。
投稿/爆料:tougao@youxituoluo.com
稿件/商務合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息