編譯/VR陀螺

近日，Meta AI發(fā)布了一段視頻，演示了AR眼鏡如何基于Reality Labs Research的SceneScript模型識別現(xiàn)實世界對象并生成場景布局。

圖源：X

據(jù)悉，SceneScript可以使用端到端機器學習直接推斷房間的幾何形狀，而不是使用硬編碼規(guī)則將原始視覺數(shù)據(jù)轉(zhuǎn)換為房間建筑元素的近似值。SceneScript的一個優(yōu)勢是它的可擴展性。只需向環(huán)境數(shù)據(jù)集中表示門的場景語言添加一些附加參數(shù)，就可以訓練網(wǎng)絡(luò)準確預(yù)測物理環(huán)境中門打開或關(guān)閉的程度。

此外，SceneScript可以準確預(yù)測對象的位置，并進一步將這些對象分解為其組成部分。例如，沙發(fā)可以在SceneScript語言中表示為一組幾何形狀，包括墊子、腿和扶手。設(shè)計師可以使用這種細節(jié)級別來創(chuàng)建真正適合各種物理環(huán)境的AR內(nèi)容。

圖源：Meta

該方法可以生成類似于矢量圖形的完整、清晰的幾何形狀，并使得物理場景表示的內(nèi)存需求減少到只有幾個字節(jié)，這意味著用戶在AR眼鏡上也可以輕松編輯生成的場景物體。

雖然用戶目前還無法在Quest 3或Ray-Ban Meta智能眼鏡上使用SceneScript，但Meta的研究為即將推出的AR眼鏡提供了新的視角。對于AR眼鏡來說，深度傳感器會增加重量，因此基于視覺處理的點云技術(shù)更適合輕量級產(chǎn)品，可交互的分級識別也將帶來更加身臨其境的AR體驗。

圖源：Meta

Meta相信SceneScript代表了真正的AR眼鏡之路上的一個重要里程碑：連接物理世界和數(shù)字世界。具體看來，SceneScript可以解鎖MR頭顯和未來AR眼鏡的關(guān)鍵用例，例如生成為視障人士提供逐步導航所需的地圖。

同時，由于SceneScript還提供了LLMs 推理物理空間所需的能力，這使得其有成為下一代數(shù)字助理的潛力。用戶可以向數(shù)字助理提出問題，例如“這張桌子適合我的臥室嗎？”或者，“粉刷這個房間需要多少罐油漆？”，無需通過實際測量便可以在1秒內(nèi)得到答案。

來源：ai.meta、mixed-news