編譯/VR陀螺

今天，美國專利商標(biāo)局公布了蘋果公司的一項專利申請，該專利涉及生成物理環(huán)境的二維和三維幾何表示，特別是涉及根據(jù)物理環(huán)境中檢測到的信息生成幾何表示的系統(tǒng)、方法和設(shè)備。

該技術(shù)與蘋果的ARKit有關(guān)。蘋果在其專利背景中指出，平面圖在設(shè)計、理解和改造室內(nèi)空間方面發(fā)揮著重要作用。平面圖在傳達(dá)物理環(huán)境的幾何和語義信息方面通常很有效。例如，用戶可以通過查看平面圖來快速識別房間的寬度、墻壁結(jié)構(gòu)和角落、門窗的位置以及物體的排列。

目前，提供基于計算機(jī)的系統(tǒng)來自動生成平面圖、房間測量值或基于傳感器數(shù)據(jù)的物體測量值，存在著許多障礙。獲得的關(guān)于物理環(huán)境的傳感器數(shù)據(jù)（例如，圖像和深度數(shù)據(jù)）可能不完整或不足以提供準(zhǔn)確的平面圖和測量數(shù)據(jù)。例如，室內(nèi)環(huán)境往往包含各種各樣的物體，如燈、書桌、椅子等，這些物體可能會隱藏房間的建筑線條，而這些線條本來可以用來檢測房間的邊緣以建立準(zhǔn)確的平面圖。再比如，圖像和深度數(shù)據(jù)通常缺乏語義信息，在沒有這些數(shù)據(jù)的情況下生成的平面圖和測量圖可能缺乏準(zhǔn)確性。

現(xiàn)有的技術(shù)不允許使用移動設(shè)備自動、準(zhǔn)確和有效地生成平面圖和測量結(jié)果，例如，基于用戶在房間里走動時捕獲的照片或視頻或其他傳感器數(shù)據(jù)。此外，現(xiàn)有技術(shù)可能無法在實時（例如，在掃描過程中立即生成平面圖或測量）環(huán)境中提供足夠準(zhǔn)確和高效的平面圖和測量結(jié)果。

蘋果公司的發(fā)明涵蓋了使用物理環(huán)境的三維（3D）表示法生成平面圖和測量結(jié)果的設(shè)備、系統(tǒng)和方法。

物理環(huán)境的三維表示可以基于傳感器數(shù)據(jù)生成，例如圖像和深度傳感器數(shù)據(jù)。在一些實施方案中，使用物理環(huán)境語義標(biāo)記的三維表示，促進(jìn)了平面圖和測量結(jié)果的生成。

一些實施方案中，對物理環(huán)境的三維點云進(jìn)行了語義分割和標(biāo)記。本文所披露的技術(shù)可以通過使用語義三維表示，如語義標(biāo)記的三維點云，編碼到二維（2D）橫向領(lǐng)域，體現(xiàn)各種優(yōu)勢。在二維橫向域中使用語義三維表示可以促進(jìn)有效識別用于生成平面圖或測量結(jié)果的結(jié)構(gòu)。

平面圖可以支持各種格式。在一些實施方案中，平面圖包括一個房間的二維俯視圖。平面圖可以用圖形描述一個房間的邊界，例如，通過使用線條或其他圖形特征，以圖形方式描述墻壁、障礙物或房間范圍的其他限制。

平面圖還可以用圖形描述墻壁特征的位置和幾何形狀，如墻壁邊緣、門和窗戶。也可以用圖形描述房間內(nèi)的物體，如沙發(fā)、桌子、椅子、電器等。平面圖可以包括識別房間內(nèi)的邊界、墻壁、門、窗和物體的標(biāo)識符，例如，包括識別這些元素的文字標(biāo)簽或參考數(shù)字。

平面圖可以包括邊界、墻邊、門、窗和房間內(nèi)物體的測量指示，例如，包括指定墻的長度、桌子的直徑、窗戶的寬度等的數(shù)字。

根據(jù)一些實施方案，平面圖是在用戶進(jìn)行房間掃描的基礎(chǔ)上創(chuàng)建的，例如，移動手機(jī)等設(shè)備來捕捉用戶在房間里的圖像和深度數(shù)據(jù)。一些實施方案在房間掃描期間提供初步的二維平面圖的預(yù)覽。例如，當(dāng)用戶在房間里走動捕捉傳感器數(shù)據(jù)時，用戶的設(shè)備可以顯示正在生成的初步二維平面圖的預(yù)覽。

該預(yù)覽是 "實時 "的，因為它是在持續(xù)捕捉用于生成初步二維平面圖的傳感器數(shù)據(jù)流或數(shù)據(jù)集期間提供的。為了實現(xiàn)初步二維平面圖的實時預(yù)覽，預(yù)覽的生成方式（至少最初）可以與最終的、掃描后的平面圖不同。

在一個例子中，預(yù)覽是在沒有采用某些后處理技術(shù)（如微調(diào)、角校正等）的情況下生成的，這些技術(shù)被用于生成最終的、掃描后的平面圖。在其他例子中，實時預(yù)覽可以使用比用于生成最終掃描后平面圖的計算密集度低的神經(jīng)網(wǎng)絡(luò)。二維語義數(shù)據(jù)的使用（例如，針對房間的不同層）也可以使預(yù)覽確定的效率足夠高，以便進(jìn)行實時顯示。

圖源：patentlyapple

蘋果公司的專利圖1是一個示例操作環(huán)境（#100）的框圖。在這個例子中，操作環(huán)境100說明了一個物理環(huán)境（#105），包括墻壁（#130，132，134），椅子（#140），桌子（#142），門（#150）和窗戶（#152）。服務(wù)器（#110）被配置為管理和協(xié)調(diào)用戶的體驗。

蘋果公司的專利圖4提出了一個使用三維數(shù)據(jù)和基于深度和光強(qiáng)圖像信息的語義分割來生成語義三維（3D）表示例子的系統(tǒng)流程圖。

上述第400號示例環(huán)境的系統(tǒng)流程可以顯示在具有顯示圖像的屏幕和/或觀看立體圖像的屏幕的設(shè)備上，如頭戴式顯示器（HMD）。

圖源：patentlyapple

蘋果公司的專利圖5是一個示例性方法（#500）的流程圖，該方法基于物理環(huán)境的三維表示，生成并顯示物理環(huán)境的初步二維平面圖的實時預(yù)覽。

蘋果公司的專利圖10是一個示例環(huán)境（#1000）的系統(tǒng)流程圖，其中系統(tǒng)可以基于物理環(huán)境的三維表示（例如，三維點云、三維網(wǎng)格重建、語義三維點云等）生成并提供顯示物理環(huán)境的2D平面圖。

圖源：patentlyapple

示例環(huán)境（#1000）的系統(tǒng)流程是在平面圖單元處獲取物理環(huán)境（例如，圖1的物理環(huán)境#105）的圖像數(shù)據(jù)（例如，來自光強(qiáng)相機(jī)的實時攝像資料）、來自語義三維單元的語義三維表示和其他來源的物理環(huán)境信息（例如，攝像頭定位信息）。

上面的蘋果專利圖12B是一個示例環(huán)境的系統(tǒng)流程圖（#1200B），其中物體檢測單元（#1220）可以根據(jù)物理環(huán)境的三維表示為相關(guān)的識別物體生成精煉的邊界框，而平面圖測量單元（#1250）可以提供所述邊界框的測量值。

三維數(shù)據(jù)、光強(qiáng)度圖像數(shù)據(jù)、建議的邊界框（#1225a、1225b）和階段1的輸出數(shù)據(jù)會用于微調(diào)階段2的神經(jīng)網(wǎng)絡(luò)（#1234），該神經(jīng)網(wǎng)絡(luò)使用高精度/低召回神經(jīng)網(wǎng)絡(luò)生成精制邊界框，以細(xì)化生成特征的準(zhǔn)確性并輸出精制邊界框（#1235a和1235b，例如分別為142號桌子和140號椅子）。如圖12B所示，精煉的界線盒比分別的界線盒更準(zhǔn)確。

如果想查看更多詳細(xì)信息，可查閱蘋果公司這三項專利，包括20210225043、20210225090和20210225074。

來源：patentlyapple