編譯/VR陀螺
注：本文作者為暢銷書《元宇宙》作者Matthew Ball（馬修·鮑爾），今年6月20日，Matthew Ball與Meta CTO Andrew Bosworth（后稱Boz）進行了一場深度對話。
對話內(nèi)容涉及Meta的相關(guān)元宇宙戰(zhàn)略：VR/MR年銷量突破1億所需條件、理想的頭戴式設備規(guī)格、Reality Labs的支出分配情況、即將發(fā)布的AR眼鏡的技術(shù)細節(jié)、AI對于元宇宙的作用等。
人物介紹：Boz于2006年加入Facebook，是公司的第十位工程師，隨后參與構(gòu)建最初的News Feed、Messenger、Groups以及許多早期的反濫用和基礎(chǔ)設施系統(tǒng)，并負責管理廣告和業(yè)務平臺產(chǎn)品組。2017年，Boz擔任Reality Labs的負責人，2022年擔任Meta的首席技術(shù)官。
Boz，圖源：網(wǎng)絡
以下是采訪原文：
馬修·鮑爾：我想先從Meta對Reality Labs的愿景開始。Oculus VR于2014年被收購，收購價大約是兩年前Instagram收購價的兩倍。2018 年，F(xiàn)acebook董事會收到了一份關(guān)于發(fā)展虛擬現(xiàn)實的主題為“元宇宙”的備忘錄。2020年，第一款Quest面世；2021年，公司更名為Meta。這些都是外界所知的事件。
從您的角度來看，尤其是您在2006年加入Facebook，2017年開始領(lǐng)導Reality Labs，到2022年擔任Meta的首席技術(shù)官，我想知道在公司內(nèi)部，有哪些重大事件改變了您或公司對元宇宙的看法、改變了對頭戴式顯示器時機的看法，并導致了對元宇宙如此大規(guī)模的公開押注？
Boz：在我真正參與之前，發(fā)生了幾件事。最著名的是扎克伯格做了一個演示，他們有一個早期版本的Oculus Toybox，在這個VR體驗中，他在玩一個小型拳擊游戲，面前的桌面上有小人物。此時演示仍然用膠帶粘在一起，這是Oculus時代的早期。
在演示結(jié)束時，扎克伯格將他的手柄放在桌子上，只是桌子是虛擬的，這些手柄自然會落在地上。他真的相信這是一個重要的未來平臺，在這個平臺上，你可以做 [無法通過其他方式完成的事情]。
當時我并沒有真正參與其中，那時我還在Facebook其他部門工作。在面對每一次收購時，你都會與被收購團隊一起制定一個目標圖，以及公司希望實現(xiàn)的目標和時間表。回顧過去（即Oculus收購），我可以委婉地說他們有點樂觀。他們對能力、成本、上市時間和采用率幾乎全盤持樂觀態(tài)度。我不知道這份文件是否被挖掘出來過——順便說一句，我從未見過它——我只知道他們在每一個維度上都至少偏離了一個甚至多個數(shù)量級。
當我加入時，扎克伯格仍然非常相信這項技術(shù)，但我認為他需要獨立評估。我是一個在新領(lǐng)域?qū)W習很快的人，我會給他一個獨立的視角。
我加入進來不久，團隊出現(xiàn)了分歧。當時，約翰·卡馬克和不少人都全身心投入到VR一體機的研發(fā)中，他們希望壓低價格，從而真正消除將昂貴的PC連接到頭戴設備的需求。 而另一組人，實際上是最初的Oculus的領(lǐng)導團隊，仍然致力于真正高端的外圍設備 （即PCVR）。
發(fā)售于2019年的Oculus Rift S，圖源：VR陀螺
坦白說，扎克伯格進入Oculus或Reality Labs并不是為了涉足外設業(yè)務。（PCVR）這種業(yè)務規(guī)模不足以引起像Facebook這種體量公司的興趣。你會意識到，你在PC生態(tài)系統(tǒng)的戰(zhàn)斗中必敗無疑，你不僅會輸給Steam，還會直接輸給獨立開發(fā)者。如果你只是連接到這臺機器，那么這臺機器就是你在那里獲得的所有體驗的錨點。
我甚至不需要從戰(zhàn)略層面考慮，單從產(chǎn)品角度來看，我也認為我們必須開發(fā)獨立設備。我們必須達到這樣的境界：擺脫線纜束縛、擺脫昂貴的生態(tài)系統(tǒng)、擺脫設置繁瑣等問題。
不過后來，我們同意讓Oculus Rift再上一代，也就是我們與聯(lián)想所合作的Rift S，但我們接手并打造了它。我們同時試用了Gear VR，我很確定它的性能不足，但我們想測試它，因為如果Gear VR已經(jīng)足夠好，那么就會有一條更具成本效益的途徑將其推向主流。但事實并非如此。不過在我看來，它為Quest鋪平了道路。
在我們發(fā)布Quest 1之前 [注：2019 年 5 月]，當我們體驗它時，就知道這是確信的路線。實際上在我們推出 Quest 1之前，我們也已經(jīng)在籌備Quest 2 [注：Quest 2 于 2020 年 10 月推出]。我們差不多已經(jīng)知道了我們希望擁有什么。所以我基本上認為我們的時代（或指Quest？）是最初的時代，這要歸功于創(chuàng)始團隊，他們從無到有創(chuàng)造了一些東西，并創(chuàng)造了足夠好的體驗，特別是他們開創(chuàng)的一些體驗，比如《First Contact》和《Toybox》，非常精彩地講述了VR這個媒介的故事。
隨后，我們在這個時代正在努力應對生產(chǎn)成本、上市成本、消費者接受度、內(nèi)容策略等現(xiàn)實問題，這將帶你走上一條不同的道路，即走向獨立頭顯之路。我想，在我的職業(yè)生涯結(jié)束時——我很幸運能擁有這樣的職業(yè)生涯——我會非常懷念Quest 2的發(fā)布，后續(xù)每一年都能以更低的價格推出更好的產(chǎn)品，這真是一件特別的事情。這太瘋狂了，尤其是在消費電子領(lǐng)域。
所以我認為這對我來說有點像是我們戰(zhàn)略的揭示。這就是戰(zhàn)略，這就是我們正在做的事情，這就是令人興奮的事情：什么時候平臺才能從根本上足夠完整，可以真正地把一切都寄托在上面？而現(xiàn)在我們有了一個穩(wěn)定的平臺。
從某種意義上說，我們已經(jīng)向Quest 1的開發(fā)人員承諾，我們將能夠?qū)崿F(xiàn)跨代連接，而答案就是Quest 3。所以實際上我認為第一個時代是這種與PC相連的時代，這非常重要，沒有它，你就不會達到我們現(xiàn)在的水平。然后是構(gòu)建獨立平臺時代，包括 Quest 1 和 Quest 2。
在我看來，隨著Quest 3的推出，這一時代已經(jīng)結(jié)束。Quest 3就像是一個平臺。當然，你可以添加或不添加眼動追蹤、你可以添加或不添加 AI 助手、你可以添加或刪除所有這些功能。這些都是優(yōu)化。但真正優(yōu)秀的色彩混合現(xiàn)實功能是我們想到的最后一塊缺失的拼圖，順便說一句，至少在我看來，它是讓這個東西成為主流并解鎖所有這些額外用例的關(guān)鍵組成部分。這就是我們現(xiàn)在所處的時代。
Quest 3發(fā)布后，它在勢頭、銷售和采用方面都是積極的?，F(xiàn)在，一旦您知道這是您的基礎(chǔ)平臺，大量的軟件工作就會發(fā)生變化。以前，我們不要重新審視合成器，不要弄亂它，因為如果整個架構(gòu)在下一代發(fā)生變化，那將是浪費工作?，F(xiàn)在您從功能的角度知道了架構(gòu)將會是什么樣子，您可以真正開始合并和結(jié)合，并提高速度，例如您的軟件速度會大大提高。所以我認為我們現(xiàn)在處于一個有趣的混合現(xiàn)實時代。我們每次都會重新命名團隊。以前是 Oculus，那是VR，而現(xiàn)在是MR。現(xiàn)在我們對至少未來幾代和下一組工作都有了非常清晰的愿景。這仍然很困難，但令人興奮，我們確實感覺正處在一個新時代。
發(fā)布于2023年的Quest 3，圖源：網(wǎng)絡
馬修·鮑爾：那么讓我們來談談這個新時代。個人電腦每年的銷量約為2.5億臺，峰值為3.5億臺。智能手機的峰值約為15億臺，現(xiàn)在約為12億臺。您認為，MR/VR頭戴設備（非眼鏡）實現(xiàn)年銷量1億臺的最大障礙是什么？
Boz：嗯，可能有三個答案，但我們?nèi)圆磺宄@三個答案的優(yōu)先順序。
其中之一肯定是內(nèi)容。有些人會把它理解為游戲，我的意思是在設備上可以做的事情。我認為這個領(lǐng)域確實有一些超前的硬件，背后甚至可以追溯到90年代。最近的Magic Leap 2（市場表現(xiàn)）不是硬件問題——硬件可能存在一些問題——但這不是核心原因，只是缺乏生態(tài)系統(tǒng)和可以做的事情。
價格肯定也是其中一個答案。我認為這兩個答案之間的關(guān)聯(lián)程度是不同的。顯然，價格越低，你需要增加的價值就越低，但人們也就越不重視它。價格越高，你需要增加的價值就越多。
最后一個是可訪問性。這是一個有點含糊的術(shù)語，所以讓我解釋一下我的意思。從舒適度到重量、從暈動癥到適應眼睛的寬窄、對頭發(fā)或化妝、造型程度的影響、需要充電多少次以及充電頻率、輸入方法：它需要兩只手嗎？你能用一只手嗎？你能不用手嗎？所有這些都限制了它可以在多少地方使用、使用頻率和人數(shù)。當然，它們肯定會與成本進行權(quán)衡。其中一些是價值。如果你降低光學清晰度，你可以減輕重量，但現(xiàn)在你有一個價值問題。所以這些東西的權(quán)衡空間很小。
我們在所有這些方面都取得了進展，但這需要真正的創(chuàng)新。你之前提到了Meta在這方面投入成本，當然我會更傾向于“投資”一詞，新技術(shù)并不是一出現(xiàn)就準備好投入使用的。供應鏈必須建立，制造業(yè)必須建立，技術(shù)本身必須開發(fā)，這意味著在你找到第11條可行的道路之前，你必須為你走過的10條錯誤的道路付出代價。我們顯然相信這項投資，我認為它將達到我們所說的數(shù)字，即數(shù)億人可以接觸到這些技術(shù)，并在個人和專業(yè)方面使用這些技術(shù)。盡管我有信心我對產(chǎn)品和平臺的未來發(fā)展有一個清晰的愿景，但仍有許多工作要做。
發(fā)布于2022年的Quest Pro，圖源：網(wǎng)絡
馬修·鮑爾：您目前領(lǐng)導Reality Labs已有7年。當再過7年，甚至10年，當您提到HMD時，您會想到什么？我說的是電池壽命、分辨率、幀速率、重量，所有這些。您本能地想到的是什么？
Boz：我們在Reality Labs研究中做的一件有趣的事情就是建造這些時間機器，如探索將分辨率最大化會怎么樣？將分辨率調(diào)到絕對的100%，而忽略其他一切。這些裝置看起來令人難以置信，但你會獲得體驗，并對它有很好的感覺。所以當你有這些小型的時間機器，可以實現(xiàn)視野、分辨率、顏色、深度、色域、高動態(tài)范圍、亮度等（極限）。我們在做這些體驗時總是在尋找參數(shù)化，讓它們能穩(wěn)定體驗。你只是在尋找曲線和曲線的形狀。那條曲線上有一個拐點嗎？價值函數(shù)是否有一個開始穩(wěn)定的地方？這并不是說它不會繼續(xù)，也不是說人們無法繼續(xù)觀察到改進，而是它對功能性來說變得不那么重要了。
所以當我展望未來七年時，這可能是我能可靠地瞥見的最遠的未來，我們考慮的是每度像素數(shù)PPD。你真的希望達到至少45像素，這時文本效果會非常好。60像素可能是視網(wǎng)膜分辨率的一半，但實際上你無法分辨，原因我就不多說了。因此，你確實希望PPD達到50至60。超過40像素后，效果就已經(jīng)變得很好了。我們已經(jīng)看到Varjo、Apple等公司做到了這一點，你也看到了今天要獲得這樣的分辨率需要付出的代價。在視野、亮度和其他一些方面，你會犧牲一些東西。這些都是真正的付出。
因此，你想要到達那個目標，就必須有一個合適的視野。如果你的視野比Quest 3小得多，你就會開始注意到這一點。你眼睛里的細胞可以檢測到垂直方向的運動變化，因此，你需要有較寬的視場角，這樣你就不會一直注意到它的邊緣。實際上，我認為對于沉浸感來說，較高的視野比較寬的視野更重要。當然，就信息密度而言，更寬的視野對我們?nèi)祟悂碚f更為重要，因為我們的眼睛確實能看到更多水平方向的信息。但垂直視角是一種很好的方式，它可以以一種有點欺騙性的方式讓你相信沉浸在一個空間中。
Magic Leap 2 FoV，圖源：網(wǎng)絡
當然，你需要有計算能力來運行所有這些東西。在我看來，從散熱角度來看，設備必須是獨立的，沒有電線 [注：蘋果的Vision Pro有一個類似于起搏器的外部有線電池]。我不想讓人看到我添加了一堆東西。我并不是說它沒有用處。你當然可以想象工業(yè)應用。順便說一下，PC VR一大笑話在于，我們現(xiàn)在實際上已經(jīng)制造了最好的最受歡迎的PC VR（Quest 3）。你只需將電線或使用Air Link將其連接到電腦端。
對我來說，我確實認為舒適度是其中非常重要的一部分。你希望看到（設備的）重量降低，這不僅僅是克數(shù)，這不是最重要的：設備如何在頭上保持平衡，光學堆棧離眼睛有多近，平衡點位于鼻子邊緣到設備邊緣之間，它決定著臉頰的舒適度，前額的壓力大小取決于你使用哪種表帶等。
因此，你可以將頭顯的堆疊稍微向內(nèi)移動，這是從Quest 3到Quest 2的重大轉(zhuǎn)變之一，距離向內(nèi)移動了相當多，因此用戶在執(zhí)行這些操作時會感覺更舒適。因此，我希望到那時設備重量能減輕1到200克。
我認為音頻效果也會變得很好。你會得到越來越棒的立體聲音頻。當設備使用外揚時，你能做的事情會受到一些限制，用戶也可以選擇有線耳機。我們可以隨著時間的推移為人們提供更多選擇。我們今天在耳機插孔方面就是這么做的。
幀率。我們已經(jīng)采用了感覺十分不錯的120 Hz。但顯然，在PC游戲中使用240 Hz或更高頻率的玩家不會同意，他們喜歡那種如絲般順滑的感覺，我尊重這一點。（但后續(xù)采用120Hz是保持產(chǎn)品平衡的一大代價）。例如，視場角面臨的挑戰(zhàn)之一是，視場角邊緣的像素要比視場角中心的像素多四倍。而這些像素對你的價值遠遠低于四倍。它們是相對不重要的像素。因此，如果你在價值明顯較低的像素上花費了更多，這很難證明是合理的。
我對幀速率也有類似的看法，我并不是說240 Hz不比120 Hz好，就像我認為60 PPD之于40 PPD一樣，但是在有限的計算預算內(nèi)，我們看不到這方面的代際巨大改進。我們需要更多策略，因此，我認為注視點渲染技術(shù)對于解鎖提高分辨率的能力具有真正的希望。我們能否想象這樣一個世界：顯示器能夠?qū)崿F(xiàn)更高的幀速率，但您在系統(tǒng)的其他地方做出了犧牲，如您無法進行多任務處理，我可以想象這些事情，尤其是對于工業(yè)用例。不過，這在很大程度上取決于面板。再說一次，我認為我們不會為此進行優(yōu)化。
順便說一句，關(guān)于120 Hz的有趣故事，這是如今一個很受歡迎的功能。當時我們還沒解鎖120 Hz，（當時是90 Hz)，我們的一位工程師發(fā)現(xiàn)屏幕面板其實支持120 Hz，約翰·卡馬克對此非常憤怒。如果設備支持該功能，我們應該為需要該功能的消費者解鎖。我們做到了，而它現(xiàn)在非常受歡迎。
所以，有些故事很傳奇，你為某種規(guī)格和某種功率而制造設備，但我們確實希望讓消費者有機會、有能力選擇如何使用這些功率。我們將繼續(xù)在這些系統(tǒng)中加入更多靈活性。我真的希望七年后的情況是，你有更多的頭顯可供選擇，而這些頭顯都能運行適應你使用情況的生態(tài)系統(tǒng)。
如果你是一名游戲玩家，并且習慣使用240 Hz的華碩ROG顯示器，那么，有沒有一款可以為你提供這種體驗的同等頭顯呢？雖然這樣做會犧牲一些其他方面，但這是一個你應該能夠做出的選擇。因為七年后，我們?nèi)詿o法擺脫重量、成本和性能等基本權(quán)衡。實際上，這三者只能選一個，甚至不能選兩個。
約翰·卡馬克在Oculus，圖源：網(wǎng)絡
馬修·鮑爾：蘋果最近宣布，他們將向開發(fā)者開放Vision Pro的透視相機數(shù)據(jù)，但僅限于由企業(yè)賬戶管理的設備和通過該企業(yè)內(nèi)部系統(tǒng)分發(fā)的應用程序。Meta對此有何看法？是否有這類計劃？您如何考慮安全性和功能之間的權(quán)衡？
Boz：好吧，我當然希望人們尊重并欣賞我們在隱私方面的立場，這一點比蘋果更甚。我認為我們不應該忘記，我們已經(jīng)確立了這一地位，而蘋果從市場角度來看正在削弱這一地位。當然，這是玩笑。
嚴肅的回答是，如果開發(fā)人員可以直接訪問相機，我們都可以想象出非常有用的用例。你是一名機械師，你正在看一個你不熟悉的引擎，開發(fā)人員可以構(gòu)建各種工具來幫助你查看覆蓋圖、查看示意圖，甚至診斷問題，但Meta永遠不會做到這一點，在開發(fā)人員沒有能力的情況下[做到這一點]……開發(fā)人員不能[預先]上傳我們可能看到的所有圖像配置，讓我們圍繞這些配置建立分類器，這也是不可信的......[那么]如果你不[自己]建立這種能力，這種用例就會得不到充分的服務。
同時，由于這項技術(shù)在世界上還很新，我們也希望確保人們、旁觀者感到舒適。如果有人選擇在飛機上佩戴頭顯，他們就會明白這對他們意味著什么。現(xiàn)在，我們正在尋找越來越多的技術(shù)來解決這個問題。有多種方式可以向旁觀者發(fā)出信號。我前面開了個關(guān)于蘋果的小玩笑，但我認為，Apple Vision Pro的出現(xiàn)對我們整個行業(yè)都很棒，現(xiàn)在人們對這些設備具有了更多了解，我認為，人們對它的了解越多，旁觀者感到恐懼或戴上它時感到不舒服的恐懼就越少，因為有些人擔心別人會對它產(chǎn)生負面反應，或者他們會對它感到驚訝。
所以我認為，我們總是以自己的方式看待我們行業(yè)中的技術(shù)，這并不公平。技術(shù)存在于社會背景中，社會對技術(shù)的適應程度越高，你就越能自由地執(zhí)行。社會對技術(shù)的適應程度越低，你將技術(shù)推向市場時就越需要謹慎。因為如果你不小心，你實際上可能會阻礙它隨著時間的推移而被采用。所以我認為我們在這方面采取了相當保守的立場。我想每個人都可能理解我們?yōu)槭裁床扇∵@種保守的立場。我堅持認為這是當時正確的做法。但當然，與此同時，我們對混合現(xiàn)實的潛在應用感到興奮，如果開發(fā)人員得到了消費者的完全同意，并且了解使用它的人的背景，那么我們就可以解鎖該功能。所以我們將繼續(xù)關(guān)注我們?nèi)绾慰创M者的舒適度，以及這項技術(shù)的發(fā)展以及它釋放了什么樣的力量。
Vision Pro，圖源：網(wǎng)絡
馬修·鮑爾：蘋果的另一大賭注是EyeSight（Vision Pro的外置顯示屏，旨在實時顯示用戶眼睛畫面），這或許反映了蘋果的內(nèi)部文化，或者試圖解決您之前提到的技術(shù)污名。這對設備的成本、重量、電池消耗以及設備上的所有方面都有很大的影響。您認為這些權(quán)衡值得嗎？您喜歡這個功能嗎？
Boz：其實我們非常確定這是我們發(fā)明的。我的團隊很早的時候曾在華盛頓州雷德蒙德的Reality Labs Research的一次會議上向公眾展示了一個演示，而我們在Connect大會也談到了它，并做了一個演示。所以這其實是我們玩了一段時間的東西，但蘋果率先推出了。對我來說，它成本、重量和價值之間的權(quán)衡真的不存在。在我看來，它甚至沒有給人們帶來很好的視覺體驗。我本周在AWE上其實看到了一些更好的產(chǎn)品，我認為我們的產(chǎn)品實際上也很好，面板分辨率更高，不過也更昂貴。
我認為，對于消費者來說，這不是一項好的成本效益交易，即使對于使用該設備讓人們感到舒適的消費者也是如此。我不認為使用該設備的人會因為Eyesight而感覺與人交談時感覺會更好。不過我并不討厭它，我認為，市場上有一系列做出不同選擇和不同權(quán)衡的設備，看看人們對此有何反應，這很好。對于我們來說，我們投入了大量的金錢和時間來嘗試讓這款產(chǎn)品價格實惠、而且易于獲得，不僅在成本方面，而且在重量和舒適度方面也是如此。這是一項艱難的交易。
萬有引力反向透視解決方案，圖源：萬有引力
馬修·鮑爾：我想談談更難的技術(shù)，您曾和Meta的AR眼鏡硬件主管說過，真正的光學AR眼鏡要想成為主流，需要四種、六種，甚至七種不同的NTI。您能解釋一下什么是NTI以及您認為實現(xiàn)這一愿景需要哪些NTI嗎？
Boz： NTI是一項新技術(shù)計劃，這是行業(yè)術(shù)語。如果您是產(chǎn)品團隊，硬件產(chǎn)品團隊，那么就會有之前已成功集成的技術(shù)。您可以將其從供應鏈中移除，也可以繼續(xù)采用。這會帶來很多便利和 [已知] 參數(shù)。您可以進行實時測試，也可以進行構(gòu)建。而新技術(shù)只會給項目增加風險（如果你引入它）。您不知道它是否會起作用、您不知道功率特性是否正確、性能是否正確，因此 [這些技術(shù)] 會增加風險。
隨著深入研究，你會發(fā)現(xiàn)NTI確實有很多不同的類型。有些NTI就像是，嘿，這是一項現(xiàn)有的技術(shù)，但它從未出現(xiàn)在這個特定領(lǐng)域，也有些技術(shù)就像是第一代技術(shù)。但NTI一直在不斷深入，直到所謂的高級開發(fā)，這已經(jīng)超出了研究范圍。
我們有一個概念驗證，我們知道它可以做到，但它從未被產(chǎn)品化、小型化、以低成本、高效地完成。有時你在實驗室里做了這件事，你會想“太好了，我們做到了。”但，這就像是你用一百瓦做了這件事，花了一千美元，而實際上我需要你用一百毫瓦做這件事，只花10美元。
因此，在成為NTI之前，有一個高級開發(fā)階段。當然，在此之前，是研究階段。從CK（Caitlin Kalinowski，Meta AR硬件主管）這樣的人的角度來看，它們都是NTI，因為她從事的是產(chǎn)品集成方面的工作。
對于我們來說，當考慮AR顯示器時，您必須生成光子，并且必須在非常非常小的空間內(nèi)生成光子。如果您考慮的是消費級眼鏡，那這就是您擁有的全部空間。你必須非常高效地產(chǎn)生光線，因為你沒有太大的電池。你必須能夠非常明亮地產(chǎn)生光線，因為當你走動時，外部世界的對比度可能為一百萬比一，這取決于你所在的位置和陽光等，至少是一萬比一。所以你需要能夠在合適的地方用亮度壓倒日光。此外，您必須具有熱效率，因為即使你實現(xiàn)了所有這些事情，但它會積聚大量熱量，這也是不行的，因為設備就戴在臉上。因此，這對我們來說是巨大的挑戰(zhàn)。你可以想象有很多不同的系統(tǒng)可以做到這一點。
我們在Micro-LED方面已經(jīng)投資了很長時間，不過里面有些事情很棘手，比如紅色波長、尤其是真正的紅光，但即使是偏紅光也很難產(chǎn)生。為什么呢？因為紅光的波長很長，而產(chǎn)生這種波長的空間非常小。因此，你實際上是在試圖制造亞微米級的鏡面結(jié)構(gòu)，讓光在發(fā)射前就能形成并足夠長。然后，你需要以非常非常集中的方式發(fā)出準直光。它不能到處亂射，因為那樣效率不高。所以，一旦你有了這個光源，你就需要把它做成各種顏色。當然，效率特性也不盡相同，所以你必須能夠制造出來。為此，我們正在使用電子掃描顯微鏡，用原子拖動材料表面，然后測量原子的位移，繪制出三維地圖。
三色Micro-LED效率對比，圖源：網(wǎng)絡
當搞定前面這一切，你又該如何讓一堆東西排成一排，然后給它們供電？所以這是對研究的研究。做這件事本身就是研究，然后制造這件事是一個完全漸進的研究計劃。好吧，假設你有這個光源，你需要將它耦合到某種東西上，把光發(fā)送到你的眼睛，但你的眼睛是一個鏡頭，所以你不能只讓它在一個點上打到你的眼睛。你必須做所謂的瞳孔復制。這樣光線就需要同時在很多地方打到你的眼睛，然后重新聚焦成視網(wǎng)膜上的一個圖像。順便說一下，瞳孔復制從效率的角度來看真的很糟糕，因為如果你有一個1000分鐘的東西，但根據(jù)光學擴展量定律，你必須做10倍的復制，你的效率就會降低1/10，因為每個像素、每個光子都需要走10條路徑中的一條。
這些復雜的波導設計，有很多不同的方法，而它們都使用了光的內(nèi)部全反射原理。當光線以足夠低的角度照射到材料上時，就會在路徑上反射出100%的能量，這就是光纖的工作原理，這些都是通過內(nèi)部全反射原理實現(xiàn)的，所以你需要一種折射率非常高的材料，兩種材料的折射率之差決定了反射的程度。折射率越高的材料，不僅能更有效地利用你產(chǎn)生的光線，而且對于瞳孔復制、熱成像等都非常重要，同時還可能獲得更寬的視野。
關(guān)于波導片，你可以使用玻璃，可以使用鈮酸鋰，可以使用碳化硅，也可以使用新型材料。我們現(xiàn)在有一個完整的材料研究團隊，試圖開發(fā)出高折射率材料，材料科學是其中很大的一部分。但即使有了材料，還得設計波導，而波導有很多不同的樣式。你可以做表面浮雕光柵，可以做體布拉格光柵，可以做全息光柵，可以做光電光柵...... 我們的產(chǎn)品種類繁多，它們的優(yōu)缺點也各不相同。有些容易制造，有些比較困難。因此，這里面的難度是非常大的，僅就這些小型組件而言，要實現(xiàn)高質(zhì)量的光學穿透，就需要進行大量的研究。
那么，是什么控制了分辨率呢？其中之一就是像素間距。現(xiàn)在你有了Micro-LED而它們的像素已經(jīng)達到兩微米了，但你還需要把它們縮小一半，里面的難度不止一倍，這是一百倍的挑戰(zhàn)。我們甚至不知道這件事的上限。我認為需要花一輩子的時間研究才能繼續(xù)解決這個問題。不管怎樣，我們確實覺得我們處在一個很酷的節(jié)點上，這在10年或15年前根本不可能實現(xiàn)，我們沒有路。而我們現(xiàn)在看到了一條路。我們內(nèi)部有一套AR眼鏡，但它仍是一種研究工具，一種產(chǎn)品開發(fā)工具，為了做到這一點，我們必須去掉一個關(guān)鍵的方程式，那就是成本。
是的，你必須做好所有這些事情，然后想辦法以消費者能夠承受的價格做到這一點。我們正在取得巨大進步。很酷的是，作為一個行業(yè)，我們實際上都在采取非常不同的方法。蘋果采用DLP，谷歌采用Raxium [該企業(yè)于2022年被谷歌收購] 和量子點，我們正在研究Micro-LED。因此，行業(yè)中有很多并行路徑，有很多不同的方法，這令人興奮。因為你會發(fā)現(xiàn)這增加了在某個時候我們將擁有一個相當不錯且希望具有成本效益的工作版本的可能性。
我甚至沒有深入研究空間音頻、運行圖形管道所需的定制芯片、高效完成這一切所需的無線連接等問題。如果你認為點亮一個像素很昂貴，那么嘗試通過無線電發(fā)送一個像素，那就更加昂貴了。所有這些令人難以置信的昂貴東西都需要裝進這個小巧的封裝中。這真的令人興奮。但這可能是我們行業(yè)在我有生之年以及我這一代面臨的最大挑戰(zhàn)，但它確實如你想象的那樣令人興奮，也同樣困難。
發(fā)布于2020年的Meta智能眼鏡Project Aria，圖源：網(wǎng)絡
馬修·鮑爾：自2019年以來，Reality Labs已花費約650億美元。累計會計損失約為550億美元。您能否介紹一下里面的投入分配情況？有多少是我們還沒有機會接觸的產(chǎn)品，其中有多少用于分配給五年或十年后的項目？
Boz：我可能無法給你更詳細的細節(jié)。我能告訴你的是，在如何分配[投資資金]方面，我長期以來一直遵循一個相當普遍的原則，那就是我總是希望以投資組合為基礎(chǔ)進行投資。
你想要有一些概念，那就簡單分為一半一半吧，你想要把你的精力投入到那些現(xiàn)在正在創(chuàng)造真正價值、對你有形的東西上。人們忘記了我們在這段時間內(nèi)所做的投資中包括內(nèi)容之類的東西。內(nèi)容是你所做的投資。無論是收購《Beat Saber》團隊的Beat games那樣才華橫溢的團隊，還是將你自己的第二方生態(tài)系統(tǒng)帶入游戲，給他們早期訪問權(quán)，以換取他們開發(fā)新功能?；蛘咧皇墙o第三方開發(fā)者一些錢，讓他們帶來他們的作品，并確保他們對自己的努力將獲得的回報有足夠的信心。
這就是其中的一部分，你對平臺內(nèi)容的投資從長遠來看是非常值得的。你試圖引導一個雙向的生態(tài)系統(tǒng)。這是我們公司最終的產(chǎn)品。最終的產(chǎn)品實際上不是一件硬件或一項技術(shù)，而是一個生態(tài)系統(tǒng)，一個雙向的生態(tài)系統(tǒng)，每個人都在為之做出貢獻，而你在其中占有一席之地，你能夠?qū)⑾M者和開發(fā)者這兩個方面連接在一起。
如果你將過多的投資組合投入到未來產(chǎn)品中，你很快就會偏離消費者真正想要的東西、他們看重的東西、什么是真實的。你可以給自己講一個故事，我想你最終會發(fā)現(xiàn)，這其實相當冒險。所以如果你至少有一半的精力投入到相對更有形的東西中。這并不意味著它們現(xiàn)在就在市場上。它們甚至可能還要幾年才會上市。只是這些是基于對價值的真正有形理解。
現(xiàn)在，如果你有一個非常成熟的產(chǎn)品，你的投資組合可能超過 50%，可能是 80%，接近目前的工作。也許你有一個增量部分，在一個小型的、非常面向未來的投資組合中。那不是我們。我們顯然非常注重長期未來。你提到的這些數(shù)字聽起來都很大，當然對外行人來說是這樣。如果你看看包括我們在內(nèi)的公司在人工智能方面的投資，他們愿意做多少投資來達到像iPhone或甚至像Android那樣的地位。我認為Android是一個很好的例子，它被低估了。有人認為Android并非谷歌收費的東西，所以它的價值為零，但恰恰相反，Android對Google的價值是巨大的，因為它賦予了Google巨大的地位，他們能夠在那里使用大量信息，并且能夠通過其他渠道為消費者提供大量服務。因此，這對Google來說具有巨大的價值。
從他們每年為在Android上的地位向Apple支付的費用中，你可以看出這種價值有多么巨大。那么，這個數(shù)字是多少？每年200億美元，或類似的數(shù)字。所以當你看到這些數(shù)字時，你會問，為了能夠掌控自己的命運，你愿意付出多少錢？我認為我們在這方面的支出完全在我們的能力范圍之內(nèi)，我認為我們做得很好。
Meta VR/AR原型設備，圖源：Meta
馬修·鮑爾： 我的最后一組問題與人工智能有關(guān)。我很想了解過去兩年人工智能的進步如何改變了您的路線圖？人工智能在元宇宙中扮演什么角色？假如你現(xiàn)在作為消費者、愛好者或開發(fā)者，是什么讓您對人工智能感到興奮？
Boz：人工智能的發(fā)展對我們來說真的是一件令人欣喜的事。這是我們長期投資的領(lǐng)域。我想你知道，直到最近，基礎(chǔ)人工智能研究團隊才向我匯報，我非常享受與該團隊一起工作。
你可以想象，我仍然與公司在該領(lǐng)域的工作密切相關(guān)。上一個回答中，我談到了我們在開發(fā)AR技術(shù)時遇到的所有巨大阻力，我們正在取得良好進展，但進展艱難。AI是一股清新的空氣，它比預期的要快得多，比預期的更有用，它有一套真正切實可行的工具來改善我們尚未解決的一些最困難的問題。
當你戴著AR頭顯四處走動時，你如何與設備互動？你需要設備擁有一些常識，這可能是最好的形容詞。它需要理解一些事情。類似于自動駕駛，事實證明，自動駕駛車輛在交通中遇到的隨機情況數(shù)量如此之多，如此之大，長尾如此之長，以至于當你試圖死記硬背時，你幾乎無法到達那里。所以對于我們頭顯來說，我們的架構(gòu)圖中一直有一個概念，我們有時稱之為指揮。這個Agent可以感知你的注意力和意圖，了解你想要完成的事情并幫助你。
如果我面前有一段文字，你走過來跟我說話，AI會自動知道，嘿，我們應該移動一下，這樣你就可以與這個人進行非常強烈的目光接觸，這就是你要做的。
當你走開時，我們可以把它帶回來，讓那種感覺變得神奇。假設我們會用啟發(fā)式方法來實現(xiàn)這一點，并盡最大努力開發(fā)一個模型。我們有一個以數(shù)據(jù)為中心的偉大數(shù)據(jù)集，我們用我們的Project Aria研究工具開發(fā)了eco 4D數(shù)據(jù)集，試圖獲得一個數(shù)據(jù)集，這是一種非常自動駕駛的方法。我們可以很好地達到80%，還有20%是消費者必須自己干預的，我們會試著隨著時間的推移不斷學習。
在MR中，你會想到Horizon，基于AI為這個巨大的由用戶生成的世界構(gòu)建結(jié)構(gòu)。你前面提到Facebook董事會的一份“Metaverse”備忘錄，這份文件是由杰森·魯賓 (Jason Rubin) 寫的，我想我是第一個讀它的人。我覺得這是一份開創(chuàng)性的文件，盡管當時所有這些想法都有點混亂，它們四處飄蕩，還沒有形成一個有凝聚力、連貫的結(jié)構(gòu)，但他做到了這點。
我們對此一直有很高的要求：任何人都可以建造一些東西，但沒有人能建造出任何好的東西。這是我們在過去兩年的Horizon開發(fā)中一直在糾正的錯誤，并取得了巨大的成功?，F(xiàn)在，AI徹底改變了它，如果你有能力用簡單的語言來描述一個場景，并進行迭代，這樣你就可以邊走邊編輯場景，這是當今大型記錄模型的一大優(yōu)勢。
盡管我們還不能在3D中做到這一點，更不用說在4D中隨著時間推移制作動畫了，但我們正在進行這項研究，我們有一個團隊在做這件事，我們正在取得進展。這是一種非常令人興奮的方式。它可以降低人們的準入門檻，讓他們?nèi)?chuàng)造一個足以讓他們引以為豪的空間，去邀請別人來參觀，或者說，這個空間足夠讓他們接受，以至于他們會經(jīng)常使用，因為這個空間給他們的感覺真的非常好。
對我來說，人工智能正以超光速的速度推動我們一直以來的一系列概念。我們一直想實現(xiàn)這個目標，在這之前是一個漫長、緩慢、線性的過程，而突然間，我們看到了實現(xiàn)目標的途徑，比我們想象的要快得多。所以這是了不起的。
對于我們路線圖，AI當然也會影響硬件。Ray-Ban Meta比初代Ray-Ban Stories有了顯著的改進，里面除了硬件改進外，還有AI，尤其是多模態(tài)AI，真正揭示了一臺設備，（即使是沒有屏幕的設備）能發(fā)揮的更深層價值。所以現(xiàn)在我們顯然對這些產(chǎn)品充滿信心。我們制造了它們，我們銷售它們，我們對它們感到興奮，我們一直認為，這是讓人們熟悉這種設備的良好墊腳石。
發(fā)布于2023年的Ray-Ban Meta，圖源：網(wǎng)絡
我認為它們會比我們想象的更有用。我認為我們實際上已經(jīng)建立了......這種情況發(fā)生的頻率有多高？你制造了一個消費電子設備，有一個強大的用例，可以推動銷售，而你在最終確定硬件時甚至沒有想到過。這永遠不會發(fā)生，伙計。那是天賜之物。這就是人工智能為我們代表的東西。從個人角度來看，我認為我們作為一個行業(yè)尚未解決的大問題之一，但我們都對此感到興奮，那就是個性化人工智能。
今天我們通過作弊的方式似乎做到了這一點，如預先加載一些信息到上下文窗口，但這樣做成本高昂且速度慢，而且上下文窗口很緊，如果你用這些信息填充它們，那么它們的記憶就會變短。即使你放進去的所有東西都不夠，我認為我們還沒有達到那個水平，這有很多原因，但我們都在朝著同一個方向努力。
我認為個性化的人工智能可以根據(jù)我個人的經(jīng)歷和溝通進行了微調(diào)，以保護隱私和我們使用數(shù)據(jù)的方式，我認為這是一件非常令人興奮的事情。我認為，這種能力對我來說非常有用，而不是一般有用，這將是一個巨大的飛躍。
.png)
