編者按：儘管去年 Meta 收入首次出現了下降，儘管遭遇了通貨膨脹和經濟低迷，但該公司仍義無反顧地對元宇宙押下重注。那麼，他們的努力都收到了什麼成效？這些項目是不是都能實現？ Meta 這場實現虛擬世界願景的持久戰究竟能堅持多久？這一切都隱藏在那個絕密的現實實驗室的背後，我們就來看看裡面都有什麼吧。文章來自編譯。
馬克·扎克伯格就坐在我對面，用手指的輕微運動控制着屏幕上的物體。輕敲，滑動，捏合。他的手腕戴着一塊粗大的腕錶，看起來很像一塊實驗性的智能手錶：這就是 Meta 對我們未來與 AR、VR、計算機以及其他一切互動的願景。
就在準備演示這款神經腕帶之前，扎克伯格說：“它跟智能眼鏡配合得很好……其實我覺得它適合一切。我認為在未來，人們會用它來控制自己的手機和電腦，以及其他東西……你只需要帶上一條腕帶。”他的手和手指的動作似乎很輕微，幾乎像是一動不動，有時幾乎都看不見。
神經輸入設備只是 Meta 除了 VR 以外的戰略的一部分，而這些腕帶是我第一次訪問位於華盛頓州雷德蒙德的 Meta Reality Labs 總部時看到和試過的技術之一。此番探訪是 Meta 第一次邀請記者參觀其未來的技術研究設施，這些設施就坐落在 Facebook 硅谷總部以北的幾座不起眼的辦公樓內。
位於華盛頓州雷德蒙德的 Meta Reality Labs 入口。
上次拜訪雷德蒙德時，我試用了微軟的 HoloLens 2。我的 Meta 之旅也有類似的經歷。這一次，我試用的是 Meta Quest Pro，這是一款將 VR 和 AR 融合到一台設備之內的頭戴設備，扎克伯格要靠它去推動自己的雄心壯志，實現更聚焦於工作的元宇宙戰略。
Meta 最新的 Connect 大會新聞主要的關注點還是 Quest Pro，以及與微軟、Zoom、Autodesk 和埃森哲等公司建立的新的工作夥伴關係，目標是讓 Meta 與微軟的混合現實雄心珠聯璧合。
我還得看看他們的一些實驗性研究項目。雖然這些項目還沒有為日常使用做好準備，但可展示 Meta 下一步計劃的確切目標。這些還很遙遠的項目，以及更昂貴的 Quest Pro 頭戴設備，它們的出現在對於 Meta 來說是一個奇怪的時刻，這家公司已經投入數十億美元到元宇宙的未來，但其最受歡迎的 VR 頭戴設備 Quest 2 的銷量仍然不到 2000 萬。感覺未來還沒有完全到來，但像 Meta 這樣的公司已經為此做好了準備。
我與其他幾位受邀記者一起體驗了若干離奇古怪的演示。那感覺就像我在探索威利·旺卡（Willy Wonka）的巧克力工廠。但我也得到了這樣的信息，即雖然 Quest Pro 看似是 Meta 硬件走向新方向的開端，但它離最終目標還很遙遠。
Meta Reality Labs Research ，研究人員在演示用EMG 腕帶測量運動神經元
神經輸入：會適配人的腕帶
Meta Reality Labs 的首席科學家 Michael Abrash 一遍又一遍地告訴我這個詞：“協同適應性學習” 。他說的是 Meta 自 2019 年收購 CTRL-Labs 以來曾多次討論過的那款腕帶。這是一個很難理解透徹的概念，但在幾位訓練有素的研究人員的展示下，我總算對此有所了解。戴着連接到電腦的笨重腕帶，佩戴者只需動動手指，即可讓卡通人物在無休止的遊戲裡面來回走動。然後，他們的動作似乎停止了。他們的動作如此輕微，以至於他們的手看起來幾乎都沒有動，但他們其實還在玩着遊戲。這款腕帶用 EMG（肌電圖，對肌肉的電測量）來檢測細微的肌肉衝動。
Reality Labs 神經運動接口總監， CTRL-Labs 前首席執行官 Thomas Reardon 在此次演示中發表了演講。他表示，基於反饋的訓練過程可以逐步讓腕帶佩戴者減小動作幅度，最終可以只用一個運動神經元。最終結果看起來有點像讀心術，但其實是通過巧妙地測量展現運動意圖的電脈衝來完成的。
馬克·扎克伯格用電腦演示一種神經輸入腕帶
扎克伯格在展示腕帶的時候，用了一組類似的動作，也很輕微，但更明顯。腕帶的控制感覺與基於觸摸的觸控板或空中鼠標（air mouse）有點類似，能夠識別靠壓感的捏合、滑動和手勢。
在描述 EMG 和神經輸入技術的目標時，Abrash 表示：“從長遠來看，我們希望能有一個像與物理世界打交道一樣自然和直觀的界面。”
打字如何實現還沒有出來。根據扎克伯格的說法，要達到能正常打字的速度和保真度需要更高的帶寬：“現在比特率低於快速打字的頻率，但首要任務是先得讓技術可行。”到了一點時候，目標是讓控制能做更多的事情。 Meta 認為這項技術可能需要五到六年的時間才能面世，感覺就太久了。但如果這個時間框架保持不變的話，它可能會與 Meta 預計的最終定型版 AR 眼鏡一起面世。
EMG 腕帶看起來像一塊巨大的智能手錶原型，那一段段的錶帶內置了傳感器。
扎克伯格說，腕帶是智能眼鏡的關鍵，因為我們不想把控制器隨時帶在身邊，而語音和手勢跟蹤還不夠好。但最終他計劃讓這些類型的控制完全適用於任何設備，不管是 VR 還是其他設備都能識別。
這些控制看起來會牽涉到一種完全不同類型的輸入語言，可能與手機或 VR 控制器上的現有控制相似，但會逐步適配人的行為。人們似乎需要一段時間才能學會使用它。
Reardon 說：“大多數人都會知道很多關於控制上的事情，比方說如何在這個世界進行互動，如何移動自己的身體等。他們會理解簡單的系統，比如字母。那就是我們的契合點，然後我們做這件事，這個非常深度的思想叫做共同適應，按照這個想法，人與機器將攜手並進，沿着通往我們的目標之路共同學習，這個目標我們稱之為純神經界面。我們會利用神經運動接口將神經解碼與運動解碼融合到一起。與其說這是一種新的語言，不如說這種語言會在機器和人之間進化，但它的開端是人們今天所做的事情。”
演示反饋如何會讓腕帶感知到幅度越來越小的運動。
扎克伯格補充道：“共同適應這個東西很有深度。你沒法與物理鍵盤共同適應。移動鍵盤的話有涉及一點點共同適應，比如你出現了一點拼寫錯誤也沒問題，它會預測 [你想輸入的單詞]，但共同適應遠不止於此。”
我自己沒有戴上或試過神經輸入腕帶，但我能看別人是怎麼用的。幾年前，在 CES 上，我確實略為上手過一種不同類型的腕戴式神經輸入設備，對此類技術的實際工作原理算是有了一點感受。它與我一年前試過的 Nextmind （后被 Snap 收購）的頭戴式設備不同，後者是用大腦信號來衡量眼球運動。
使用 Meta 腕帶的人似乎很容易就能做出動作，但那些都是基本的滑動遊戲控制。這種控制設備如何才能配合 AR 眼鏡執行更關鍵的日常使用？ Meta 還沒做出來這種效果：根據扎克伯格的說法，目前的目標是讓技術能用，並展示自適應學習如何可以逐步縮小反應的動作幅度。我們可能需要一段時間才能在日常設備上看到這項技術，但我想知道的是， Meta 怎麼將這些原理應用到不是基於神經輸入，而是靠機器學習輔助的那種控制上。在最終目標實現之前，我們能看到改進的控制器或手勢跟蹤組合嗎？很難說。但這些腕帶目前還是很遙遠的賭注，不具備指日可待的可能性。
戴着一個支持空間追蹤的頭戴設備，我分辨不出它製造的音效與房間里的揚聲器的區別。
超真實的 3D 音頻
我嘗試的第二組演示，展示了下一代的空間音頻，其實就是 Meta 在 2020 年談到過的研究——該公司原先計劃在疫情爆發之前做現場展示的。空間音頻已廣泛用於 VR 頭戴設備、遊戲機和 PC 以及各種日常耳機，如 AirPods 的上面。 Meta 打算做的不僅僅是讓音頻看起來似乎來自不同方向，而是以讓它看起來像是真的來自你自己房間的方式傳播聲音。
我們去參觀了該實驗室的隔音消聲室，那是一個帶有泡沫牆的懸挂空間，可以阻擋聲波的反射。對方向我們展示了一系列的音箱，那是用來幫助研究聲音是如何傳播到人的耳朵，並探索聲音在物理空間的運動方式的。之後，我們體驗了兩個展示聲音的真實感的演示。
在 Meta 的消聲室內，他們用了一系列的音箱幫助製造空間音頻。
其中一個演示是我坐在擁擠的房間里，耳朵戴上麥克風，然後項目負責人在我周圍走動，演奏樂器並在不同距離發出聲音。錄製了 40 秒之後，項目負責人用頭戴式耳機給我回放了那段音頻……裡面有些地方聽起來就像有人在房間裡面我的周圍走動一樣。我認為，這種效果之所以令人信服是因為音頻回聲：運動在房間的空間裡面產生的那種回蕩的感覺。
第二個演示我是在一個放有四個音箱的房間裡面。他們讓我戴上一副 3D 空間追蹤耳機，然後確定聽到的音樂是來自音箱還是我的耳朵。我失敗了。音樂的播放似乎毫無瑕疵，我在逛來逛去的時候不得不摘下耳機來確認聲音的來源。
按照 Michael Abrash 在 2020 年的說法，這項技術不像神經腕那樣，距離成為現實還很遙遠。 Meta 的計劃是在手機攝像頭的幫助下，對 3D 音頻做出個性化的調整，就像蘋果剛剛給最新的 AirPods 增加的特性一樣，但多了一項逼真的房間映射的額外好處。 Meta 的目標是最終讓出現在任何空間內 AR 投影聽起來都令人信服：這個目標是很有意義的。一個由全息物體組成的世界需要給人以與現實錨定的感覺。儘管，如果未來的虛擬對象聽起來感覺像我試過的演示一樣令人信服的真實的話，那真實聲音和虛擬聲音可能就很難區分，這會引起一大堆別的存在主義的問題。
戴着 VR 頭顯，與電腦屏幕上的頭像說話：與虛擬角色的對話太逼真了，以至於感覺就像和他們在同一個房間裡面一樣。
與逼真得像照片一樣的頭像交談
我站在一個黑暗的空間里，戴上特製的面部追蹤 VR 頭顯，我對面出現了一張似乎被燭光照亮的非常逼真的臉龐，但其實那人身處 Meta 位於匹茲堡的 Reality Labs Research 辦公室。我正在體驗 Codec Avatars 2.0，它憧憬的是一個關於虛擬世界中的化身如何變得逼真的未來。
究竟有多逼真？很逼真。逼真到不可思議：我站得很近，看着對方嘴唇的動作、他的眼睛、他的微笑和皺眉。感覺就像和一個超級逼真的 PlayStation 5 遊戲角色交談，然後一遍又一遍地意識到這是與真人的實時對話，以虛擬形象的形式進行。
我想知道面部跟蹤到底有多好或局限性有多大：畢竟，我早期試用 Quest Pro 的時候就發現了用面部跟蹤的局限性。我讓對面的 Jason 的虛擬角色做出各種表情，他照做了。他說我是個話癆，這讓我發笑。環境的親密性讓我感覺我必須靠近一點交談，那感覺就像在山洞或昏暗的酒吧里一樣。我想就有那麼逼真吧。最終，這種逼真感覺開始好到以至於我認為自己在進行真正的對話了。感覺就像我在自己的視頻遊戲的過場動畫裡面一樣。
不過 Meta 並不認為這會很快應用到日常的頭戴設備上。首先，獨立的 VR 頭顯的處理能力有限，房間裡面的頭像越多，圖形處理的負擔就越重。此外，跟蹤技術還不適用所有人。
嘗試與與一個Instant Codec Avatar聊天，用手機掃描人臉即可創建出來的。
我嘗試的第二個演示有一個更精簡版，上面展示了一個頭像，它是通過用名為 Instant Codec Avatars 的新技術，通過手機攝像頭進行面部掃描創建出來的。這張臉看起來比我自己用過的大多數掃描都要好。但我感覺自己只是在跟一個僵硬的、只能輕微移動的頭像說話。最終的結果不如 Meta 現在使用的卡通化皮克斯式的頭像那麼流暢。
用一系列攝像機對一位演員提前進行 3D 掃描。我看到之後渲染的化身被疊加了一層數字服裝。
最後一個演示展示的是一個全身的化身（從頭到腳！），但不是直播的或交互式的。得先用一系列攝像機在一個特殊的房間對演員預先進行 3D 掃描。這項演示的目的是展示如何將數字化衣服逼真地披在化身上。從近距離看結果相當不錯，但效果與逼真的視頻遊戲類似。他們似乎是在試水有朝一日在虛擬世界裡面如何出售數字資產，但當前任何一款頭戴設備都還不支持這種。
我的運動鞋用 Meta 新的捕捉技術進行了 3D 掃描，只需要手機即可。
對我的鞋子進行3D 掃描（還有超逼真的仙人掌和泰迪熊）
就像魔術表演裡面的志願者一樣，我被要求脫下一隻鞋子進行 3D 掃描實驗。我的鞋子最後被放到桌子上，只需用手機攝像頭掃描——不需要激光雷達。大約半小時后，我就可以開始用 AR 和 VR 看自己的鞋裡。與空間音頻一樣，3D 掃描已經很普遍，有很多專門做將 3D 資產導入 VR 和 AR的公司。 Meta 的研究目標是用一種所謂的神經輻射場（neural radiance fields）技術，從而讓各種手機攝像頭掃描也能取得更好的結果。另一個演示將保真度又提高了一個檔次。
我的鞋被掃描后 AR顯示的效果。
有幾個東西是預先掃描好的，顯然需要幾個小時才能準備好，它們捕捉到了複雜 3D 物體的光模式。在VR頭顯設備上看到的結果給人留下了非常深刻的印象，包括一隻泰迪熊，幾顆仙人掌等的細節非常逼真。捲曲的皮毛似乎不像大多數 3D 掃描那樣融合到一起或呈磨砂裝；相反，呈現出來的效果是蓬鬆的，似乎沒有角度。仙人掌上的刺纖毫畢現。
在我在 Reality Labs 嘗試過的所有演示當中，這也許是最不能令人叫絕的。但這僅僅是之前已經在 AR 和 VR 演示中有了許多令人印象深刻的 3D 掃描和渲染的體驗。目前還不清楚Meta 的研究示例在日常當中實現起來的實時性或容易程度如何，所以很難判斷該功能的有效性。可以肯定的是，如果將對象掃描成文件兼容的虛擬版變得更加容易的話，那就將成為任何公司實現統治虛擬世界這個野心的關鍵。大量企業已經瞄準了線上銷售虛擬商品，下一步是讓任何人都可以輕鬆地對自己的東西做這件事。同樣，這個也已經有在手機上使用的可能，只是看起來還沒有那麼好……還差點火候。
首席科學家Michael Abrash 在一堆VR 和 AR 原型頭顯前與我們交談。
這一切意味着什麼呢？
當我結束在 Meta 一天的參觀，在停車場去打 Lyft 時，我腦海裡面浮現的一個更大的疑問，是這一切匯總起來意味着什麼呢？ Meta 擁有全新的 Quest Pro 頭戴設備，這是一款將 AR 和 VR 融為一體的尖端設備，它為通過面部跟蹤控制頭像提供了新的可能性。
未來的其餘部分仍然是一系列的問號。 Meta 野心勃勃，想要在元宇宙開疆拓土，但通往那些地方的道路都還沒有鋪設完畢。神經輸入、AR 眼鏡、聲音、物體和體驗的虛實融合？這些可能還需要幾年的時間。
儘管去年Meta 收入出現了下降，儘管遭遇了通貨膨脹和經濟低迷，但該公司仍義無反顧地對元宇宙押下重注，這些項目是不是都能實現？ Meta 這場實現虛擬世界願景的持久戰究竟能堅持多久？
Meta 的VR 太陽鏡原型，是該技術的“北極星”目標。
一天參觀結束，當我們再度聚在一起時，Abrash 又一次把我們帶回到同一個主題，即沉浸式計算最終會成為一場真正的革命。早些時候，我們曾在了一堵掛滿了 VR 和 AR 頭顯的牆邊駐足，這是 Meta 製作的所有實驗原型的獎盃陳列櫃。我們看到了有混合現實的，有的則是連着顯示器，旨在展示看到的外部的樣子，還有的非常小，似乎是要成為太陽鏡一樣的夢想 VR 設備。
這讓我想到了智能手機進入主流之前走過的手機設計實驗的漫長道路。顯然，元宇宙的未來仍在路上。雖然現在大事物可能正在出現，但 AR 和 VR 未來真正的“智能手機”在很長一段時間內可能都不會出現。
站在頭顯陳列牆上，Abrash 說道：“有一點我非常確定，那就是 20 年後，這將是我們互動的方式。它將以我們以前從未做過的方式去做事情。但它的真正問題是，要做到這一點非常非常困難。”
延伸閱讀：
一年過去了，扎克伯格進軍元宇宙的努力究竟出了什麼問題？
譯者：boxi。
本文鏈接：https://www.8btc.com/article/6782310
轉載請註明文章出處