小扎在元宇宙「長腿」的秘密：加裝硬件不靠譜，機器學習才是銀彈

來源：“新智元”（ID:AI_era），作者：LRS 

圖片來源：由無界版圖AI工具生成。

元宇宙讓你截肢，Meta讓你站起來，而且免費（不用額外加裝硬件）！

元宇宙的願景是美好的，但前路困難重重。

由於頭顯設備無法捕捉到腿部的運動，所以目前元宇宙里的虛擬化身都只能有一半「身子」。

最近Meta在Horizon Worlds里完成一個劃時代的創舉，不僅在元宇宙里給化身加上腿，甚至還能旋轉跳躍。

但也有批評者表示，這根本就不是用戶真實的腿部運動，Meta只是利用技術模擬了運動軌跡，讓行動看起來真實一些。

不過相比其他元宇宙應用中的「意念飛行」或者「假腿滑行」來說，Meta確實實現了元宇宙中零條腿的突破。

而Oculus軟件開發包（SDK）最近也發布了更新，開發者可以在新設備使用身體追蹤、面部追蹤、眼球追蹤技術，可以將用戶在現實中的一舉一動都帶入到映射到元宇宙中。

所以，Meta到底是怎麼讓虛擬化身長腿的？

長腿了，但沒完全長

首先提一個問題，「長腿」這件事，對「你自己」來說更重要，還是對別人更重要？

比如在FPS遊戲里，我們從來沒有看到過使用角色的腿長什麼樣（除了死亡視角），所以如何讓用戶觀察到「其他角色」的正常腿部運動才是解決問題的關鍵。

Meta首席技術官Andrew Bosworth在一次Instagram會議上回答關於「腿部追蹤」問題時，明確表示：

我們目前的戰略就是研究如何讓旁觀者看起來「你」的腿更自然，因為實際上上他們也不知道你的腿到底是如何擺放的。如果你低下頭看自己的腿時，可能仍然什麼也看不到，不過這也不重要。

而Meta讓虛擬化身站起來的秘密就藏在9月20日上傳到arXiv的一篇論文里。

論文鏈接：https://arxiv.org/pdf/2209.09391.pdf

先看一下他們的解決方案演示視頻，僅通過頭顯即可實現對人體運動的實時跟蹤，可以極大提升AR/VR中的沉浸式互動體驗。

從獨立的可穿戴設備如HMD（頭戴式設備）或AR眼鏡中獲得的關於身體的傳感器數據非常有限。

這篇論文中，Meta提出了一個強化學習框架，接收來自HMD和兩個控制器的稀疏信號，並模擬可信的、物理上有效的全身運動。

在訓練中使用高質量的全身運動數據作為監督，然後用一個簡單的策略網絡可以學習輸出適當的扭力，以使角色實現平衡、行走和跳躍，同時密切跟蹤輸入信號。

實驗結果表明，在完全沒有觀察到下半身的情況下，即使輸入的只是HMD的6D變換，模型預測的腿部運動與真實運動軌跡相似度非常高。

研究人員還證明，單一的策略網絡可以對不同的運動方式、不同的身體尺寸和新環境也具有魯棒性。

雖然官方宣傳這項功能是「身體追蹤」（body tracking），但實際上更準確的形容是「身體姿勢估計」。

發言人形容這項技術是逆運動學(inverse kinematics，IK)和機器學習(ML)的結合。

IK指的是一類基於已知位置估計骨骼(或機器人)部件未知位置的方程，其中的方程式是為應用程序中的全身虛擬現實化身提供運動的基礎。

開發者不需要實現(甚至不需要理解) IK 背後的數學原理，像 Unity和Unreal這樣的遊戲引擎已經內置了IK

其他的一些身體跟蹤技術往往需要一些專用硬件，比如像HTC 的Vive Tracker等，而VR 的 IK 往往是不準確的，Meta的主要賣點在於它的機器學習模型可以免費生成更精確的身體姿勢。

在一次面向開發者的演講中，身體追蹤產品經理Vibhor Saxena表示，未來幾年身體跟蹤的新改進將通過相同的 API 提供，所以無需更換設備即可享受最新的身體跟蹤技術。

但這種方法仍然存在一些關鍵問題沒有解決，比如如何流暢地處理坐姿和站姿之間的變換，以及如何使腿部在用拇指移動時看起來自然。

通過這項技術安裝的腿行動軌跡也並非完全準確，並且有160ms的延遲，在72Hz的設置下，大約是11幀。

不過相比當下的元宇宙應用程序中，虛擬化身的移動看起來更像是在滑行或「意念飛行」來說，這項技術已經是重大進步了。

到底是不是身體追蹤？

Meta說是「身體追蹤」，但實際上只是「身體模擬」，引來了大量批評的聲音，不過也有大量的網友表示支持，網友Christian Schildwaechter提供了相當專業的評論。

認定Meta還沒有提供身體追蹤的完整解決方案有些不公平，因為其他廠商也沒有做到這一點。

他們的宣傳片並不代表他們軟件的當前狀態，更多的是他們的目標。Meta公司經常把演示弄得一團糟，不管是用非常令人毛骨悚然的化身，還是誇大沒有人真正關心的東西，但他們仍然在做領域內相當尖端的東西。

當然，其他公司實現全身追蹤技術已經有很長一段時間了，但這需要在硬件和高速計算機上進行巨大投資。

現有的軟件IK已經存在很長一段時間了，但它經常會破壞沉浸感、生成一些物理上不可能的姿勢，或者在移動時導致肘部受到影響。

必須看看他們的方法效果如何，以及他們是否能夠為腿部想出一個可用的解決方案，但考慮到他們只依靠手和頭的位置，並在一個計算能力非常弱的設備上運行，同時還必須并行渲染世界，其結果看起來相當令人印象深刻。

更重要的是，該研究方向極有可能是正確的。

當下移動端硬件的發展過於緩慢，無法在不完全破壞電池壽命的情況下迅速提高分辨率、FoV和圖形界面。

為了實現優雅的無障礙VR，需要做得更聰明，而不僅僅是用更快的芯片，無論是通過ETFR減少負載、智能升頻還是利用人類視覺的極限。

機器學習將是其中的一個重要部分，因為它可以將大部分計算需求轉移到最初的模型構建階段，而這種方法可以在像Quest 2這樣的低功率設備上正常工作。

Meta也已經展示了對定製的低功耗神經引擎芯片的研究，以集成到未來的SoC中，這可能是他們與高通合作的一個重要部分，所以未來的Quest版本將更好地滿足這一需求。

即使是專業的FBT系統也經常產生一些古怪的錯誤，但經過訓練的人工智能解決方案不僅有助於從很少的傳感器輸入中快速得出骨骼信息，而且訓練本身排除了很多純粹基於傳感器的跟蹤解決方案可能建議的物理上不可能的結果。

Meta令人印象深刻的是，他們一直在推動消費類設備的可行解決方案，而這些設備在很長一段時間內將不得不利用非常有限的資源。

因此，與其批評他們仍然沒有工作的腿，或者批評他們在宣傳片中的動作捕捉方案，我們應該偶爾承認他們提供了其他商業供應商沒有展示過的解決方案，並繼續向公眾發布軟件產品，否則這些方案只能在研究實驗室中找到。

我們仍然處於VR和追蹤技術的初級階段，要想讓它對大量主流觀眾來說足夠有用且無故障，還需要好幾年的時間，但Meta公司實際上正在將它推向那裡。

參考資料

Meta’s ‘Body Tracking’ API For Quest Is Just A Legless Estimate