英偉達發布元宇宙Omniverse重大升級，創作數十億虛擬人有譜

編輯：桃子 好睏

來源：新智元

導讀：看看這次老黃帶來了哪些驚喜。

SIGGRAPH大會上，老黃帶着自家元宇宙產品再次大放光彩。

黃仁勛介紹，英偉達在神經圖形學、元宇宙、虛擬人（Avatars）推出的產品和研究，將成為引發圖形學的三大革命力量。

英偉達Omniverse ACE

8月9日，英偉達正式發布了一套基於雲服務的AI模型——NVIDIA Omniverse Avatar Cloud Engine（ACE）。

英偉達副總裁Rev Lebaredian表示，ACE結合了相當多複雜的人工智能技術，開發者不僅可以更容易地構建和定製栩栩如生的虛擬助手，而且這些數字人甚至還有可能通過圖靈測試。

ACE建立在英偉達的統一計算框架之上，該框架提供了對豐富的軟件工具和API的訪問，從而利用高度逼真且可以進行互動的化身所需的各種技能。

這些工具包括用於開發語音AI應用的Riva、用於計算機視覺和智能視頻分析的Metropolis、用於高性能推薦系統的Merli、用於自然語言理解的大型語言模型的NeMo Megatron，以及用於AI動畫的Omniverse。

從骨架和肌肉開始構建化身

Omniverse重大升級

自Omniverse發布以來，已經有近20萬次下載量。今天，英偉達發布了Omniverse的最新版本。

黃仁勛將Omniverse稱為「一個USD平台」，「一個用於構建元宇宙應用程序的工具包」，以及「一個運行虛擬世界的計算機引擎」。

最新的版本包含了幾個升級的核心技術，以及連接到更多到流行工具。

其中的升級就包括，物理加速引擎PhysX現在支持軟體和粒子布模擬，大幅提升虛擬世界物理準確性。

開源的材質定義語言（MDL）能夠模擬物理精確材料，並支持圖形API標準，如OpenGL或Vulkan。

Omniverse還將包括英偉達研究開發的結合RTX圖形和AI的神經圖形功能，比如：

1. Animal Modelers 讓藝術家可以迭代動物的形式與點雲，然後自動生成一個3D 網格
2. GauGAN下一個進化版本：GauGAN360，可以生8K，360度全景圖
3. Instant NeRF：從2D圖像創建3D對象和場景

最新版本的Audio2Face，不僅可以完全根據聲音創建面部動畫，而且還能隨着時間的推移引導化身的情緒。

也就是說，創作者可以輕鬆地融合關鍵情緒，如喜悅、驚奇、憤怒和悲傷。

在未來版本的Audio2Face中，開發者可以只用一張照片創建化身，自動應用紋理並生成可用於動畫的3D網格。

利用高保真的肌肉運動模擬技術，AI可以通過觀看視頻學習ーー甚至是對虛擬梳理作出預期反應的栩栩如生的頭髮。

英偉達Vid2Vid Cameo可以利用人工智能從任何標準的2D視頻中捕捉人物的面部動作和表情。

該模型基於生成性對抗網絡（GAN），映射面部運動以捕捉實時運動，並將該運動傳遞給虛擬角色。

這一神經網絡進行了18萬段視頻的訓練，學會了識別20個關鍵點來模擬面部運動ーー對眼睛、嘴巴、鼻子、眉毛等部位進行編碼。

如下， 它可以將愛倫 · 坡《十四行詩》的表演轉移到藝術家Gary Kelley的人物肖像上。

另外，Omniverse擴展機器學習框架Modulus，允許開發人員使用AI來加速現實世界物理模擬高10萬倍，讓元宇宙看起來和感覺上都像物理世界。

全新神經圖形SDK來了

要知道，元宇宙的一個重要支柱是神經圖形學。

神經圖形將人工智能和圖形交織在一起，為未來適合從數據中學習的繪圖管道鋪平了道路。神經圖形將重新定義用戶如何創建、模擬和體驗虛擬世界。

人工智能將幫助藝術家們創造出創造元宇宙所需的大量3D內容。例如，他們可以使用神經圖形來快速捕捉物理世界中的對象和行為。

在此，英偉達在今年推出的從2D圖像創建3D圖像的工具Instant NeRF便可以做到這點。同時，這篇論文還獲得了2022 SIGGRAPH的最佳論文獎之一。

就比如，設計師和研究人員應用神經圖形和其他技術便創建了一個高嶺土小精靈（Kaolin Wisp），這是一套用幾行代碼就可以創建神經場的工具。

除了Kaolin Wisp，英偉達還宣布了NeuralVDB，一個對行業標準OpenVDB的突破性升級，能夠加速實時渲染和模擬。

NeuralVDB使用神經模型和GPU優化可以顯著降低內存佔有率，這樣用戶就可以實時地與極其龐大和複雜的數據集進行交互，並有效地共享它們。

在SIGGRAPH特別演講中，黃仁勛還提到了，

「人工智能和計算機圖形學技術的結合將推動元宇宙，即互聯網的下一次演變。」

它將成為連接虛擬世界和數字孿生世界的家園，一個既可以工作又可以玩耍的地方。而且，它將充滿活力，將成為最受歡迎的機器人形式之一：數字化人化身。

未來，我們將會有數十億的虛擬化身，我們與虛擬化身的互動就像與另一個人交談一樣自由。

經過Omniverse的設計、訓練和操作，他們將在數字工廠工作，玩在線遊戲，並為電子零售商提供客戶服務等等。

數字人類和虛擬化身需要自然語言處理、計算機視覺、複雜的面部和身體動畫等等技術的加持。

為了讓其能夠與人類一樣自然地移動和說話，可以說這套複雜的技術必須與毫秒同步。

英偉達的目標就是簡化和加速Omniverse阿凡達雲引擎（ACE），這是一項艱巨的工作。

參考資料：

https://blogs.nvidia.com/blog/2022/08/09/omniverse-siggraph/