一文詳解英偉達兩個最新的元宇宙布局

作者| Chenglin Pua（馬來西亞）編審 | 於百程 排版 | 王紀瓏琰

元宇宙就好像一片還沒有被開發的“美洲”，吸引了許多企業來淘金。當中最積極的莫過於Meta了。實際上除了Meta之外，英偉達也是不遺餘力的布局元宇宙，希望成為元宇宙領域的基礎設施供應商。在2022年8月的SIGGRAPH大會上，英偉達大秀肌肉，展示了他們的最新進展。例如新推出的Omniverse ACE以及希望能夠將通用場景描述 （USD）作成為元宇宙的 HTML，讓更多的元宇宙平台之間能夠互動。

英偉達打造強大的雲原生超級計算機

在2022年8月9日SIGGRAPH大會上，英偉達自家的元宇宙產品大放光彩，當中包括了雲原生超級計算機（Omniverse ACE，Omniverse Avatar Cloud Engine）。雲原生超級計算機融合了高性能計算的強大算力和雲服務的安全性與易用性。雲原生超級計算機在保障不犧牲應用性能的同時允許多用戶安全共享。雲原生超級計算機允許多用戶共享一台超級計算機，同時保證每個用戶的應用的安全性和私密性。再來則是雲原生超級計算機使用DPU來處理存儲、租戶隔離安全和系統管理等任務。這樣可以解放CPU，使其專註於處理任務，從而最大限度地提高系統的整體性能。

雲原生超級計算機與傳統超級計算機的差別

來源：英偉達官網

Omniverse ACE的運作方式
來源：英偉達官網

Omniverse ACE建立在英偉達的統一計算框架之上，該框架提供了對豐富的軟件工具和API的訪問，從而利用高度逼真且可以進行互動的化身所需的各種技能。這些工具包括用於開發語音AI應用的Riva、用於計算機視覺和智能視頻分析的Metropolis、用於高性能推薦系統的Merli、用於自然語言理解的大型語言模型的NeMo Megatron，以及用於AI動畫的Omniverse。

自Omniverse發布以來，已經有近20萬次下載量。而此次英偉達發布的Omniverse ACE更是將Omniverse推向另一個境界。Omniverse ACE的核心技術包括了物理加速引擎PhysX（如今支持粒子分佈的模擬），大幅提升虛擬世界物理準確性、開源的材質定義語言（可以模擬物理上的精確材料，並支持圖形API標準，如OpenGL或Vulkan）、結合RTX圖形和AI的神經圖形功能（例如迭代動物的形式與點雲，然後自動生成一個3D 網格、可以可以生8K，360度全景圖和從2D圖像創建3D對象和場景）等。

Omniverse ACE的Audio2Face功能，不僅可以完全根據聲音創建面部動畫，而且還能隨着時間的推移引導化身的情緒。也就是說，創作者可以輕鬆地融合關鍵情緒，如喜悅、驚奇、憤怒和悲傷。在未來版本的Audio2Face中，開發者可以只用一張照片創建化身，自動應用紋理並生成可用於動畫的3D網格。Audio2Gesture能用能用音頻文件生成逼真的身體姿勢動作；Project Tokkio則能提供視覺、感知和智能對話能力，讓虛擬形象提供建議、提高餐廳等場所的客戶服務水平。

Vid2Vid Cameo功能則是可以利用人工智能從任何標準的2D視頻中捕捉人物的面部動作和表情。此一神經網絡功能進行了18萬段視頻的訓練，學會了識別20個關鍵點來模擬面部運動ーー對眼睛、嘴巴、鼻子、眉毛等部位進行編碼。

Omniverse ACE的擴展機器學習框架Modulus則是允許開發人員通過使用AI來加速現實世界物理模擬，讓元宇宙看起來和感覺上都像物理世界。

英偉達表示，人工智能未來將幫助藝術家們創造出建造元宇宙所需的大量3D內容。例如，他們可以使用神經圖形來快速捕捉物理世界中的對象和行為。

Omniverse ACE的模型和服務都在雲端，因此企業不用擔心算力問題，任何規模的企業都可以立即獲得構建部署虛擬形象所需的大規模算力。這對遊戲、聊天機器人、虛擬人、數字孿生和虛擬世界的大規模生產工作都會很有幫助。

英偉達副總裁Rev Lebaredian表示，Omniverse ACE結合了相當多複雜的人工智能技術，開發者不僅可以更容易地構建和定製栩栩如生的虛擬助手，而且這些數字人甚至還有可能通過圖靈測試。此外，Rev Lebaredian也進一步確定了英偉達進軍元宇宙的決心：元宇宙蘊含的商機價值數萬億美元，任何企業機構都不願錯過它。

新推出的Omniverse ACE基本覆蓋了虛擬人所需的各種核心功能，如實現理解多種語言、響應語音提示、智能視頻分析、高性能推薦系統、與環境互動並提供智能建議等等。這些工具使開發者足以解鎖交互式虛擬人所需的大部分技能，並做到先進水平。只能說英偉達在布局元宇宙的道路上越走越遠且越戰越強。

Omniverse ACE生成的模型

英偉達希望USD 成為元宇宙的 HTML，讓更多元宇宙平台可以互動

元宇宙是英偉達重點布局的領域之一。目前而言，英偉達正在推動通用場景描述協議 （USD，最初由皮克斯發明的協議） 作為虛擬世界中可互操作內容和體驗的基礎。

雖然元宇宙屢次被人們所提及。然而絕大多數此類平台本身就是孤島，與其他虛擬空間、人或對象沒有連接。想要打造一個真正意義上的元宇宙，至少需要具有一些互操作性元素，允許用戶無縫地從一個虛擬空間移動到另一個虛擬空間，就像我們今天在網絡上所做的那樣。為此，英偉達正在推動通用場景描述 （USD） 作為“元宇宙的 HTML”。

就好比 HTML 形成對網頁的描述（它可以託管在互聯網的任何地方），並由 Web 瀏覽器在本地檢索和呈現。USD 是一種用於描述複雜虛擬場景的協議，可以根據本地硬件能力在不同程度上進行檢索和渲染。英偉達建議使用USD 瀏覽器之類的東西來定義虛擬空間的常用方法，任何人都可以輕鬆破譯和渲染。英偉達表示，創建元宇宙所需的最基本標準是對虛擬世界的描述。英偉達相信該標準的第一個版本已經存在，它就是USD，一個開放且可擴展的生態系統，用於在 3D 世界中描述、組合、模擬和協作。USD 包括擴展到大型數據集所需的功能，例如延遲加載和有效檢索時間採樣數據。它具有極大的可擴展性，允許用戶自定義數據模式、輸入和輸出格式，以及查找資產的方法。USD在視覺特效和動畫、工業、設計和科學應用等方面都呈現出快速增長的勢頭。媒體、遊戲、機器人、工業自動化、零售和百貨行業的創新者已經開始將USD作為他們首選的元宇宙語言。

USD最初由皮克斯創造（2015年開源的協議），目的是簡化複雜 3D 動畫項目的協作。USD 不僅僅是 3D 幾何圖形的文件格式，可以描述具有各種對象、紋理和照明的複雜場景，還可以包括對其他地方託管的資產的引用、屬性繼承和分層功能，允許對單個場景進行非破壞性編輯，並有效地重用資產。

雖然英偉達認為USD是元宇宙平台的正確起點，但USD還需要進一步發展、完善才能夠完全滿足元宇宙的需求。目前英偉達也透露了一些與皮克斯合作的地方來幫助USD完善。例如英偉達正在開發一種以 USD 為單位的地理空間模式以支持地理空間坐標的 WGS84 標準（該標準未來將會運用到英偉達打造的數字孿生模型當中）。除此之外，英偉達正在與皮克斯合作，為 USD 添加對 UTF-8 標識符的支持，從而允許完全交換來自世界各地的內容。而為了進一步加快 USD 的開發和採用，英偉達正在構建一個用於 USD 兼容性測試和認證的開源套件。開發人員將能夠測試他們的 USD 構建，並證明他們的自定義 USD 組件產生了預期的結果。英偉達還宣布投資構建能夠將流行的3D軟件生態系統連接到Omniverse的USD插件。

認為USD是元宇宙未來基礎的不是只英偉達一家公司。在新成立的元宇宙標準論壇上，此想法得到了幾千家公司的支持（英偉達也是該論壇的成員，其他成員包括皮克斯、Adobe、Autodesk、西門子等）。該論壇還指出 USD 是可互操作虛擬空間和體驗的基礎。

西門子數字工業首席技術官Dirk Didascalou表示，西門子將計劃與英偉達合作開發下一代USD格式。此外，西門子也將會在旗下的Xcelerator平台（一個主要實現工業元宇宙的平台）上支持USD。沃爾沃汽車高級可視化專家Mattias Wikenmalm 也表達了USD具有巨大發展前景，沃爾沃在第一時間了解到開放、可擴展、可互操作的3D場景描述對元宇宙項目的價值。通過保持統一的資產來源並實現它們在不同虛擬世界之間的交換，沃爾沃將打造出真正無縫的3D互聯網消費者應用。