英偉達黃仁勛：我們給真實世界和元宇宙間建了個穿梭門

老黃家熟悉的廚房又出現了，不過這次英偉達沒有像“虛擬數字人”那次賣關子，在11月9日GTC大會（GPU Technology Conference）的主題演講開始不久廚房就開始逐漸虛化，對，人真了但廚房是假的！場景轉換為英偉達大樓。

文/洪雨晗

這次的假廚房和上次的虛擬老黃用到的都是Omniverse技術

英偉達的每次GTC發布會總能給人帶來不少驚喜。在大會正式開始之前，英偉達股價在上周便開始應聲而漲。有不少投資者認為此次大會可能會凸顯英偉達在今年火爆的“元宇宙”主題下的機遇，應為英偉達所擅長的GPU之於元宇宙，就相當於鋰電池之於新能源車。雖然老黃在一個半小時多的主題演講里沒有太刻意去強調元宇宙的概念，但本次大會中，確實有不少新技術產品的背後都有元宇宙的影子。

先下結論，老黃的整個主題演講其實就想傳達一個核心觀念——英偉達在推進AI在各行各業發展的過程中扮演了關鍵角色。串起這個觀念的內容自然是展示自家的核心技術，簡要來說，英偉達展示了自家產品在企業和數據中心AI、對話式AI和自然語言處理領域的最新技術，以及邊緣AI的應用，如機器人、醫療和自動駕駛汽車等。

用Omniverse Avatar來做老黃的AI化身

這次主題演講的重頭戲自然跟外界炒的沸沸揚揚元宇宙難脫關係。英偉達在本次GTC大會上發布了NVIDIA Omniverse——一個用於3D工作流程的虛擬世界模擬和協作平台。其實英偉達在去年12月就發布了Omniverse平台的公開測試版，它可以讓創造者在物理精確模擬或3D渲染中進行實時協作。

如今，Omniverse平台再次升級，新發布了Omniverse Avatar和Omniverse Replicator。其中，Omniverse Avatar是一個用於生成交互式AI化身的技術平台。它集合了英偉達在語音AI、計算機視覺、自然語言理解、推薦引擎和模擬技術方面積累的技術，為創建人工智能助手打開了大門，可以幫助處理數十億的日常客戶服務互動。Omniverse Replicator則是一種合成數據生成引擎，可以基於現有數據持續生成用於訓練的合成數據。

Omniverse的門戶是USD（通用場景描述）黃仁勛認為Omniverse的本質是一個數字蟲洞。未來任何計算機都可以連接到Omniverse，並將一個Omniverse世界連接到另一個世界，USD之於Omniverse就像HTML（一種標記語言，可以將網絡上的文檔格式統一）基於網站。

黃仁勛對Omniverse頗有野心。老黃表示，人們經常說“互聯網改變了一切”，在萬物互聯的當下，互聯網本質上是這個世界的數字化表達，這種數字化覆蓋了所有2D層面的信息，即文本、語音、圖像、視頻。如今，隨着技術的進一步發展，3D層面的信息也在不斷湧現。

在黃仁勛的設想當中，未來會有很多的設計者、創造者在虛擬現實、Metaverse中設計數字事物，然後才在現實世界中去完成設計，包括汽車、包、鞋子等等產品。而此次發布的Omniverse平台，正是擁有着創建全新3D世界或為物理世界建模的技術。

用一句互聯網黑話表示，就是所有現實世界中物理存在或不存在的東西，都值得在Omniverse上再做一遍。可這麼看來，Omniverse不就和遊戲引擎一樣了嘛，但老黃說了Omniverse是面向數據中心的規模來設計的，在未來或可能達到全球數據規模，也就是說英偉達的預期是未來的Omniverse能真的為物理世界建模。

當然，讓Omniverse中的虛擬物品與物理世界中的人進行實時交互仍存在諸多挑戰。黃仁勛表示：“如何使用Omniverse模擬倉庫、工廠、物理和生物系統、5G邊緣、機器人、自動駕駛汽車，甚至是虛擬形象的數字孿生，是一個永恆的主題。”

接下來黃仁勛展示了Omniverse Avatar結合英偉達各項技術後生產出來的實時應用程序。首先是用於客戶支持的Project Tokkio，“Tokkio”是一款智能操作台應用程序，在視頻案例中“Tokkio”在一家快餐店服務，與兩位顧客直接對話並幫助顧客進行了點餐服務。

基於Omniverse Avatar製作的智能操作台應用程序Tokkio

如果將Omniverse Avatar與Drive Concierge相結合，可愛的自定義行車虛擬助手便出現了。

Omniverse Avatar展示的另一個例子則是老黃自己的AI化身，英偉達的員工們早就開始用老黃的聲音構建出了一個會對話的語音合成AIToy-Me——一個玩具AI老黃。不得不說，老黃確實懂得多，玩具版的AI老黃在視頻案例中輕鬆回答了氣候、天文、生物三個領域專家的專業問題。

黃仁勛表示：“你會看到這個虛擬形象是基於目前訓練的最大語言模型的語言處理打造，包括聲音也是用我自己的語音進行合成，還可以看到實時基於光線追蹤的精美圖像。”

實時對話AI機器人“Toy Jensen Omniverse Avatar”

老黃還將Omniverse Avatar與視頻會議平台Maxine相結合，為虛擬協作和內容創建應用添加了音視頻功能。在視頻案例中，一位女士在嘈雜的咖啡廳中可以視頻會議中簡單的去除背景噪音后通話，同時，她的英文可以被實時轉化為多種語言，並生成對應口型及語調的虛擬形象。

一個看似簡單AI數字人其實並不簡單，Omniverse Avatar能夠如此強大的原因在於其背後英偉達近年來的技術突破，老黃直稱在幾年前想要實現上述案例的功能幾乎不可能。如今，Omniverse Avatar的推薦引擎採用Merlin方案，該框架允許企業能夠建立處理大量數據的深度學習推薦系；感知能力則來自計算機視覺框架Metropolis；頭像動畫由Video2Face和Audio2Face（二維和三維AI驅動的面部動畫和渲染技術）驅動。

自動駕駛的老司機Omniverse Replicator

黃仁勛在演講上發布的另一項產品Omniverse Replicator，已產生了兩個用於生成合成數據的應用——NVIDIA DRIVE Sim™、NVIDIA Isaac Sim™。它們分別是用於承載自動駕駛汽車數字孿生的虛擬世界和用於可操縱機器人數字孿生的虛擬世界。

Omniverse Replicator的優勢在於它能在一定程度上代替真人來進行昂貴、費力的數據標記工作，同時這些虛擬世界中產生的數據可以涵蓋各類不同場景，包括在現實世界中無法經常經歷的場景以及極度危險的場景。它還能生成人類難以或無法標記的真值數據，如速度、深度、被遮擋的物體、惡劣的天氣條件、追蹤各傳感器上的物體移動等。當自動駕駛汽車和機器人在系列虛擬環境中得到充分訓練后，才會逐漸應用到現實世界當中。

此外，黃仁勛還公布了Omniverse的另外四項功能。Showroom——一個包含演示和示例應用程序，展示了Omniverse核心技術；Farm——一個系統層，用於協調跨多個系統、工作站、服務器和虛擬化批作業處理，可以用於批量渲染，AI合成數據生成或分佈式計算；Omniverse AR——可以將將圖形串流到手機或者AR眼鏡；Omniverse VR——首款全幀交互式光線追蹤VR。