Epic、英偉達、迪士尼高管‘激辯’數字人

來源：競核

編譯：蘇於涵

在2021GTC大會上，英偉達CEO黃仁勛表示Omniverse願景是讓個人模擬製造出遵從物理規律的共享3D虛擬世界。Omniverse可完成實時3D設計協作和虛擬世界模擬，將圖形、AI、模擬和可擴展計算整合到一個平台上。

同時，英偉達將自己定位為提供底層基礎設施服務商。英偉達技術專家表示，Omniverse為“數字人”引入了最接近“人”的表情、語言系統。英偉達認為，當數字人跟真人可以溝通交流，貫穿真實跟虛擬世界時，才算是完美詮釋了元宇宙的概念。

今年NVIDIA GTC大會已於3月21日展開，CEO黃仁勛在主題演講中，着重介紹了Omniverse Avatar。黃仁勛請出了基於自身形象定製的、完全實時、完全動畫化的Avatar——Toy Jensen。並借Toy Jensen之口介紹了Avatar的製作流程。

Avatar是一個基於Omniverse平台框架構建的虛擬人，Avatar的聲音完全由Riva的文本轉語音RADTTS合成，而且可用於通過Omniverse Audio2Face驅動Avatar的面部動畫。接下來Omniverse動畫的動畫圖形用於定義並控制Avatar的動作，包括手和手臂的動作，以及細微的頭部和身體運動。

使用NVIDIA開源的跨平台材質定義語言（MDL）可以增加觸感，而RTX渲染器能實時以高保真度呈現Avatar形象。最後得益於Riva中的最新對話式AI技術和Megatron 530B NLP模型，從而實現Avatar自由對話。

同時Omniverse Avatar可以從雲、數據中心、或其它任何分解系統運行，而這都要歸功於Tokkio。Tokkio是一款使用Omniverse Avatar構建的應用，它將客戶服務AI引入零售店、快餐餐廳甚至網絡。它使用計算機視覺、Riva語言AI和NVIDIA NeMO 等NVIDIA AI模型和技術打造而成。由於Tokkio在我們的統一計算框架（或UCF）上運行，因此可以從雲端橫向擴展。

如果說Omniverse的魅力是融合多種可能，將遊戲、VR、數字會議空間、數字資產，甚至可能是到大腦與機器的互動，乃至於人工智能被納入其中。在做到融合的願景之前，業界普遍看好行業底層技術如遊戲引擎和數字人廣泛地應用到其它領域。

2月23日晚11點，NVIDIA GTC 2022在電話會上談論數字人如何影響各行各業。對話嘉賓有Cedrus Digital 研發負責人 Sarah Bacha 、迪士尼動畫工作室研發副總裁Markus Gross， Epic Games數字人科技部門副總經理Vladimir Mastilovic、Cine Tracer 開發者Matt Workman，NVIDIA圖形處理及AI負責人Simon Yuen， Reallusion產品市場副總經理John Matin II及Microsoft首席科學家Erroll Wood。

以下是編譯內容節選，略經編輯：

元宇宙的興起，數字人的潛力

Epic Games數字人科技部門副總經理 Vladimir Mastilovic:

大家好，我的名字是弗拉基米爾，我是Epic Games數字人技術副總裁。早前，我供職於數字人技術與創意內容開發商3Lateral。從那時開始，我們一直專註於研發數字人技術。因此，我們整合優化了大量動捕系統，以便在實時環境處理大量數據。我們很多項目都圍繞開放世界遊戲，比如最近的《極限競速：地平線》系列。

我們在實時數據處理方面擁有豐富的經驗。我們研發了 Metrics Human Product，我們的使命是把它帶給每個人，幫助他們講故事，期望未來能廣泛地應用到其它領域。

Cine Tracer開發者Matt Workman :

大家好，我是馬特·沃克曼。我是一名專註數字人的開發者和內容生產者。幾乎每一天，我都專註於開發一款電影攝影布光產品Cine Tracer。Cine Tracer用虛幻引擎製作，主要被電影製作者用於預演和故事板，現在它在Steam上銷售。

在過去的一年裡，我一直在整合數字人資產，做了很多衣服、鞋子、帽子等等。我一直在製作有關動作捕捉的內容，而後用在Cine Tracer，並盡我所能努力提高質量。

NVIDIA圖形處理及AI負責人 Simon Yuen:

大家好，我是西蒙·尤尼恩，我是英偉達人工智能和圖形處理總監。大約4年前，我加入了視頻行業，在此之前，我花了20多年時間製作視覺特效，創造數字人類、生物等等。我們看到遊戲娛樂、電影等領域，對數字人需求與日俱增。想問一個問題，大家在生產數字人時是否需要耗費大量時間？對一些領域專家來說，這是非常耗時的。因此，我們想使用人工智能來加速這一進程，希望最終能夠普及且質量不錯。

Reallusion產品市場副總經理John Matin II:

大家好，我叫約翰·馬丁，來自3D/2D 即時動畫公司Reallusion。公司為動畫系統、角色、創造提供工具。對公司來說，優先級最高的事情是把工具融入到行業發展大勢中，讓動畫角色流動起來。舉例來說，我們已經Omniverse平台成功打通，在此基礎之上大家可以聯合任意一家社區來創建和協作。

我們的使命是把我們的角色打造成一個可擴展的版本，無論你需要一群人還是單個高逼真度、實時的角色。大家可以輕鬆地接入。這些先進的數字人，對於行業發展非常重要。

Microsoft首席科學家Erroll Wood:

我是Erroll，我擔任微軟混合現實和人工智能實驗室的首席科學家。基本上，我們的工作室圍繞混合現實、全息眼鏡及增強現實等硬件。你可以將設備戴在頭上，或者連接到具有景深功能的相機上。我們致力於研究人們使用混合現實備時，如何互動和交流才能變得更愉快。

我們有很多計算機視覺問題需要去解決。但我一直在研究，我們如何使用由數字人類驅動的合成數據來解決這些計算機視覺問題。然而，目前有很多傳統的機器學習問題，很難收集正確的數據。

迪士尼動畫工作室研發副總經理Markus Gross:

我現在在迪士尼工作室擔任首席科學家，早前曾在瑞士聯邦理工學院（ETH）計算機符號學院工作了近30年。大約在25年前，我開始研究數字人，主要是為了基於物理模擬的醫學應用。進入迪士尼后，我們開始涉足娛樂和特效等領域。過去10年裡，我們所做的美杜莎動物動作捕捉系統，對行業意義重大。目前，它已被集成至工業光魔特效管道中。

我們小組致力於把數字人帶到日常生活中，這在電影特效領域應用尤為廣泛。十三年前，我加入迪士尼后，花了很長時間才把數字人面部動畫效果提升至真人水平。通常情況下，動畫效果由故事驅動。我們想要塑造能夠向觀眾投射真實情感深度的數字角色，他們會跟觀眾建立聯繫。在這一點上，我相信我們已經在某種程度上實現了這一目標。電影中基於動捕的數字角色是絕對可信和真實的。

看來，隨着元宇宙興起，以及NLP、AI等技術推動下，實時數字人有望迎來新一輪爆發。他們在行業中的重要性將變得愈發重要。

Reallusion產品市場副總經理John Matin II:

現在，製作電影的門檻已經相對較低，尤其是拍攝前期，無需龐大的製作團隊及設備，大家都站在同一起跑線上。如果大家目標是打造像素動畫，用現有工具非常容易實現這一目標。我認為，獨立電影人潛力巨大，他們能打破傳統製作流程，引入新製作思路，會對行業產生巨大影響。

在實際拍攝中，數字人可以幫助導演、編劇更好地詮釋畫面。像Cine Tracer工具就非常好用。

虛實難辨，數字人的應用與考驗

Cine Tracer 開發者Matt Workman:

我認為，如果我們把個體創造者看作是創造者經濟，那麼他們會對數字人做什麼？這是我們將要考慮到的現實問題。聽起來，使用已有創作者工具，會有多種方式讓木偶變成數字人，輕輕地點擊一下就行。在製作過程中，它實際上需要調校好的算法進行分發。

現在看來，遠程協作將變成日常工作模式。那麼，你是否能讓開發者協作變得快捷，讓電影學院學生在宿舍就能完成拍攝？我個人還蠻期待這種協作方式的。

Epic Games數字人科技部門副總經理Vladimir Mastilovic:

20年前，當我進入數字人領域時，感覺互動媒體是一種真正的藝術形式，它還沒有被超越。現在，它們在商業上成果豐碩。還想提一句，最近Epic公布的虛幻5引擎開發的演示DEMO:《黑客帝國:覺醒》讓人虛實難辨，真的很有趣。

我們將不再把電影看作是線性內容。它將被轉化為同時具有交互性和線性兩種特質的產物。你將有機會選擇，甚至直接參与。事實上，從後期製作中的特效演變為前期視覺化、虛擬製作，這似乎是娛樂業的自然演變。

Microsoft首席科學家Erroll Wood:

Microsoft在數字人方面取得的進展，將幫助我們以新的方式解決傳統的計算機視覺和機器學習問題。特別是計算機視覺領域。我們正呼籲越來越多的人重視合成數據的重要性。原因在於，當你可以製作出更多樣化的數據，訓練模型有望更加具有實用性。

公司不少已發布產品，都採用合成數據進行訓練。我們意識到，就像其它計算機視覺問題一樣，數字人可以解決這些問題。

NVIDIA圖形處理及AI負責人Simon Yuen:

我將在大家談論的內容和視頻基礎上展開討論。我們擁有相當多樣化的客戶，都是關於虛擬世界的。由於內容創造速度和雇傭員工數量有限，利用人工智能加速成為一個大趨勢。

更重要的是，我認為Sarah、Erroll和其他人提到的其它領域也在增長。像醫院中的殘疾患者，他們或許更喜歡與數字人交談，而不是真人。原因在於，與數字人交談讓他們感到更舒服。我將以這個例子做結束，我的一個朋友，他們的孩子大約10歲，他們使用iPhone Siri交談的方式與我們大多數人不同。他們像跟朋友一樣和他們交談。

所以，我認為無論是我們這一代還是下一代，都會跟虛擬角色建立關係。這將成為我們生活的一部分。同時，這也造成一個明顯的問題，當我們開始研究用數字人技術時，耗費時間長達數十年之巨才能擁有阿拉丁精靈、霍克教授。

特效的數字人體技術時，它需要花費整整十年的持續研究和技術改進，才能在某種程度上超越了年輕的肯尼谷。幻想的數字人類類型從阿拉丁精靈類型到霍克教授皆有。

所以這真的需要一段很長的時間。在不同的場景中，我們不一定非得需要一個真人，可以是擬真人類或者是抽象人物。

Cedrus Digital 研發負責人 Sarah Bacha:

在我看來，發展何種數字人類型完全取決於用途。比如你想做什麼？如果你想讓他們與真人聯繫起來，或許知名歷史人物會更具親和力。如果是一款教育作品，頭像越逼真越能與學生產生聯繫。如果你不想讓它聯想到真人，我會說數字人越抽象越好。

再次強調，這一切取決於我們為什麼需要這個數字人。

Reallusion產品市場副總經理John Matin II:

我認為美妙之處在於實時數字人一直在進步。眼下數字人現在正變得更加真實，像頭髮等，這主要是由於引擎不斷在進化。考慮數字人整體性，如果衣服、眼鏡等配飾有更多選擇的話，它會顯得更加真實。當然，這與不同的角色特性有關。