生成式AI結合3D、XR怎麼玩？NVIDIA、Niantic等公司已入局

來源：青亭網

編輯：Esther

圖片來源：由無界版圖AI工具生成

最近生成式AI風頭有點大，這種技術只需要用文字就能作畫，而且效果驚艷，堪比專業畫師的作品。其中一些熱門的方案包括DALL-E 2、Midjourney、BariumAI、D-ID AI、Stable Diffusion等等，這些工具簡單、好玩，已經被無數網友所應用，創造出大量有意思、搞怪的藝術作品。

實際上，這種生成式AI不僅可以用來創作平面圖像，也可以快速生成具有紋理的3D模型。目前，NVIDIA、谷歌已經在相關領域進行探索，比如利用文本、2D圖像來生成3D模型。而Meta則採取不同的路徑，訓練AI將文本轉化成視頻，未來有望在VR中用語音生成3D場景或3D模型。這意味着，未來AR/VR場景也可以由AI生成，而這將大幅提升AR/VR生態的規模。

此前青亭網也曾報道過多款根據文字、語音生成3D場景和動畫的方案，比如Anything World、Promethean AI等等。今年2月，Meta也曾預告一種根據語音描述來實時合成3D VR世界的方案：Builder Bot，你只需要對它說“沙灘”、“樹”、“野餐布”等語音指令，就能將不同的場景元素召集到你周圍。

Meta Builder Bot

Meta CEO馬克·扎克伯格表示：Builder Bot將有望改變人們在VR中編程的方式，讓計算變得更自然，未來有望用於Horizon屁股那太上，幫助用戶快速創建場景和內容。

目前，Meta的Builder Bot還在測試階段，與此同時，NVIDIA、谷歌等公司也陸續公布了一些用文本生成3D模型、3D場景的方案。

谷歌AIGC方案

去年12月，谷歌科研人員發布了一款基於NeRF 3D場景技術，以及OpenAI文本生成模型DALL·E、CLIP的3D生成系統：Dream Fields。該系統的點是無需照片樣本就能生成3D圖像，通過自然語言描述就可以合成全新的3D視角，重建3D立體圖像，還可以生成多種物品組合成的複合結構。谷歌科研人員稱，Dream Fields效果媲美3D數字背景，或是ArtStation平台的內容。

Dream Fields僅生成3D模型本身，而背景則採用隨機合成圖像。目前，Dream Fields可合成的物體包括船、花瓶、公共汽車、食物、傢具等等。或是將牛油果和椅子合成，用大蒜扮演且，用皮卡丘做成牛油果椅子、茶壺等有趣的3D效果。

谷歌表示：隨着3D渲染技術發展，越來越多的媒體內容開始採用3D形式。在遊戲、VR應用、電影中，開發者們需要手動創作數千個3D模型，耗費大量時間和精力，成本相當高。

此前，開發者利用3D數據來合成點雲、立體像素網格、三角形網格，以及基於GAN模型的隱函數。不過，由於有標記的3D形狀數據有限，所以3D數據僅能合成少數的物體類型。相比之下，Dream 使用自然語言和簡潔的創作界面即可合成3D圖形，而且經過NeRF平滑插幀效果，3D圖形具有足夠高的空間分辨率，效果比立體像素、點雲更好。

另外，Dream Fields通過預先訓練的圖像文本模型來生成3D圖像，訓練採用的數據來自於網絡。

值得注意的是，谷歌還推出了類似的AI模型：DreamFusion，這個模型的特點是將AI圖像分析模型Imagen與NeRF（神經輻射場）結合，也可以通過文本來合成帶有網格的3D模型，兼容常見的3D渲染引擎、建模軟件。

Imagen的優勢在於使用2D文本圖像即可訓練，更容易規模化。DreamFusion會使用Imagen生成的多視角2D圖像來學習3D渲染，實現用文本來合成3D模型。此外相比於Dream Fields，DreamFusion可合成更高質量、具有深度和法線的、可重新照明的3D模型，因此整體效果更逼真。而且，Dreamfision生成的多個3D模型可縫合到同一個場景中。

NVIDIA AIGC方案

近期，NVIDIA還推出了一個低門檻文本生成3D模型：Magic3D，號稱適合任何人使用，無需建模經驗、無需特殊培訓。只需要40分鐘左右，該模型就能生成一個帶有色彩紋理的3D網格模型，經過調整后，可用於開發遊戲或CGI藝術場景。

Magic3D 還可以執行基於提示的3D網格編輯。給定低分辨率3D模型和基本提示，可以更改文本以更改生成的模型。此外，Magic3D的作者展示了在幾代人中保留同一主題（通常稱為連貫性的概念）並將 2D 圖像的樣式（例如立體派繪畫）應用於3D模型。

NVIDIA表示：通過Magic3D，我們希望讓3D合成大眾化，允許任何人開發3D內容。該公司CEO黃仁勛曾表示：儘管生成式AI才剛剛起步，但它將有望推動技術變革，其最大的應用場景之一，可能是元宇宙等3D虛擬平台，因為這些平台對於3D內容有大量需求，僅依賴人力開發並不夠。

黃仁勛看好用AI生成虛擬場景的前景，其補充：生成式AI可幫助人們構建3D世界，未來其生成的內容還可以在不同的應用中重複使用。

對於3D虛擬生態來講，生成式AI很關鍵，它可以幫助普通用戶毫不費力的進行3D創作。現在，你可以用AI合成圖像、視頻，按照這個發展速度，未來也可以合成整個3D場景。而對於NVIDIA來講，AI和Omniverse的研發是同時進行的，因為二者相輔相成，缺一不可。

AI生成WebAR

實際上，近期還有一個新的趨勢，一些WebAR平台也在尋求用AI來生成AR內容的方式，比如Geenee AR、Niantic旗下的8th Wall等等。從技術上講，WebAR平台可接入生成式AI模塊，比如Geenee AR就推出了基於Stable Diffusion模型的AI WebAR內容創造套件RT3D AI SDK。該SDK與Geenee的WebAR全身追蹤SDK結合，可用於豐富AR試穿體驗，比如允許用戶用語音來生成服裝紋理，試穿各種圖案設計。

而8th Wall則是使用Dall-E 2工具開發了多款WebAR應用，利用Dall-E 2，可自動生成動態的3D人臉模型，而利用8th Wall平台的Lightship VPS for Web定位功能，便可以將3D錨定到真實的空間中。當然，也可以使用8th Wall的WebAR SLAM功能World Effects來定位。

從8th Wall展示的AI生成WebAR內容來看，生成式AI和WebAR也可以很好的結合，AI合成的3D內容可通過WebAR平台加入實時反射、烘焙物理模擬、圖像目標等功能，進一步優化AI合成AR內容的沉浸感。除了Dall-E 2外，8th Wall還使用BariumAI來生成3D模型的紋理。

除了WebAR外，生成式AI也可以用來開發VR場景，比如開發者Scottie Fox就曾嘗試使用Stable Diffusion來生成VR場景。據悉，Fox將生成式AI與Touchdesigner編程語言、Intel MIDAS模型（可根據單個圖像計算3D深度）結合，來合成環境的3D表示。不過，實時運行AI生成VR場景需要大量算力，據Fox稱，demo場景是在NVIDIA 2080 Ti（11GB）上創建的。

實際上，Stability AI也在關注AI生成3D領域，比如與遊戲工作室等公司合作，利用遊戲的3D數據庫來訓練生成算法。該公司CEO Emad Mostaque表示：未來，生成AI模型的目標就是打造“全息甲板”，即大規模的VR虛擬空間。

總之，生成式AI不僅對WebAR有價值，未來如果和Horizon等UGC VR平台結合，將有望進一步簡化內容創造的過程。