人類虛擬化身能夠實現與增強現實和虛擬現實相關的眾多應用，例如用於增強通信和娛樂的遠程臨場感。人體形狀根據關節、軟組織和非剛性服裝動力學變形，這使得真實動畫極具挑戰性。
最先進的人體模型通常學習變形固定拓撲模板，使用線性混合蒙皮來建模關節，及通過混合形狀來建模非剛性效果，這甚至包括軟組織和衣服。使用固定模板會限制可建模的衣服類型和動力學。例如，使用一個或多個預定義模板對對象建模將十分困難。
另外，每種類型的變形（軟組織或衣服）都需要不同的模型公式。然後，為了訓練模型，3D/4D掃描需要與之對應，而這是一項具有挑戰性的任務，尤其是對於服裝。最近的研究利用隱式函數表示從圖像或三維點雲重建人體形狀。但是，所述重建都為靜態，不可設置動畫。
在名為《Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing》的論文中，圖賓根大學、馬克斯-普朗克研究所和Facebook組成的團隊提出了一個名為Neural Generalized Implicit Functions (Neural-GIF) 的全新模型來動畫化穿衣人物。團隊證明，可以以傳統方法所難以實現的質量來對複雜的服裝和身體變形進行建模。與大多數以前的研究相比，研究人員提出的模型學習姿勢相關的變形，無需註冊任何預定義模板，因為這會降低觀測的分辨率，並且是一個眾所周知的複雜步驟。相反，這一模型只需要輸入掃描的姿態以及SMPL形狀參數（β）。所述方法的另一個關鍵優勢是，它可以使用完全相同的公式表示不同的拓撲結構。在研究中，團隊同時展示了如何為未穿衣服的人物製作夾克、外套、裙子和軟組織的動畫。
給定一個姿勢（θ）作為輸入，Neural-GIF可以預測SDF。為了訓練Neural-GIF，團隊需要對固定衣服中的被試進行3D掃描序列，以及需要相應的SMPL參數。研究人員將運動分解，以在角色的正則空間中學習可變形SDF。為了獲得姿態相關SDK，團隊合成了三個神經函數組成：
-
正則映射網絡：通過學習的點與人體關聯來將構成的三維空間中的每個點映射到正則空間；
-
位移場網絡: 為非剛性姿勢相關變形（軟組織、布料動力學）建模。具體來說，它預測了正則空間中點的連續位移場。
-
正則SDK：通過組合，正則SDF網絡將上述網絡中的變換點和姿態編碼作為輸入，以預測每個查詢點所需的符號距離。團隊同時預測了一個曲面法向場作為正則空間中姿勢的函數，以增加結果的真實性。
總的來說，Neural-GIF由一個神經網絡組成，用於近似設定曲面的符號距離場（SDF）。原生學習從姿勢預測SDF非常困難。相反，團隊從基於模板的方法中得到啟發，除了將運動分解為鉸接和非剛性變形，同時將此概念泛化到內隱形狀學習。具體地說，模型學習將曲面周圍的每個點映射到正則空間。在這個空間中，系統在評估SDF之前會將學習到的變形場應用於非剛性效果的建模。Neural-GIF的優點是，網絡可以更容易地在正則空間中學習基礎形狀。
團隊在來自不同數據集的各種掃描上測試了所述方法，並提供廣泛的定量和定性比較。研究人員同時通過添加形狀相關的位移場網絡，將公式擴展到多形狀設置。實驗表明，這一方法可以泛化到新的姿勢，模擬複雜的服裝，並且比現有的方法更加穩健和詳細。
相關論文：Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing
研究人員表示，Neural-GIF可以精確地建模任意拓撲和分辨率的複雜幾何體，因為模型不需要預定義的模板，同時不需要對模板進行非剛性的掃描註冊。它在魯棒性、模擬複雜服裝風格的能力和保留精細姿勢相關細節方面比之前的研究有了顯著的改進。團隊相信Neural Generalized Implicit Functions開闢了幾個有趣的研究方向，並計劃在接下來的時間裡進行探索。