以NeRF為代表的神經渲染技術高速發展，學界已經不滿足合成幾個新視角讓照片動起來了。接下來要挑戰的是根據照片直接輸出3D模型，可以直接導入到電影、遊戲和VR等圖形生產線里的那種。
所用照片不是出自高質量數據庫，就是直接從網上搜集遊客拍攝的各大景點，設備、天氣、距離角度等都會不一致。
生成的結果遠看結構完整，近看細節豐富，如果你有VR設備也可以在Demo中直接預覽3D版。
這項最新突破由浙江大學和康奈爾大學團隊合作完成，登上圖形學頂會SIGGRAPH 2022。
而在這之前，同類技術生成的3D模型連形狀完整都做不到。
看到這裡，網友紛紛表示這個領域的進展比人們想象的要快。
“慢點學，等等我”。
那麼，這項研究靠什麼取得了突破？
融合兩種採樣方式
具體來說，這項研究的基本框架借鑒了NeurIPS 2021上的NeuS，一種把隱式神經標準和體積渲染結合起來的方法。
但是NeuS使用基於球體的採樣（Sphere-based sampling）方法，對於近景、小物體來說還算適合。
用於結構複雜的大型建築物的話會有大量採樣點採在空白區域，增加大量不必要的計算壓力。
為解決這個問題，研究人員提出體素引導（Voxel-guided）和表面引導（Surface-guided）混合的新採樣方法。
體素引導可以避免不必要的浪費，訓練時所需射線（Traning ray）可以減少30%。
再結合表面引導增加真實曲面周圍的採樣密度，幫助神經網絡更好擬合，避免丟失細節。
在消融實驗中可以看到，僅使用體素引導方法收斂的比基於球體的方法快，但不如混合方法細節豐富。
與之前同類研究對比，新方法生成模型的完整性和細節方面更出色。
訓練速度上也有明顯優勢，特別是在大型場景墨西哥城美術宮（PBA）。
△
Ours為完全收斂結果，帶小人圖標的是訓練過程中一個檢查點
當然，新方法也不是完全沒有缺點。
一個繼承自NeRF的局限性是，如果相機位置校準有偏差會影響最終結果。
還有一個難以解決的問題，就是照片拍不到的建築物背面和內部就無法精確重建了。
One More Thing
最後再補充一點，浙大團隊中一些成員，之前還研究了神經3D人體重建。
可應用於為體育比賽提供自由視角的視頻重放。
也是666了。