看到下面這張動圖，你會想到什麼？是Google地球，還是蘋果自帶的3D地圖？其實都不是，它是用衛星和航拍圖片直接渲染生成的洛杉磯。很難想象，如此精細的城市3D模型，竟然是用幾張不同角度和高度的2D圖片重建的。
這項研究來自香港中文大學多媒體實驗室團隊，叫做 CityNeRF。
說到這裡，有人應該想到了這兩年大熱的“神經輻射場”（NeRF），它可以用多張角度照片重建3D對象，性能出色。 量子位之前對此進行了相關報道和解讀。
NeRF雖然恢復室內場景效果驚艷，但是直接用到城市級的衛星地圖上，卻面臨著巨大的挑戰。
首先是拍攝相機有很大的運動自由度。隨着相機的上升，場景中的地物外觀越來越粗糙，幾何細節越來越少，紋理分辨率越來越低。
同時，隨着空間覆蓋範圍的擴大，來自外圍區域的新對象會加入到視圖中。
相機在這個一系列場景中，產生了具有不同細節級別和空間覆蓋範圍的多尺度數據。
如果使用原來的NeRF渲染，那麼生成的遠景往往不完整，周邊場景區域存在偽影，近景總是具有模糊的紋理和形狀。
什麼原理？
針對上述問題，作者提出了採用多階段漸進式學習範式的CityNeRF。
作者根據相機距離將整個訓練數據集劃分為預定義數量的尺度。從最遠的尺度開始，每個訓練階段逐漸將訓練集擴大一個更近的尺度，並同步增長模型。
通過這種方式，CityNeRF可以穩健地學習跨場景所有尺度的表示層次結構。
CityNeRF引入了兩個特殊的設計：
1、具有殘差塊結構的生長模型：
在每個訓練階段附加一個額外的塊來擴展模型。每個塊都有自己的輸出head，用於預測連續階段之間的顏色和密度殘差，促使塊在近距離觀察中關注新興細節；
2、包容的多級數據監督：
每個塊的輸出head由從最遠尺度到其對應尺度的圖像聯合監督。
換句話說，最後一個塊接受所有訓練圖像的監督，而最早的塊只暴露於最粗尺度的圖像。通過這樣的設計，每個塊模塊都能夠充分利用其能力，在更近的視圖中對複雜的細節進行建模，並保證尺度之間一致的渲染質量。
總體來說，CityNeRF是一種漸進式學習範式，可同步增長NeRF模型和訓練集。從用淺基塊擬合遠景開始，隨着訓練的進行，添加新的塊以適應越來越近的視圖中出現的細節。
該策略有效地激活了位置編碼中的高頻通道，並隨着訓練的進行展開更複雜的細節。
簡而言之，使用基本神經網絡多層感知器的權重，NeRF將提前處理所有圖像，知道其觀點位置。NeRF將使用相機的光線找到每個像素的顏色和密度。
因此，它知道相機的方向，並可以同時使用所有數組來了解深度和相應的顏色。然後，使用損失函數優化了神經網絡的收斂性，
模型訓練數據數據來自Google Earth Studio中的12個城市圖像。結果顯示在幾種常見重建模型中達到了最佳的效果。
最後，作者又將該模型用於重建無人機拍攝的空中圖像，依然收到了更佳的效果。
團隊簡介
本篇論文的兩位一作是來自香港中文大學MMLab的兩位博士生 相里元博和 徐霖寧。前者曾有一篇論文被ICLR 2020收錄，後者有多篇論文被CVPR、ICCV等頂會收錄。
通訊作者是以上兩位的導師 林達華。
林達華是香港中文大學信息工程系副教授，也是港中大-商湯科技聯合實驗室主任。
論文地址：
https://arxiv.org/abs/2112.05504
項目地址：
https://city-super.github.io/citynerf/