在尼爾·斯蒂芬森於1992年出版的科幻小說《雪崩》中，存在一個可以讓人們的虛擬化身生活的數字世界，這或許是近年來大火的“元宇宙”概念的起源。而2018年上映的電影《頭號玩家》，把對未來元宇宙更為具體的想象帶給了全世界。隨着近年來VR、AR、AI、5G等元宇宙關鍵技術的快速發展，過去只存在於想象中的元宇宙正向人們的生活靠近。
其中，作為元宇宙與人們交互的窗口，渲染成為眾多元宇宙關鍵技術中的重中之重，被喻為元宇宙技術棧上的皇冠。如何快速、高效地在便攜終端上渲染出逼真的圖像，成為元宇宙落地亟待解決的難題。
ICARUS是一款基於NeRF渲染算法的定製化芯片。在向芯片加載經過訓練的NeRF網絡參數后，只要輸入觀察位置與視角，ICARUS即可快速渲染出該視角與位置下的圖像。
針對真實圖像渲染的難題，上海科技大學芯片設計團隊提出了最新的ICARUS芯片定製架構。ICARUS是一種基於NeRF（Neural Radiance Fields，神經輻射場）算法技術的定製化硬件加速芯片，它使得在手機、VR眼鏡等終端實時渲染出極為精緻的逼真圖像成為可能。
“使用傳統的渲染技術在終端設備上進行實時的逼真圖像渲染幾乎無法實現，但是ICARUS基於最新圖像學渲染技術，加之對其定製化的硬件優化，使得過去不可能的任務變得現實。”上海科技大學信息學院助理教授、研究員婁鑫表示。目前ICARUS有關論文已被計算機圖形學頂級會議ACM SIGGRAPH ASIA 2022接收。
ICARUS上集成了位置編碼模塊(Positional Encoding)、多層感知機模塊(MLP Engine)和體渲染模塊(Volume Rendering Unit)，可支持多種NeRF、SLF類似網絡。芯片內部使用可配置的定點數運算，並且在MLP模塊中使用了乘法近似算法。在保證足夠的計算精度的情況下，ICARUS可適用於不同場景的渲染，並且大大降低了芯片的面積與功耗。
NeRF技術：簡化傳統渲染技術流程
在過去，超逼真的渲染技術大多用於頂級科幻電影的製作，以及一些大型3A遊戲中，其大多使用光線追蹤的傳統渲染技術。光線追蹤算法通常需要建立大量的虛擬模型，並且對其進行關於材質、紋理等有關光學參數的調試與標定。在高精度模型建立好的基礎上，依照物理規律對其進行迭代仿真，最終可以得到以假亂真的圖像，讓觀眾察覺不到虛擬物體與現實物體之間的差別。
但僅僅使用傳統的光線追蹤渲染技術並不能讓我們擁抱元宇宙。上海科技大學信息學院博士生、論文第一作者饒朝林表示，除去傳統渲染技術中無法避免的複雜渲染流程，巨量的算力和功耗限制了傳統圖像渲染技術的應用場景，令其無法廣泛地運用於真正可接入元宇宙的終端設備。“目前高質量的圖像只能通過最先進的顯卡渲染得到，這意味着龐大的設備體積與極高的計算功耗，使得手機、VR眼鏡等便攜設備無緣這些逼真圖像。並且基於傳統的圖像渲染技術，根據模型精細程度的不同，渲染一張圖像通常需要消耗數秒至數小時不等，實時渲染的目標仍然遙不可及。”
神經輻射場（NeRF）是近年來新出現的圖像渲染技術，其本質是將整個物體空間利用神經網絡進行隱式編碼並得到特定的模型，即可利用模型重建出三維場景並渲染出各種新視角下的圖像。
NeRF技術可以對現實場景、物件掃描後進行建模，達成快速映射、快速渲染的目的，對比傳統渲染技術中需要手動建模等流程大大簡化。NeRF的提出與發展將三維場景的隱形表示方法推向了新的高度，能夠生成無界場景的逼真渲染，實現了360°照片般逼真的新型視圖重建合成效果，已然成為了元宇宙發展新方向，並可能成為下一代圖像渲染的核心技術。
ICARUS可以使用極低的功耗進行高保真的圖像渲染，圖為ICARUS渲染結果與原圖像和GPU渲染圖像結果的對比。可以發現在多數場景下ICARUS擁有與GPU渲染相近的PSNR（用于衡量圖片相似度的係數），並且在視覺感官上取得了可與之媲美的渲染效果。
ICARUS：為NeRF算法定製的硬件加速芯片
僅僅只有NeRF在算法層面的進步，在元宇宙對圖像渲染的高要求面前遠遠不夠。在NeRF算法中存在大量的全連接層計算，對硬件計算能力要求極高，並且過去的圖像渲染硬件並不能直接適配類似NeRF的新算法。“通觀計算機發展歷史，軟件與硬件的進步總是相輔相成的，如今新一代的圖像渲染技術已經出現，那必然需要新一代的硬件設備與之適配。而ICARUS也正是在這樣的時間節點上提出的。”婁鑫說。
在ICARUS芯片中，集成了位置編碼模塊（Positional Encoding Unit）、多層感知機模塊（MLP Engine）和體渲染單元（Volume Rendering Unit），在片上實現了NeRF渲染的全流程。為了在較小的芯片面積內取得較高的能效比，在芯片設計過程中運用了很多提高能效比的技術。
上海科技大學信息學院研究生、論文共同作者萬浩川介紹，在ICARUS中使用了經過量化的定點數模型，並且在多層感知機模塊中使用了移位累加等近似算法的硬件設計。這些針對NeRF的硬件優化設計可以在幾乎不改變最終渲染圖像質量的情況下，大大減少芯片面積與計算能耗，未來可適用於人們日常生活中的各種輕量終端中。在使用同一種NeRF網絡進行一張分辨率為800×800的渲染圖片時，運行在1.245GHz的英偉達V100顯卡需要27.74秒，並且其芯片約為815mm^2，功耗約為300W。而根據理論計算，運行在400MHz的ICARUS需要45.75s，但其芯片面積僅為16.5mm^2，功耗僅為282.8mW。
上海科技大學信息學院研究生、論文共同作者鄭越洋介紹，下一步，ICARUS將跟隨NeRF類算法的飛速發展，未來會把更多的編碼、網絡結構集成進ICARUS芯片，以支持更多種類的應用場景。ICARUS將在明年進行流片（試生產）並點亮，屆時將成為第一款為NeRF算法定製的硬件加速芯片。