英偉達為Ada Lovelace GPU帶來視頻幀率AI提升新體驗

隨着 GeForce RTX 40 系列顯卡的發布,發展到第三代的深度學習超級採樣(DLSS 3)功能,也帶來了一項“AI 幀生成”的定義特性。TechPowerUp 指出,Ada Lovelace GPU 能夠預測交給 GPU 去渲染的下一幀,並在不涉及任何圖形渲染管道的情況下生成幀。有趣的是,英偉達還將這一概念運用到了視頻編碼上,以藉助該“魔法”提升視頻的幀速率。

0.jpg

(來自:Nvidia Technical Blog)

據悉,Ada Lovelace GPU 的光流加速器(NVOFA)組件,可對視頻應用和圖形渲染套用相同的光流(Optical Flow)邏輯。

1.jpg

在預測下一幀的同時,GPU 還可通過 AI 生成該幀,來提升畫面的流暢度 —— 英偉達稱之為“引擎輔助幀率轉換”(FRUC)。

FRUC.gif

此前我們有在一些電視機(以及 AMD 顯卡驅動)上見到過其它形式的“提升流暢度”解決方案,但這裡 NVENC 還可比較視頻中的兩個真實幀、確定運動矢量、並設置光流階段,以確保生成幀的準確性。

4 New-interpolated-frame.jpg

最後,英偉達將以庫(Library)的形式來發布 FRUC,以幫助它更好地集成於內容創建和媒體消費類應用程序中。