女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

包漿老圖立刻清晰到頭髮絲是一種怎樣的體驗?看這明亮的眼眸、清晰的髮絲,原本模糊的人像立刻添了幾分靈動:

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

(這就是用AI修復的高圓圓童年照)

時間更久遠的歷史名人照片也能搞定。

魯迅先生年輕時意氣風發的模樣,被還原地淋漓盡致:

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

圖靈的這張修復就更厲害了,不僅眼神更加銳利,頭髮、眉毛等細節都被完美還原了出來:

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

而以上這些效果,無需專業PS技能,只用一個網頁端的Demo、點點鼠標上傳圖片就能搞定!

這麼方便的修復神器,立刻引來了廣大網友的圍觀和試玩。

不少人都用自己童年時低像素的照片來試驗,這效果彷彿十幾年前的自己就站在眼前了:

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

已經糊到包漿的照片也能秒變人像大片,這feel立刻就來了~

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

多人合照修復也都是小case,這效果讓網友們直呼驚到了驚到了。

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

這就是已經多日霸佔GitHub熱榜第一的AI修復項目:GFP-GAN,Star數高達8400

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

最近,它在網上又掀起了一股老照片修復熱潮,讓人們爭相試玩!

而這一項目由騰訊PCG ARC實驗室提出,其相關論文已被CVPR2021收錄。

現在,就讓我們趕緊來體驗一下它的神奇之處吧。

Demo試玩

GFP-GAN可通過Colab、Hugging Face或本地運行代碼進行試玩。

我們今天是在Hugging Face網頁端體驗。

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

如界面所示,只需將你想修復的照片拖進左邊的圖片框內,點擊Submit即可。

比如我們上傳一張的照片,得到的效果就是這樣:

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

而且它還會自動擺正人臉。

讓人驚喜的是,遇到人像戴眼鏡的情況,GFP-GAN甚至連鏡片反光都能高清化處理。

u1s1(有一說一),修復后的效果完全看不出是幾十年前的照片啊!

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

就連齊天大聖孫悟空的猴臉,對於GFP-GAN而言也是so easy,並且對光線的修復效果格外突出。

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

並且修復中也不會過度磨皮,人臉上自然的皺紋也全部精細展現。

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

用GAN修復人像

那麼GFP-GAN如此強大的效果是怎麼實現的呢?

研究人員受到StyleGAN2的啟發:

既然GAN已經能生成如假亂真的圖片,那麼它所包含的面部信息,是不是也能幫助人臉修復呢?

由此,在GFP-GAN的模型框架中,主要用到了一個退化清除模塊和一個預訓練的GAN作為先驗。

兩個模塊通過隱編碼映射和多個信道分割空間特徵變化層(CS-SFT)連接。

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

訓練過程中,首先要對低質量人臉進行降噪等粗處理,然後保留面部信息。

在保真度方面,研究人員引入了一個面部損失( Facial Component Loss),判斷哪些細節需要提升保留,然後再用識別保留損失(Identity Preserving Loss)進行修復。

一作師從湯曉鷗教授

本文論文一作是Xintao Wang,他是騰訊 ARC 實驗室(深圳應用研究中心)的研究員。

本科畢業於浙江大學,博士畢業於香港中文大學。

其博士期間師從湯曉鷗教授和Chen Change Loy教授。

研究方向為計算機視覺和深度學習,尤其關注圖像、視頻修復方面。

女神青澀時纖毫畢現:騰訊AI模型GFPGAN火上GitHub熱榜第一

論文地址:
https://arxiv.org/abs/2101.04061

GitHub項目頁:
https://github.com/TencentARC/GFPGAN

Hugging Face試玩傳送門:
https://huggingface.co/spaces/akhaliq/GFPGAN

(0)
上一篇 2021-12-14 14:17
下一篇 2021-12-14 14:17

相关推荐