自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

原標題:一張自拍變6種風格漫畫,視頻也支持,全程穩定不“掉線”,這個AI不到一天狂攬1800贊。這,就是最近在Reddit上大火的一個自拍變漫畫AI,不到一天就收穫了1800+贊。

把自拍變漫畫:

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

不止支持一種面部風格:

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

任憑小姐姐怎麼“全身大比劃”,效果都能保持穩定,全程“不掉線”:

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

不止人臉,連全身和背景也都全部照顧到了。

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

什麼來頭?

自拍變漫畫,人臉、全身、背景都照顧到

這個AI叫WebtoonMe,基於深度學習技術將圖像翻譯成漫畫風格。

熟悉的朋友可能知道,Webtoon,web+cartoon,也就是“網頁版漫畫”,是漫畫的一種呈現形式,出自韓國。

這個自拍變身漫畫AI的技術團隊也來自韓國。

一開始,他們只做了人臉轉換,後來打算把背景也包括進去。

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

不過問題就來了:照片中的各種物體(如面部、身體部位、衣服、背景等)的風格屬性都不太一樣,如何輸出統一的結果呢?

作者採訪了幾位webtoon的創作者后了解到,webtoon的“前景”和“背景”是用不同工具製作的,為了讓兩者更自然地融合,後期也添加了不少修飾。

因此,他們將這個AI分為面部轉換和背景轉換兩部分,即一個背景生成器+一個面部生成器,把人臉裁切出來和背景分別處理。

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

具體來說,他們先構建了一個webtoon數據集,這個數據集由人臉、身體部位、物體和自然背景等不同部分組成。

然後創建了各種深度學習模型,用來減少前景和背景元素之間的風格差異。

最後又模仿了不同webtoon創作者的修飾技術,通過幾種后處理算法,讓生成的結果更自然、質量更高。

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

具體的技術細節我們還未可知,目前也還沒有開放試用鏈接。

不過看起來讓很多心動的背後,一些細心的網友僅通過幾張示例就發現了一些問題。

眼睛的效果還需改進

就比如這個眼睛,很多網友表示有點恐怖啊,一直直視前方,眼球動也不動。

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

如果能模仿眼球轉動、眨眼睛、眯眼等眼部動作,效果肯定會更好。

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

此外,拋去這一點,臉部和背景處理得都還不錯,就是這個身體部位風格化得不夠徹底,還是有點像真人

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

倒是這個AI的穩定性值得讓人誇讚。

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

哦,還有一點美中不足,有網友“惋惜”:

要是這個AI還沒取名字就好了,不然就可以叫WaifuNet了……[旺柴]

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

One More Thing

要說這人物變動漫的AI,一直都層出不窮。

就比如前不久的AnimeGAN2,採用神經風格遷移+GAN,由湖北工業大學的三位學生和老師開發,也是大火,一度需要網友排幾小時大隊才能看一眼自己在動漫里的樣子。

自拍變漫畫AI大火:可將視頻/背景轉為漫畫風 全程穩定不掉線

AnimeGAN2的風格和今天的這個WebtoonMe不太一樣,變換重點也只包括人臉,所以眼部跟蹤做的挺好。

不過面對不夠高清的人臉時,效果一般。

兩者各有所長吧,你喜歡哪一種呢?

(0)
上一篇 2022-01-30 16:34
下一篇 2022-01-30 16:34

相关推荐