自動駕駛、圖像生成、2D轉3D……2021年，哪些AI論文最火？又是哪些論文最具突破性？最近一位ÉTS研究生、YouTube博主總結了今年AI最新突破列表，視頻、文章和代碼一應俱全。我們從中梳理出八大類，就跟大家一起來康康～
視頻博主看過來
從中梳理最多的，當屬一些利好視頻博主的技術了。
比如，這個TimeLens，它可以製作慢動作視頻，最大範圍可從原有的30幀擴展成900幀。
再比如，這個編輯神器VGPNN——單個視頻幾秒內多樣化生成。
像刪除或添加某人、改變背景、時間拉長、改變長寬比、分辨率等功能在它面前，都是基本操作。
還有像在不影響背景或其他對象情況下，移動圖像中的對象；使用AI分離真實世界中的聲音，語音、音樂和音效之類……
具體在畫質處理上，今年英特爾就用英偉達顯卡做了畫質增強補丁。今年6月，這個Demo在全網火了一把。
為了在GTA上效果更真實，研究人員改變了視頻中3點特徵：增加汽車的光澤、改善植被的整體外觀、讓瀝青路面看起來更光滑。
對此，有網友表示，這比路徑追蹤便宜多了。
如果說肆掠的疫情讓視頻會議火了一把，那麼視頻會議軟件讓背景替換技術搬到了台前。
Google研究員就提出了一種重新光照的方法Total Relighting，來給人像做背景替換。
它能根據新添加的場景光線，重新點亮任何肖像，以此看起來更加真實。
這一方法還可進一步延伸至電影、專業視頻製作中，up主可以用起來。
此外，除了背景替換，還有文字替換，風格還保留的那種。
今年，Facebook提出了一種AI模型，它可以直接翻譯或編輯圖像中的文本，並且遵照同樣的風格。
類似這樣～
DALL·E領銜的圖像生成
圖像生成領域，最具突破性的當屬DALL·E——OpenAI在新年推出的“AI設計師”，吳恩達點贊的那種。
簡單來說就是，提出你的文本需求， 它來生成圖像。從原理上看，類似於GPT-3在文本合成圖像方向上的擴展版。
比如輸入“OpenAI公司門面”，它就能給出十幾張設計圖供你選擇。
還有像根據手繪草圖來生成圖像、使用隨機微分方程進行圖像合成和編輯等進展。
2D圖像生成3D模型
這是除圖像生成外，另一個2021 AI領域熱度極高的研究方向。
試想一下，如果只在現實生活中拍攝一張對象照片，就可創建3D格式將其插入視頻或者遊戲中，會有多酷。
Google研究院提出的ShaRF就可以做到，比如隨意拍的一個椅子。
英偉達也提出了類似的解決方案GANverse3D，只需一張圖像，就可創建可自定義的3D動畫。
還有前段時間火爆外網的假3D場景，也是通過一組照片渲染出來的。
以及LASR模型——從短視頻中單拎出一個對象來，創建人類或動物的3D模型……類似的方法還有很多。
萬物皆可與Transformer結合
你是否想過把CNN與Transformer結合起來？
2021年，“跨界輸出”在AI領域掀起潮流。
基於CNN效率和Transformer的表達能力，德國海德堡大學的研究人員提出一種高分辨率圖像生成的方法——Tl;DR。
還不只是CNN和Transformer。
斯坦福和Facebook的研究人員提出GANsformers——基於StyleGAN2架構中Transformer的注意力機制，來生成場景圖片。
應用層：試衣間、天氣預報
除此之外，還有原有模型基礎上應用層面的延伸。
就如Google提出了基於StyleGAN2架構的改進版，創建了一個AI在線試衣間。
只需要提供一張你的圖像，就能自動試穿任何衣服。
還有像巴塞羅那大學的研究人員開發了一種基於深度學習，能從航拍圖像中自動檢測漂浮的垃圾，並計算數量。
為此，他們還製作了一個APP，用戶可在海面圖像中識別這些垃圾。
還有Apple提出應用在相冊的ML算法，在iOS 15上自動識別私人照片中的人；DeepMind提出了一個使用雷達深度生成模型，來更準確的預報天氣。
AI驅動的賽博朋克手臂
明尼蘇達大學的研究人員打造了一款賽博朋克手臂——AI驅動的神經接口。
據介紹，截肢者可以像尋常人一樣靈巧的控制手臂。
編程神器：GitHub Copilot
對於開發者而言，今年最具突破性的進展莫過於編程神器——GitHub Copilot，由GitHub與openAI聯合開發。
只需描述出你想要執行的命令，就能生成相應的代碼。
甚至程序員只要寫下一段註釋，Github Copilot就可以補全剩下的代碼、提出改進的建議，為程序員省去大量查找的時間。
特斯拉的自動駕駛
值得一提的是，這次還有特斯拉的自動駕駛入選。
在特斯拉的AI day上，人工智能總監Andrej Karpathy展示了特斯拉如何通過8個攝像頭來獲取圖像到道路導航的過程。
這當中包括壓縮數據、二維轉變為三維輸出等操作。
……
除此之外，還有像面對第三次人工智能浪潮，研究人員對AI中快與慢思考；AI偽造類似“探探”個人檔案，來探討人類會不會向右滑動；Transformer是如何在CV領域取代CNN的？