編輯：Aeneas
來源：新智元
原標題：《一句話拍大片，導演末日來了！Gen-2震撼發布，科幻日系二次元統統拿捏》
導讀：Runway的Gen-1還沒內測完，Gen-2就以迅雷不及掩耳之勢發布了。這次的效果更加炸裂，AI大導離淘汰人類，又近了一步。
昨天，Midjourney生成的完美情侶刷爆網絡，大家紛紛在留言區里暢想，下一步，就是演員被淘汰，人人都能升級大導，一鍵生成大電影了。
巧得很，今天，會做視頻的AI模型不就來了嘛。
剛剛，彷彿一聲驚雷炸響，Runway發布了文字生成視頻模型Gen-2。
宣傳詞也是非常炸裂——「say it，see it」，只要你說得出來，它就能給你做出來。科幻小說里的超能力成真了！
可以說，有了Runway Gen-2，你就能用任意的圖像、視頻或文本，生成一段酷炫大片，想要啥風格，就有啥風格。
這個速度簡直讓人目瞪口呆：Gen-1的內測都還沒拿到呢，Gen-2就來了！
一句話，一張圖，三秒視頻無中生有
此前，Runway在文本到圖像領域就曾經大放異彩，大名鼎鼎的Stable Diffusion，就是Runway開發的。
在今年2月，Runway就提出了首個AI編輯模型Gen-1。
顧名思義，Gen-1可以在原視頻的基礎上，編輯出咱們想要的視頻。無論是粗糙的3D動畫，還是用手機拍出來的搖搖晃晃的視頻，Gen-1都可以升級出一個不可思議的效果。
論文地址：https://arxiv.org/abs/2302.03011
比如用幾個包裝盒，Gen-1就可以生成一個工廠的視頻，化腐朽為神奇，就是這麼簡單。
而相比Gen-1，Gen-2獲得了史詩級的升級——可以從頭開始生成視頻。
目前，這個模型還未開放，預計在幾周內會公開。
而根據目前的演示片段看來，Gen-2的效果似乎暫時比不上Gen-1，沒有那麼逼真。
但是，這畢竟是AI文生視頻0到1的第一步。AI導演做到這一步，已經夠人類顫抖的了。
網友實測，效果炸裂
而獲得內測資格的幸運網友，已經開始動手生成自己的電影了。
可以看出，無論是宮崎駿風格的日系動畫，還是寫實風格的鏡頭特寫，或者魔幻特效的電影大片，Gen-2都不在話下。
雖然目前的畫質可能還不夠細膩，但畢竟是從0生成的視頻，一旦日後優化好，大導們的飯碗怕是捧不穩了。
Gen-2的八大「魔法」
Mode 01：Text to Video（文字生成視頻）
一個文本提示，就能合成出任意風格的視頻，不怕它生不出來，只怕你想不到。
提示：在紐約市的一間閣樓里，傍晚的陽光透過窗戶溫柔地灑進屋內。
輸出：
Mode 02：Text + Image to Video（文字+圖像生成視頻）
輸入一幅圖，再加一句prompt，直接就給你變成了視頻。
輸入圖像：
驅動提示：在一個低角度拍攝的畫面中，男子正沿着街道行走，周圍酒吧的霓虹燈照亮了他的身影。
輸出：
Mode 03：Image to Video（圖像生成視頻）
這個不用解釋了，你給它一張圖片，它給你秒變一段視頻。多種風格，隨你選擇。
美圖一秒變電影，這也太夢幻了吧。
輸入圖像：
輸出：
Mode 04：Stylization（風格化）
如果你有一段原視頻，但是效果不夠炸裂，怎麼辦？
只需要把你想要疊加的風格用圖片或者文字疊加上去，多魔幻的風格都立馬生成，秒變好萊塢大片。
原始視頻：
驅動圖像：
輸出：
Mode 05：Storyboard（故事版）
將模擬的場景一拉，就變成了風格化和動畫化的渲染圖，前期製作一鍵簡化。
輸出&輸出對比：
Mode 06：Mask（掩碼）
在你的視頻中分離出特定的對象，然後通過prompt，想怎麼改就怎麼改，比如下圖中，金毛秒變斑點狗。
輸入視頻：
驅動提示：
一隻身上有黑色斑點的白毛狗。
輸出：
Mode 07：Render（渲染）
只要輸入圖像或提示，無紋理的渲染立馬變成現實的輸出，深度和真實感震撼人心。
輸入視頻：
輸出：
Mode 08：Customization（個性化）
通過自定義，讓原視頻個性化大變身，保真度還超高。
點擊就看外國小哥秒變海龜人。
輸入&輸出對比：
訓練圖像：
從生成結果來看，Gen-2的前景，實在是太令人着迷了。（Gen-1的內測申請在這裡，http://t.cn/A6Cu1cdy）。
雖然Meta和谷歌也有類似的文本到視頻模型（Make-a-Video和Phenaki），生成的剪輯更長、更連貫。
但這些體量更大的公司並沒有投入多大的資源，相比之下，Runway的團隊只有區區45人。
其實，Runway自2018年以來，就一直專註於研究AI工具，並在去年年底籌集了5000萬美元。
有趣的是，Stable Diffusion的初始版本，就有Runway的貢獻。只不過後來被Stability AI普及，並有了更進一步的發展。
而這也告訴我們，初創公司在生成式AI上的潛力，是多麼驚人。
一大波展示
提示：一隻眼睛的特寫鏡頭
提示：無人機拍攝的沙漠景觀
參考資料：
https://research.runwayml.com/gen2
https://www.theverge.com/2023/3/20/23648113/text-to-video-generative-ai-runway-ml-gen-2-model-access
本文鏈接：https://www.8btc.com/article/6810288
轉載請註明文章出處