來源：量子位
圖片來源：由無界版圖 AI工具生成
學廢一位人類插畫師，AI只用了32張作品。
故事的主人公叫做Hollie Mengert（霍姐），她自打2011年從藝校畢業以來就從事着插畫相關工作。
11年來的打拚，也讓霍姐在插畫上有了自己獨樹一幟的風格。
然鵝……
有天霍姐一覺醒來卻收到朋友的來信：“姐~你現在成人家AI的模型了”。
於是乎，毫不知情的霍姐便去Reddit上看了看到底是咋回事，結果——
有位小哥搞了個AI，只用了霍姐32張作品訓練，就能模仿她的風格作畫！
△左：霍姐作品；右：AI作品
好了，這下子大家都能用這個AI，畫出霍姐風格的插畫了。
而且更“致命”的是，給AI輸入的提示詞必須帶上“holliemengert artstyle”（霍姐風）……
（多冒昧啊……）
這波操作也是直接讓網友炸了鍋，紛紛留言為霍姐抱不平：
人家還活着呢……
你可把這位姐妹坑慘了。
然後隨着這事的逐漸發酵，細節也逐漸浮出了水面。
2.5小時煉出新模型，成本不到15塊
事情最初只是一位來自加拿大的工程師Ogbogu Kalu（卡哥），出於個人愛好做了個插畫AI。
看着效果還不錯，他就把模型發到了Reddit上，結果一下子火了！
不少網友看了直呼：這是巨作！
本以為需要成千上萬張圖才能訓練出好的效果，沒想到這麼點兒也可以。
而且訓練成本也很低，卡哥說自己做這個模型，只是在雲端租了GPU、花2個半小時就搞定了。
折算成本不到2美元（人民幣約15塊）。
不過，卡哥當時做出這個AI也實屬意外，在此之前他並不了解霍姐的作品。選擇這一風格，只是因為他在幫別的網友微調模型，那位網友給出的風格和霍姐畫風相似。
通過改進數據集，他一晚上便弄出了一個效果更好的新模型，命名為“hollie-mengert-artstyle”。並把代碼也放了出來，人人都能免費試玩。
他用到的AI，主要是Stable Diffusion和DreamBooth。
後者是模仿風格精髓的關鍵。
這是谷歌在今年8月發布的新AI。它只需3-5張圖片，再加上文字表述，就能讓指定物體遷移到其他場景或風格中去。
和Dall-E 2、Imagen等最大的不同是，DreamBooth能對選定對象忠實還原。
具體方法是給物體加上“特殊標識符”。
原本圖像生成模型收到的指令只是一類物體，例如[cat]、[dog]等，但現在DreamBooth會在這類物體前加上一個特殊標識符，變成[V][物體類別]。
以下圖為例，將用戶上傳的三張狗子照片和相應的類名（如“狗”）作為輸入信息，得到一個經過微調的文本-圖像擴散模型。
該擴散模型用“a [V] dog”來特指用戶上傳圖片中的狗子，再把其帶入文字描述中，生成特定的圖像，其中[V]就是那個特殊標識符。
而且這種方法不局限於某個模型，Dall-E 2、Stable Diffusion等調整后也能實現如上效果。
比如之前亞馬遜工程師就發布過一個DreamBooth-Stable-Diffusion。
Hugging Face上這類模型超級多，各種風格都有，如迪士尼、賽博朋克等等。
卡哥的模型也屬於其中之一。
實際上，把DreamBooth用在Stable Diffusion不算難，油管就有現成教程。
有人用30張圖微調模型，全程不到20分鐘，並且效果是杠杠好，他的照片可以毫不違和地融入到各種風格中去。
（不過芝麻街這個很難判斷效果到底好不好）
“原作與此無關”
畢竟這事在圈裡被討論得甚是火熱，一位叫Andy Baio的吃瓜網友，就直接找到了兩位當事人聊了聊。
首先，霍姐談了談她的看法：
我得知這件事情的第一反應，就是覺得我名字出現在這個工具里，有被冒犯到。
我對這件事情一無所知，也沒人徵求過我的意見。
即便他過來問我“是否可以這麼做”，我也不會答應的。
霍姐認為，給AI訓練所用到的圖像就涉及到了版權問題。
因為當初她是和迪士尼等客戶有合作，沒有客戶的允許，霍姐自己都不能隨意在網上傳播插畫。
除此之外，霍姐還認為這個AI模型跟她的名字掛鈎，但並不能完全展現她插畫風格的獨到之處：
作為一名藝術家，我覺得讓我特別自豪的地方，就是作品能有真實的表達、吸睛的設計，並且人物能夠產生共鳴。
但AI生成的插畫，就挺難做到這些點的。
然後霍姐更細緻的對這個觀點做展開：
我覺得AI可以模仿筆刷的紋理和渲染、選擇一些顏色和形狀，但這並不代表就能勝任一個值得被雇傭的插畫家或設計師。
因為渲染、筆觸和顏色等，都是藝術最表層的部分。我認為人們最終會與藝術聯繫在一起，是因為一個可愛或讓人產生共鳴的角色。
總而言之，霍姐個人覺得AI生成的作品跟自己的藝術水平還是有很大的距離感。
但讓她非常無奈的是，自己的名字確確實實就跟AI“捆綁”到了一起，成了工具的一部分。
那麼站在工程師的角度，又如何看待這件事呢？
Andy Baio也找到了卡哥聊了聊：
我認為AI的訓練和圖片的使用都是合法的，即便這事鬧到法庭也很可能被判為“合理”，因為你是沒法給一種畫風申請版權的。
100TB的訓練數據壓縮成一個4GB的模型，AI作畫的方式也不能算“縫合”，更像是從生動記憶中提取並創新。
而且這是技術發展不可避免的事情，像Adobe在PhotoShop里搞AI工具，微軟也在自家設計套件里添加了圖像生成器。
那這就意味着藝術家們對自己的作品就沒有發言權了嗎？Andy Baio繼續追問道。
卡哥對此表示：
我覺得現在很多的反對意見是無解了AI的運作方式。
AI生成的內容並不是基於藝術家作品的拼貼，而是創造了全新的圖像，這是一種變革。
對AI不夠了解的人沒有真正意義上的發言權。
不過後來，卡哥還是把Hugging Face上模型的名字，從最初的Hollie-mengert-artstyle，改成了更為通用的Illustration-Diffusion。
並且還特意補充、強調了一句：
Hollie與此無關。
而在此數天之後，卡哥又發布了一個新模型。
這次他所採用的是另一位藝術家James Daly III的40張作品來訓練：
△左：James Daly III作品；右：AI生成作品
……
那麼對於這件事，你怎麼看呢？
參考鏈接：
[1]https://waxy.org/2022/11/invasive-diffusion-how-one-unwilling-illustrator-found-herself-turned-into-an-ai-model/
[2]https://www.reddit.com/r/StableDiffusion/comments/yaquby/2d_illustration_styles_are_scarce_on_stable/
[3]https://news.ycombinator.com/item?id=33422990
[4]https://huggingface.co/ogkalu/Illustration-Diffusion
本文鏈接：https://www.8btc.com/article/6785696
轉載請註明文章出處
