來源：神秘的程序員們
作者：西喬
原標題：《Adobe 也加入內卷戰場，推出AI圖像生成產品 Firefly，宣稱自己是沒有原罪的AI模型》
圖片來源：由無界版圖AI工具生成
幾個小時前，Adobe 剛剛發布了自家的 AI圖像生成模型套件 Adobe Firefly，現在還不能開放給用戶使用，但可以申請 waitlist （不需要是 Adobe CC 的用戶）firefly.adobe.com。
目前可以申請內測的兩個工具：
1. 像 Midjourney 或 Stable Diffusion 那樣的傳統文本到圖像生成。
2. 給文字加上AI生成的紋理和圖案，類似於AI輔助的 WordArt。
讓我們來看看效果 （以下作品都來自內測用戶的分享，並經過了人為的編輯挑選）：
Adobe 宣稱自己將擁抱時代變革。會將AI生成深度整合到自己的產品中，而不是做一個旁觀者。過去的一年中，各種AI生成模型的湧現，對 Adobe 的典型用戶——數字藝術創意工作者，造成了非常大的衝擊，無論是正在發生的創意工作流的改變，還是整個行業的發展方向的不確定性。
目前 Adobe Firefly Beta 的生成服務還只能通過網站獲得，但 Adobe 的生成AI和Sensei副總裁 Alexandru Costin 說，Firefly 將和 Photoshop、Illustrator 和 Premiere 緊密集成在一起，這樣客戶就不需要知道背後是否為 AI 生成。
除了上面兩個典型工具，在Firefly 官網，Adobe 還給出了未來可能包含在自家AI模型套件中的工具，包括
- 用文字提示給矢量圖像重新上色
- 將素描稿轉化為上色高
- 從文本提示直接生成可編輯的矢量圖像
- 內嵌於圖像處理工具的 inpainting 和 outpainting
- 基於3D模型生成圖案（我猜類似於在將 blender 里的3D對象生成為深度圖后做輸入控制）
- 從文本提示生成無縫圖案、筆刷、模板 等
- 多圖混合 mixup
- AI 驅動的 位圖放大
Inpainting
Extend Image (outpainting)
3D 生成 圖像
草稿上色
無縫紋理生成
用文本生成矢量圖像
上傳圖像用於 fine-tune
Adobe 努力使起AI生成工具比競爭對手的更好用，當然它也更好的條件實現這一點，直接將AI融合到現有的成熟創意工作流中。
從官方發布的demo視頻看，Firefly 將現在常見 T2I模型里 prompt 的 修飾詞（modify）按類型轉化為 GUI 界面，比如風格、色調、構圖、燈光 這些修飾詞，都變成了在界面上點擊的選項。可想未來 inpaint 這些功能可以直接與各種選區及筆刷工具整合，AI生成出來的圖案和筆刷樣式、草稿上色、局部放大也可以直接無縫應用。
Firefly 目前能產生的最大分辨率的圖片為 2000*2000 像素。使用 Firefly 生成的圖像將包含一個內容憑證 （Content Credentials），包含創作者信息、該圖像是否由AI生成，以及模型信息、用於生成時的操作指令及相關資源。
另外內測期間，使用Firefly生成的圖像和文本不可用於商業用途。
Firefly 發布的另一個焦點是 Adobe 宣稱自己沒有盜用藝術家的作品來訓練模型。自己用於訓練模型的數據要麼是版權過期的，要麼有許可，要麼是Adobe Stock圖庫中的。Costin表示公司有權使用這些數據， 以此讓其品牌免受侵權的指責，不惹惱自己的主要付費用戶——數字藝術家們。
Adobe 的官方發布稿里，最後一句話寫着：“因此，Adobe Firefly是友軍，更是友軍里的最強輔助！讓我們拭目以待。”
但聯想到今年1月份，反AI art 的用戶發現了 Adobe 服務的 一個隱私和數據分享的設置，默認開啟，使得用戶內容可被 Adobe 用於包含 機器學習在內的產品改善。從條款的 learn more 可以發現，這個首選範圍包括用戶上傳到 Adobe cloud 上的所有圖片音樂視頻、工程文件、資源庫；發布到 Adobe stock 圖庫網站上售賣的圖片和視頻素材 和 發布到 Behance 個人主頁上（Adobe旗下的數字藝術家在線畫廊）的所有作品。
當時這個發現立刻在數字藝術家圈裡炸了鍋，Adobe 成了 Anti AIart 的新靶子，邪惡科技巨頭的新典型。許多對AI 持敵對態度的用戶宣稱已將或會將自己的作品從 adobe 的相關網站上下降，或棄用服務。
這個隱藏頗深且 “默認開啟” 的數據授權協議，不禁讓人與今天 Adobe 宣稱的“ 自己訓練數據都獲得了創作者許可” 這一表態有所聯想。因為同時 Costin 也表示，Adobe計劃在內測結束後向為訓練數據做出貢獻的藝術家做出某種形式的補償。
Firefly 另一個可能引起爭議的計劃：Adobe 希望讓藝術家幫助訓練 Firefly 以生成符合藝術家個人風格的內容 (fine-tune?)。但這有被濫用的潛在風險——冒用且上傳別人的作品以克隆他們的風格。Costin 表示 Adobe 正在考慮如何處理這個問題。他提出了將上傳的圖像與 Adobe 擁有的 Behance 進行比較，以捕捉潛在的藝術盜竊者的想法。但目前還沒有最終決定。
同時計劃讓藝術家用自己的作品對模型幫助訓練，以幫助他們生成有個人風格的結果，但這有被濫用的潛在風險：冒用且上傳別人的作品以克隆他們的風格。
對此，Adobe的想法是與 Behance 主頁上（Adobe旗下的數字藝術家在線畫廊）上藝術家本人作品進行比較，鑒別冒用行為，但目前還沒有最終決定。我個人感覺這一計劃的可行性漏洞很大。
Adobe 還計劃發起 "Do Not Train" 協議，提供工具讓藝術家將拒絕訓練的申明嵌入圖像的元數據中，這樣將不會被納入之自家模型的訓練數據中。但目前還沒有其它模型的創建者或訓練者同意尊重這一協議。
與此對照，Stabilility AI (開發訓練 Stable Diffusion 的公司) 已經承諾在 SD V3版本中，支持 Spawing.ai 聯盟中藝術家們的訓練退出請求，這個聯盟提供了 “ Have I Been Trained？” 這一網站工具，幫助藝術家們查詢 SD用於訓練的開源 5B Laion 圖片語料庫里是否包含了自己的作品，如果包含，則這些作品可能被用於 SD模型的訓練。
Spawning 宣布自己已經跟 ArtStation 及 Shutterstock 合作，接受在這兩個網站上發布作品的藝術家們的退出請求，目前已經收集了涉及近八千萬張圖像的退出申請。
相關鏈接
https://firefly.adobe.com/faq
https://www.theverge.com/2023/3/21/23648315/adobe-firefly-ai-image-generator-announced
https://spawning.substack.com
Excited to announce that @StabilityAI have stepped up to honor artist opt-out requests in advance of the training of Stable Diffusion 3! 🧫🦾🎇
Artists, register your opt-outs at https://t.co/Mz89Ogvix0
Full explainer video here: https://t.co/tfsgZBo1qi pic.twitter.com/h25H4MCGEV
— Spawning (@spawning_) December 14, 2022
本文鏈接：https://www.8btc.com/article/6810442
轉載請註明文章出處