來源：機器之心
導語：呼籲所有 AI 實驗室立即暫停訓練比 GPT-4 更強大的 AI 系統，為期至少 6 個月。
人們一直在說 ChatGPT 有風險，OpenAI CEO 也這麼說，現在終於有人出手了。
在 GPT-4 誕生兩周之際，一封公開信正在社交媒體發酵。
這封公開信指出，最近幾個月，人工智能實驗室陷入了一場失控的競賽，他們沒有辦法理解、預測或可靠地控制自己創造的大模型。人類社會對其可能造成的影響也沒有做好準備。因此，公開信呼籲，所有 AI 實驗室應立即暫停訓練比 GPT-4 更強大的 AI 模型，為期至少 6 個月。
公開信鏈接：https://futureoflife.org/open-letter/pause-giant-ai-experiments/
截至目前，圖靈獎得主 Yoshua Bengio、特斯拉 CEO（OpenAI 聯合創始人）伊隆・馬斯克、紐約大學名譽教授 Gary Marcus、UC 伯克利教授 Stuart Russell 等 1000 多人已經在這封公開信上簽名。
不過一直抨擊ChatGPT的Yann LeCun公開表示不會簽署這個公開信，不同意這封公開信的內容。
以下為公開信內容：
大量研究[1]表明：具有人類水平智能的 AI 系統可能對社會和人類帶來極大的風險，這一點已經得到頂級 AI 實驗室[2]的認同。正如廣泛認可的 Asilomar AI 原則中所述，高級 AI 可能代表地球生命史上的深刻變化，應以相應的關懷和資源進行規劃和管理。不幸的是，目前尚無這種級別的規劃和管理。最近幾個月人工智能實驗室陷入了一場失控的競賽，他們致力於開發和部署更強大的數字思維，但是沒有人能理解、預測或可靠地控制這些大模型，甚至模型的創造者也不能。
當代人工智能系統現在在一般任務[3]上表現與人類相當，我們必須捫心自問：
- 我們是否應該讓機器用宣傳（尤指福狹、誤導的）和謊言充斥我們的信息渠道？
- 我們應該自動化所有的工作，包括令人滿意的工作嗎？
- 我們是否應該發展最終可能超越我們並取代我們的非人類思維？
- 我們應該冒險失去對我們文明的控制嗎？
我們不應該將此類決定交給未經選舉產生的技術領導者。只有當我們確信 AI 大模型的影響是積極的並且風險是可控的時，我們才能開發強大的人工智能系統。而且，這種判斷必須有充分的理由，並隨着系統潛在影響的大小而跟進。OpenAI 最近關於人工智能的聲明指出：「在開始訓練未來系統之前進行獨立審查可能很重要，並且對於最先進的工作來說，人們應該在合適的時間點限制用於創建新系統的計算增長率。」我們認為，現在已經到了這個時間點。
因此，我們呼籲所有 AI 實驗室立即暫停訓練比 GPT-4 更強大的 AI 系統，為期至少 6 個月。這種暫停應該是公開的和可驗證的，並且所有關鍵參與者也應該暫停相關工作。如果不能迅速實施這種暫停計劃，政府機構應介入並暫停。
人工智能實驗室和獨立專家應該利用這次暫停，共同開發和實施一套用於高級人工智能設計和開發的共享安全協議，並由獨立的外部專家進行嚴格審計和監督。這些協議應確保遵守它們的系統是安全的，無可置疑的[4]。這並不意味着總體上暫停 AI 開發，而是從具有新興功能的、不可預測的大型黑盒模型的危險競賽中後退一步。
人工智能的研究和開發應該重新聚焦於使當今強大的、最先進的系統更加準確、安全、可解釋、透明、穩健、一致、可信和可靠。
同時，人工智能開發者必須與政策制定者合作，大幅加快強大的人工智能治理系統的開發。這些工作至少應該包括：
- 專門針對人工智能的新的、有能力的監管機構；
- 對高能力的人工智能系統和大型計算能力池的監督和跟蹤；
- 幫助區分真實和合成數據的溯源、水印系統，並跟蹤模型泄露；
- 強大的審計和認證生態系統；
- 對人工智能造成的傷害的責任認定；
- 對人工智能安全技術研究的強大公共資金；
- 資源豐富的機構，以應對人工智能將造成的巨大經濟和政治混亂。
人類可以通過人工智能享受一個繁榮的未來。在成功創造出強大的人工智能系統之後，我們現在可以享受一個「人工智能之夏」。在這個夏天，我們收穫了回報，為所有人的明確利益設計這些系統，並給社會一個適應的機會。社會已經暫停了對自身有潛在災難性影響的其他技術[5]。我們在這個領域也可以這樣做。讓我們享受一個漫長的人工智能之夏，而不是在毫無準備的情況下衝進秋天（Let's enjoy a long AI summer, not rush unprepared into a fall）。
簽名者：
Yoshua Bengio，蒙特利爾大學，因開發深度學習而獲得圖靈獎，蒙特利爾學習算法研究所負責人
Stuart Russell，加州大學伯克利分校智能系統中心創始人兼計算機科學專業教授，標準教科書《人工智能：一種現代的方法》的合著者
Elon Musk，SpaceX、Tesla 和 Twitter 的首席執行官
Gary Marcus，紐約大學，AI 研究員，名譽教授
Steve Wozniak，蘋果公司聯合創始人
楊安澤，2020 年美國總統候選人，紐約時報暢銷書作家
Emad Mostaque，Stability AI 首席執行官
Zachary Kenton，DeepMind，高級研究科學家
……
目前，這封僅僅出現數小時的公開信在持續發酵，在國外 AI 社區已經引起了了極大的關注與討論。因為有大佬帶頭，支持者甚多。當然，在看到 ChatGPT 的成功之後，也有一大批人反對這個公開信。
目前而言，誰是誰非難有定論。
機器之心的讀者們，你怎麼看？
公開信參考鏈接：
[1] Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
Bostrom, N. (2016). Superintelligence. Oxford University Press.
Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.
Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43 (3) (pp. 282-293).
Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
[2] Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this’. ABC News.
Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
[3] Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
[4] Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems "function appropriately and do not pose unreasonable safety risk".
[5] Examples include human cloning, human germline modification, gain-of-function research, and eugenics.
本文鏈接：https://www.8btc.com/article/6811336
轉載請註明文章出處