作者：卜淑情
在新一輪AI全球競賽爆發之際，一封呼籲暫停大型AI研究的公開信在科技圈掀起軒然大波。
圖/Future of Life Institute
這封公開信矛頭直指OpenAI，呼籲暫停開發比GPT-4更強大的AI系統至少6個月。
圖靈獎得主Yoshua Bengio、馬斯克、蘋果聯合創始人Steve Wozniak、Stability AI創始人Emad Mostaque等上千名科技大佬和AI專家已經簽署公開信，目前已經有近13000人簽名。
令人意外的是，OpenAI CEO Sam Altman的名字也曾赫然在列，但後來被證實為假簽名，Altman稱並沒有計劃呼籲暫停人工智能的開發。
圖/Future of Life Institute
近期，OpenAI 已經公布了GPT-4模型，其起草訴訟書、通過標準化考試和根據手繪草圖建立工作網站的能力震驚四座。
然而，就當所有人的注意力集中在簽名的AI大佬身上時，我們注意到這封公開信背後的生命未來研究所（Future of Life Institute，FLI）可一點都不簡單。
圖/Future of Life Institute
FLI是什麼樣的組織？
先簡單介紹一下FLI，它是一家專註於變革性科技的非盈利組織。
顧名思義，FLI研究的對象是“生命的未來”，以“引導變革性技術造福生命，遠離極端大規模風險”為使命。
圖/Future of Life Institute
FLI官網寫着：“我們認為，開發和使用強大技術的方式將是決定未來生命前景的最重要因素，因此我們的使命是確保技術繼續改善等前景。”
FLI工作包括資助各種研究項目，組織和贊助相關會議和講座，以及向公眾普及科技領域的最新發展和挑戰。
FLI成立於2014年，創始人為科技界人士和哲學家，比如Skype聯合創始人Jaan Tallinn，麻省理工學院（MIT）物理系教授Max Tegmark，牛津大學哲學教授Nick Bostrom。
FLI的擁躉除了學術界翹楚之外，還有全球首富馬斯克，甚至是美國知名演員摩根·弗里曼也榜上有名。
圖/Future of Life Institute
而提到FLI，就不得不提它的姊妹機構牛津大學人類未來研究所（Future of Humanity Institute，FHI），後者自稱關註解決人類及其前景的宏觀問題。
巧合的是，牛津大學哲學教授Nick Bostrom同時也是FHI的創始人和主任。
僅有兩字之差的機構名稱，同樣宏大的宗旨，關鍵的人物任職，均表明兩者有着特殊的聯繫——長期主義。
Bostrom是長期主義的提出人，FHI研究助理、開放慈善項目官員Nick Beckstead、牛津大學哲學教授William MacAskill都對這一理論有所貢獻。
長期主義影響力有多大？
除了FLI和FHI之外，長期主義還是全球優先事項研究所（Global Priorities Institute, GPI）和全球優先事項研究前瞻基金會（Forethought Foundation for Global Priorities Research）的研究重點。
前者由牛津大學哲學教授Hilary Greaves領導，後者由牛津大學哲學教授William MacAskill管理，他也在FHI和GPI任職。
長期主義還是慈善巨頭有效利他主義（Effective Altruism，EA）運動的主要理論支撐之一，這一組織由FHI研究員、《懸崖：世界末日和人類的未來》作者Toby Ord聯合創立，MacAskill現擔任主席。
MacAskill創作的有關長期主義的書籍《我們欠未來什麼》，在硅谷廣受讚譽，馬斯克曾稱其“與我的哲學非常吻合”。
馬斯克還是Bostrom的忠實擁護者，他經常引用Bostrom的研究成果，還曾通過FLI向FHI捐贈了150萬美元。
除此以外，貝寶（PayPal）聯合創始人Peter Thiel曾向機器智能研究所（Machine Intelligence Research Institute）捐了一大筆錢，這一機構對長期主義深信不疑，宣稱要從超級智能機器手中拯救人類。
圖/Machine Intelligence Research Institute官網
長期主義不僅受到科技大佬的賞識，其影響力甚至滲透到了歐美政界。
總部位於華盛頓的安全和新興技術中心（Center for Security and Emerging Technologies，CSET）希望將長期主義者安置進美國政府高層，幫助塑造國家政策。
CSET由前FHI研究助理Jason Matheny建立，他曾是拜登政府的美國國家安全專家，現擔任美國知名智庫蘭德公司的CEO。
Ord曾為世衛組織、世界銀行、世界經濟論壇、美國國家情報委員會、英國首相辦公室、內閣辦公室和政府科學辦公室提供過建議，他還曾為聯合國秘書長的一份報告做出了貢獻，在這篇報告里特別提到了長期主義。
關鍵在於，長期主義可能是除了全球頂尖學府和硅谷以外，很少有人聽說過的最具影響力的意識形態之一。
但更可怕的是，這種世界觀可能是當今世界上最危險的世俗信仰體系。
長期主義是什麼？
首先需要注意的是，Bostrom提出的長期主義並不等同於關心長期前景或後代福祉。
遠不止這些。
長期主義把個體的人比作人類整體。
這是什麼意思？
長期主義者認為，人類有自己的“潛力”，一個超越每個人的潛力，如果不能實現這種潛力將是極其糟糕的。
長期主義的核心教條，是從倫理上講，沒有什麼比實現人類作為“源於地球的智慧生命”物種的潛力更重要的了。
在長期主義者看來，這一點至關重要，甚至還創造了一個聽起來很嚇人的術語——“世界末日”。
這一術語是指人類潛能被破壞的任何可能性，以及任何實際上破壞了這種潛能的事件的“存在主義災難”。
長期主義為什麼很危險？
一言以蔽之，將實現人類潛力這一事業的重要性提升到高於一切的水平，可能會顯著增加現實中的人——眼下和不久的將來還活着的人——遭受極端傷害甚至死亡的可能性。
比如，長期主義者認為不需要關注全球氣候變化。
因為氣候變化不會損害人類在未來數萬億年的長期潛力，即使它會讓島嶼消失，讓數以億計的人流離失所，面臨嚴重的生存危機。
如果從宇宙的角度來看這種情況，那麼即使是在未來2000年裡使人口削減75%的氣候災難，也只不過是滄海一粟。
Bostrom在談到兩次世界大戰、艾滋病和切爾諾貝利核事故時，稱“這樣的悲劇事件對人們來說是受到實時影響的，但從大局來看，即使是最嚴重的災難也僅僅是生命大海上的一片漣漪”，只是“人類的小失誤”。
這意味着，如果未來發生災難，只要它不對人類整體構成直接的生存風險，那麼人類就不應該太擔心，即使是對個人來說可能是悲慘的。
Ord則認為，人類的首要任務是，到達“人類存在安全區”，即“存在風險”較低的地方。
據他估計，氣候變化導致生存災難的幾率只有千分之一，比本世紀超級智能機器毀滅人類的幾率低了整整兩個百分點。
Ord曾承認，氣候災難“有可能造成文明無法挽回的崩潰，甚至是人類完全滅絕”，同樣對現實中的人類（尤其是南半球的人類）造成絕對巨大的傷害，但與人類在宇宙中的長期潛力相比，它的影響幾乎可以忽略不計。
如果人類將“發揮潛能”當成第一要務，那麼應該用什麼樣的手段去確保不偏離這一方向呢？
Bostrom本人認為，人類應該認真考慮一個全球性的“入侵式監聽系統”，實時監聽地球上的每個人，增強預警能力。
他說，國家應該使用先發制人的暴力或戰爭來避免存在性災難，並認為拯救數十億現實中的人類的生命僅等同於微微降低存在風險。
舉例來說，即使有百分之一的可能性拯救1054個未來人類的生命，那麼將生存風險降低一個百分點的一億億分之一，其價值也相當於拯救十億人類生命的1000億倍。
這種危險的世界觀還存在其他根本性問題。
比如，長期注意與實現“生存安全”根本不相容，換句話說，要真正降低未來人類滅絕風險的唯一途徑可能是完全放棄長期主義。
來看看長期主義者所說的人類“長期潛力”。它主要由三部分組成：超人類主義、空間擴張主義以及與哲學家所謂的“總體功利主義”密切相關的道德觀。
超人類主義，指人類應該用先進的技術來重新設計我們的身體和大腦，創造一個由徹底增強的“後人類”組成的“優越”種族。
比如，我們可以對自己進行基因改造以完全控制我們的情緒，或者通過神經植入物訪問互聯網，或者甚至可以將我們的思想上傳到計算機硬件以實現“數字永生”。
將超人類主義和長期主義聯繫起來，根據Bostrom 和Ord的說法，成不了所謂的後人類會阻礙人類實現巨大而光榮的潛力，這將是“存在主義災難”。
空間擴張主義，指的是我們必須儘可能多地殖民未來的光錐（時空中的面）：即理論上我們可以進入的時空區域。
根據長期主義者的觀點，我們未來的光錐包含了大量可利用的資源，他們稱之為負熵的“宇宙稟賦”。
Ord寫道，單單銀河系的直徑就有15萬光年，包含了超過1000億顆恆星，其中大部分都有自己的行星。要實現人類的長期潛力，我們只需要最終到達附近的一顆恆星，建立一個足夠堅實的立足點，創造一個新的繁榮社會。
但為什麼要這麼做？讓新的後人類文明灑滿宇宙有什麼重要的？
這就不得不提第三個組成部分：總功利主義，這裡簡稱為“功利主義”。
一些長期主義者堅稱他們不是功利主義者，在一些人眼中，這只是一種煙霧彈行為。
比如，EA運動可能只是披着利他主義外衣的功利主義。
這項運動被稱為EA運動之前，Ord等早期成員曾認真考慮過稱之為“有效功利主義社區”。
功利主義並不在意價值是如何在時間和空間中分配的，重要的是總凈額。
比如，假設現在有1萬億人，每個人的生命價值為1，那麼總價值為1萬億，而如果現在有10億人，每個人的生命價值為999，那麼總價值為9990億。在功利主義者眼中，第一個世界的價值更高。
這裡的推測基於這樣一個觀點，即人只是價值的“容器”，本身並沒有價值，人類存在的意義僅限於“容納”了價值，更多的人意味着更多的價值。
簡而言之，在功利主義者看來，人的存在是為了價值最大化，而不是為了造福人民。
這就是為什麼長期主義者痴迷於計算未來有多少人可以存在。
Bostrom曾估計未來世界人類數量將達到1054，這一數字在他2014年出版的《超級智能》一書中更高，為1058。
最後總結一下長期主義者眼中的人類長期潛力：通過數字化技術增強的人類遍布銀河系。
為了長期主義者的目標，人類不能把資源浪費在解決全球貧困問題和全球氣候變暖上，反而應該把更多精力放在超級智能機器上，建立一個全球監視系統，發動“先發制人”的戰爭。
Beckstead甚至認為，人類應該優先考慮富裕國家人民的生活，而非貧窮國家人民，因為前者對未來的影響絕對更加重要。
為了實現價值最大化，人類必須開發越來越強大、越來越危險的技術；如果做不到這一點，本身就將是一場生死存亡的災難。不過，技術並不是導致全球性問題日益惡化的根本原因，也不是停止創造更多技術的理由。
有人認為，人類需要先進的技術逃離可能在未來十億年內被太陽毀滅的地球，但在此之前，濫用技術更有可能導致人類滅絕。
最後，你怎麼看長期主義？
本文鏈接：https://www.8btc.com/article/6812496
轉載請註明文章出處