像天使也似魔鬼：關於通用人工智能時代科學研究的71個問題

圖片來源：由無界 AI工具生成

來源：澎湃新聞

作者：肖仰華 /復旦大學計算機學院教授

前言：

“歷次技術突破只是人類智能的產物，而唯獨AGI（通用人工智能）是‘智能’本身的革命。關於智能本身的技術革命更像是一種元革命，其地位與價值不是普通技術革命所能比擬的。”

復旦大學計算機學院教授肖仰華為澎湃科技撰文稱，這場變革對於科學研究來說是前所未有的，像是天使也似魔鬼。面對這場衝擊，我們應該以什麼樣的視角和思維去審視？

肖仰華在文中提出了71個問題，並指出，對於AGI的合理提問，將是推動其健康有序發展、回應其挑戰的關鍵所在。“有些問題，我給出了不成熟的初步判斷與思考。然而，更多的問題仍然無法給出滿意答案。”他說。

以下為肖仰華撰文。

自從2022年12月OpenAI發布ChatGPT（一種面向聊天的生成式語言模型）以來，以通用人工智能（Artificial General Intelligence）為代表的人工智能技術變革進入了加速發展的快車道。就在3月22日，微軟研究院的研究員公開了一個關於GTP-4的評測研究報告。這裡為什麼特地強調一下3月22日呢？以往人類歷史重大事件的發生一般會用年、月來作為度量單位，從來沒有像今天這樣，我們需要用天為單位記錄某個變革事件。這一現象本身就已意味深遠，人類社會可能已經經歷了未來學家們曾預言過的奇點時刻，技術更新與迭代迎來了指數增長期。處於風暴眼的人工智能技術以雷霆萬鈞之勢將整個人類社會裹挾到一場前所未有的變革之中。

我們應該如何應對通用人工智能所帶來的巨大挑戰呢？或者如何以更為樂觀的姿態擁抱隨之而來的重大機遇呢？整個人類社會需要深入思考並積極回應這些問題。

話題回到微軟研究員的報告本身，報告給出了一個非常重要的結論：“Give the breadth and depth of GPT-4’scapabolities,we believe that it could reasonably be viewed as an early (yet still incomplete) version of an artificial general intelligence (AGI）system”。

也就是說鑒於GPT-4能力的廣度和深度，我們已經有充分理由相信GPT-4應該被合理地視作一個通用人工智能（AGI）系統的早期（但仍然不完整）版本。AGI的智能體初步具備了人類的思考和推理能力，但其知識廣度和深度方面卻可能遠超人類。

畢竟一個人的壽命差不多也就3萬多天，窮其一生，即便每天讀一本書，也只能閱讀3萬本書。而這個量級只是機器所能學習的知識量的萬分之一。這一論文是目前為止比較全面嚴肅的GPT-4評測報告。如果此前還是媒體們找話題、蹭熱點的非專業解讀，那麼作為國際最為專業的人工智能研究機構的微軟研究院的嚴肅論文，確需引起我們的足夠重視。

我們為什麼如此重視通用人工智能，至少有以下兩個值得關注的理由：

第一：發展到今天的AGI已經具備了非常強大的創造能力。此前AGI只是學習了特定事實、知識或者是人類語言的一些統計規律，這種程度的智能還不足以讓我們擔憂。但報告中對於GPT-4的評測已經證實大模型具備了人類所引以為傲的獨特的創造力，這讓我們不得不重視。

舉個例子來說，AGI可以文字押韻的風格書寫一個關於“存在無限多素數”的數學定理證明。類似的例子還包括用c++寫一段快速排序算法，同時用李清照詩詞的風格為該代碼寫註釋。這些例子已經充分說明AGI具備綜合不同學科的能力（比如第一個例子是數學和文學的能力，第二個例子是計算機與文學）。且不論這種創造力的實質是什麼， 至少我個人十分汗顏，難以完成上面的任務，我想對於大部分普通專家而言完成上述任務也都是不容易的。

在AI繪畫方面，人工智能不但可以創作逼真的圖像（比如Midjourney的文圖生成），還能創造諸如《太空歌劇院》這種亦真亦幻、揉雜了科幻元素與歐洲中世紀風格的繪畫。即便一些科學家認為機器當前的創造力只是一種隨機拼接，但是這種跨學科的拼接能力與綜合能力至少在規模上已經遠遠超越了當前人類水平。試想，AGI可以將任意兩個學科的內容組合創新，很多組合或許是我們人類有史以來從未想象過的。AGI的這種隨機拼接式的創造至少能夠激發我們對跨學科研究的全新想象，極大地拓展了我們的想象空間，極大地提升了我們的創造水平。AGI的創造也會對我們進一步認清人類智能的本質有所啟發。更大範圍內的隨機拼接會不會就是人類創造的本質呢？人工智能的發展必定會對人類智能的理解帶來全新視角。我們對自己的認識必將伴隨着人工智能的發展而登上新的台階。

第二： AGI的能力仍在隨着訓練日益充分而不斷增強，目前為止我們還沒看到其能力的天花板。這說明只要追加數據與算力，大模型的能力就能持續增強。目前唯一能限制大模型能力的就是知識和算力的總量。人類歷史上的歷次技術變革，最終都會進入平台期，遭遇天花板。比如核聚變能級進一步增大與小型化均遭遇瓶頸，芯片計算能力的摩爾定律失效。令人十分擔心的是，久久不見天花板的AGI已然成為一匹脫韁的野馬（幸運的是就在筆者整理本文期間，一些研究機構發出了暫停巨型模型研發的呼聲）。更令人擔心的是通用人工智能的技術發展未必遵循傳統的技術發展規律。這一擔心理由是十分充分的。歷次技術革命都無關乎人類智能，而AGI是完全以接近甚至超越人類智能為目標的技術。歷次技術突破只是人類智能的產物，而唯獨AGI是“智能”本身的革命。關於智能本身的技術革命更像是一種元革命，其地位與價值不是普通技術革命所能比擬的。智能本身的革命對人類社會的影響是全面的、全方位的，其影響勢必會滲透到所有涉及人類智力的每個角落。

人類的智力集中呈現在科學研究中。AGI的影響已經滲透到了幾乎所有自然與人文學科。科學研究迎來了一場前所未有的變革。這場變革既是挑戰也是機遇，像是天使也似魔鬼。我們需要以全新的視角、極致的思維重新審視AGI所帶來的衝擊。

全新的視角首先是跨學科的視角。大規模語言模型是不區分人類的各個學科的，是從人類的所有書籍、數據訓練而得到的。這本身就極具啟發性。GPT-4以其令人驚嘆的跨學科創新能力被視作是一個跨學科的全才。唯有跨學科的視角才能考察GPT-4等AGI的最新成果。我們更需要極致的思維方式。OpenAI的快速發展充分說明了第一性思維的重要性。任何階段式、增量式的思考在AGI的極速迭代面前都顯得無能為力。必須將某個問題推演到極端情況，設想其極致發展狀態，必須直擊問題的本質，才能應對AGI的衝擊。比如很多人，都能從ChatGPT或者GPT-4挑出一些明顯的事實錯誤，比如會將復旦校訓出處弄錯。然而這些問題從本質上講都是細枝末節，不難通過簡單工程手段修復。思考這些問題是在浪費AGI給我們留下的並不富餘的寶貴時間。

秉持着上述基本原則，我將提出一系列問題。對於AGI的合理提問，將是推動其健康有序發展、回應其挑戰的關鍵所在。提出創新的有洞見的問題還是AGI短期之內不能實現的。提出問題是否是人類為數不多的機器難以複製的能力，這個問題本身就值得深入討論。我個人傾向於認為一般專家的提問機器不難複製，唯獨人類的極少部分天才所提出的問題，機器難以複製。我仍然先以還原的思維方式，分析AGI對於各細分學科的挑戰。最後再以綜合的思維方式，提出AGI的一些共性問題。有些問題，我給出了不成熟的初步判斷與思考。然而，更多的問題仍然無法給出滿意答案。

對於人工智能而言，AGI所帶來的衝擊之大前所未有。這讓我們不得不去深入思考以下幾個關鍵問題：

圖片來源：由無界 AI工具生成

AGI何以能夠湧現如此強大的智能？數據、模型、算力被認為是AGI智能湧現的基礎條件，我們也具備相應的條件，為何復現GPT-5的能力卻那麼困難呢？OpenAI在AGI上勝出的根本原因何在？正確的技術路線、強大的工程能力、直擊問題根本的思維方式、市場驅動的研發生態都值得我們仔細回味。這次OpenAI在ChatGPT系列大模型上的成功有太多需要總結與思考的內容。

為什麼是生成式AI勝出？生成式AI是否適合複雜認知決策任務？大模型的這波發展來自生成式AI的勝出，並不是傳統的判別式AI。那麼為什麼是生成式AI勝出，AGI是否會存在其他形式？生成式AI天然地適合聊天閑扯，所以我們看到了ChatGPT的巨大成功。但是它能否勝任領域內的複雜認知決策任務？

AGI的日益成熟是否會顛覆傳統的NLP（自然語言處理）與CV（計算機視覺）等領域？當AGI日益成熟之後，會不會出現一種自己剿滅自己的窘境？NLP、CV等學科是否還會存在？有人說ChatGPT是NLP的新里程碑，但也有人認為其更像是NLP的墓志銘。很多NLP從業人員甚至調侃準備轉行炒河粉。以大模型為代表的AI重工業模式逐漸取代了以小模型為代表的手工作坊模式。重工業模式很容易形成壟斷，傳統人工智能研究人員只有少部分會成為大模型玩家，其他研究人員何去何從？

AGI經過多模態化、具身化、物理交互、虛擬交互的優化后，下一階段會是什麼？很多研究機構已經在推動AGI學習多模態數據、操控機器身體、與物理世界交互、在虛擬世界成長。當AGI學會這一切之後會進入什麼階段？是超級智能體？隨着機器智能的發展，“人類智能”漸有貶義的趨向？唯有我們的犯錯與不確定性是人類智能的根本標籤。如何延展與提升人類的智能以確保人類在機器面前顯得不那麼“智障”已經變成了十分迫切的問題。事實上，在所有這些問題得到清晰回答之前，放緩AGI發展的步伐不失為一個明智的策略。

AGI的發展是否會是贏家通吃的局面？強大的人工智能對於弱小的人工智能在能力上很容易形成降維打擊的態勢。是否還存在弱小的人工智能的生存空間？ AGI的發展速度日益加速，先發者優勢明顯，不但容易匯聚資源，更容易獲得人類反饋，走上持續迭代與快速發展之路，後來者如何追趕？

圖片來源：由無界 AI工具生成

對於計算機學科來說， GPT-4已經在Leetcode上的編程題目上達到人類程序員水平。Leetcode是專業程序員代碼訓練平台。我們很多計算機專業從業人員通過練習其編程題目鍛煉編程能力，提升應對企業編程面試的成績。這一事件基本宣告機器自動化編程水平達到甚至超越普通程序員。AGI達到人類程序員水平，這一事件意味着什麼？培養一個人類程序員一般都需要基礎教育以及至少大學本科四年的高等教育，甚至還需要研究生教育。這樣一個專業要求如此之高的行業已經變得岌岌可危。這一事件一定程度上意味着以傳授專業知識為主要目的的高等教育受到了機器智能的極大挑戰。我們有太多的高等教育是以專業知識的傳授為主要內容的。計算機領域的數據管理、軟件工程、網絡運維、數據分析等學科都將因此而面臨巨大衝擊，相關專業的從業人員將何去何從？AGI達到普通計算機專家的水平只是個時間問題。

對於語言學而言， GPT-4等大模型幾乎能夠勝任所知的所有語言處理任務，比如翻譯、摘要等。大模型是言說專家、語言專家已毋庸置疑。這裡分享一個近期聽到的有點黑色幽默的傳言。某出版社編輯收到一篇論文投稿，論文觀點鮮明、論據充分、文字優雅。但是編輯仍然給出了拒絕的決定。因為，該編輯幾十年的職業經驗告訴他，歷史上從沒有一篇人類投稿能夠做到沒有一處語法、語言錯誤，因而有充分理由相信投稿人是用ChatGPT自動完成了論文。如果這個故事還有升級版本的話，那一定就是投稿人又進一步提示ChatGPT在當前完美的投稿基礎上隨機加入幾處語法錯誤，並成功發表。

對於語言學而言，AGI如此出色地完成了絕大多數語言任務，是否就可以據此判斷AGI“理解”了人類語言？那麼傳統的語法學、語義學、語言學又將如何發展？語言學會否淪為大模型的“奴僕”？其唯一任務會不會只剩大模型的解釋與腳註？我們是否應該從更宏大的角度重新去解釋人類的語言現象？畢竟機器走出了一條完全不同的語言理解道路。從更加現實或者更加具體的層面來說，在我們對於語言學的前景沒有完全澄清之前，我們未來該如何勸說一個學生來攻讀語言學的相關學位，進行語言學的學習？

對於腦科學來說，人們一直期待類腦智能能為AI發展帶來新思路與機會。雖然AGI最終通過大模型實現，腦科學的研究仍然對理解AGI帶來了新機會。當前，我們對於大模型的理解十分有限，我們無法精準地理解它內部的運行機理、無法確切地理解它究竟學到了什麼。大模型的煉製過程太像傳統的煉丹過程。準備好煉丹爐（GPU服務器），投喂合理配方的原料（規模巨大的高質量數據），煽風點火（持續供給電力），煉製幾個月（訓練幾個月），最後出爐金丹（大模型）。和煉丹過程極為相似，大模型也有很大的風險煉製失敗，成功的大模型往往只是少部分幸運者。人工智能發展到近乎“煉丹”的地步，不知道是進步還是倒退。出於進一步發展大模型自身，發展安全可控、可解釋的AI系統等考慮，我們需要剖析大模型。腦科學為我們所揭示的大腦工作機理為這一任務提供了有益借鑒與參考。人腦譜圖計劃就是這樣一個雄心勃勃的計劃。借鑒腦神經科學的研發方法與思路，對大模型的結構與功能展開分析，對於大模型發展而言具有重要意義，比如說大模型是否也存在着類似人腦的功能分區。反之，大模型的一些運作機理是否也能對人類探索大腦結構有所啟示呢？超大模型會否是個“超級”大腦？如何研究這一“超級”大腦？生物腦與機器腦的跨學科交叉研究存在諸多機會。

對於心理學而言，我們能否針對ChatGPT這樣的大模型展開心理分析呢？大模型是否也存在認知功能障礙？是否可以利用人類心理學的方法對大模型展開認知評測和診斷？這一系列提問背後的邏輯是將大模型視作初步具備了人類心智能力的智能體。近期，斯坦福大學的計算機科學家米哈爾·科辛斯基（Michal Kosinski）提交了一篇名為《心智理論可能從大語言模型中自發湧現》（Theory of Mind May Have Spontaneously Emerged in Large Language Models）的論文。他們測試並證實大規模語言模型具備九歲兒童的心智。對於心理學而言，AGI的發展也帶來了全新的機會。傳統心理學主要研究人的心理，而AGI的發展在倒逼我們儘快開展機器的心理研究。在人機交互過程中，無論是我們缺乏對大模型心理認知規律的理解，還是大模型缺乏對人類心理認知的判斷，都有可能對心理疾病患者產生致命的誤導。ChatGPT的價值對齊會不可避免地帶來盲目迎合使用者的問題。那麼對於一個抑鬱症病人，ChatGPT的盲目迎合只會產生“灰暗”的文字，從而加劇病人的病情。我們對於大模型的“人格”問題更是缺乏理解。大模型在何種情況下會表現出何種人格傾向？如何控制它的人格表達？這些問題都需要進一步的深入研究。

對醫學而言，迎來了前所未有的機遇。GPT-4已經能夠書寫病歷，且具有很高正確率。ChatGPT也已經能通過一些醫學考試。然而醫生不同於程序員，醫生是與人打交道的，程序員大部分時間只需要與電腦和代碼打交道。AGI代替醫生與代替程序員有着完全不同的難度。這一波AGI技術一定能夠讓機器掌握醫學知識，但是代替一名合格的醫生實現複雜的醫學決策恐仍面臨挑戰。醫生職業具有特殊性，一名合格的醫生不單單需要醫學知識，還要有實踐經驗，更需要同理心、責任心以及社會認知能力等。AGI能否具備醫生的這種綜合能力？在未來，AGI將以何種形式輔助實現智能醫學？僅限於提質提效么？在AGI賦能醫學過程中，隱私、倫理等社會因素如何考慮？AGI的醫學應用仍要經歷漫長的道路。

對於傳播學來說，AGI帶來的最大風險在於虛假消息的泛濫。新聞傳播行業賴以存在的前提是新聞的真實性。然而，AGI的發展極大地提升了機器生成內容的能力與水平，極大地降低了這項技術的應用門檻。隨之而來必然是虛假內容的泛濫。很多人寄希望於用AI對抗AI，利用AI技術進行內容真偽識別。遺憾的是，造假的難度遠低於識別的難度。 除了法律干預，技術本身是無法防範虛假內容泛濫的。虛假信息泛濫是否會顛覆傳播行業是個值得關注的問題。對於AGI的掌控能力已然成為一種強大的傳播能力。AGI的發展是否會引發傳播革命與生態重構？對於傳播學而言，AGI只是能力升級么？傳播學理論是否要改寫以適應AGI的發展？是否會湧現新的傳播範式與傳播問題？個人將如何對抗機器強大的傳播能力？媒體如何利用AGI提高競爭力？國家又如何應對AGI對輿論與傳播的新挑戰？一旦AGI在傳播領域大量使用，以上問題都是難以迴避的。

對於教育而言，AGI發展的里程碑往往是其通過某個學科的考試。這件事本身就說明了AGI對教育帶來了強大衝擊。在不遠的將來，還有什麼人類的書面考試是機器不能通過的呢，可能會越來越少。AGI一次次地證明“死記硬背+簡單推理”就能通過大多數考試。我們是否應該反思當前的教育體制。至少我們當前的教育評測可能是違背教育的本原與初心的。以創新為根本目的的教育卻往往迷失在了無意義的評測之中。先進的人工智能不斷地把機器培養成人，而落後的教育不斷地把人培養成機器。人類的教育到了需要徹底反思的時刻了。教師所承擔的“傳道、授業、解惑”等職能，在AGI的加持下，只剩下“傳道”這一根本功能。教育的教學功能將逐漸退出歷史舞台，育人的功能在機器具備完整人格之前仍要由人類完成。歸結到底，教育如何迎接AGI的挑戰與機遇？AGI是否會促成教育變革？會引發哪些具體的變革？

對於政治而言，AGI已經變成一種先進生產力，勢必需要革新生產關係。社會結構如何調整才能適應AGI技術的快速進步？社會的轉型往往伴隨着陣痛，而這次由AGI所引發的陣痛將遠超歷次。如果AGI掌握在少數人手中而無法實現民主化，那麼是否會形成新的技術霸權？如何防止或者破除這種技術霸權？更進一步， AGI是否會成為一種新型的國家競爭力？我們又該如何從國家關係的角度來看待AGI的發展？在AGI技術的推動下，整個社會有向“少數精英+智能機器”新結構演變的趨勢，因為少部分社會精英在掌握了調教智能機器的技藝之後就能操控接近無窮的智能機器，進而形成接近無限的生產力。那麼，大部分人類如何避免成為“快樂的豬”的命運？社會結構的失衡又會帶來一系列連鎖反應。新的生產關係勢必要求每個社會個體重新審視自己的存在意義，整個社會需要重新架構新的價值體系與道德體系。我們的社會必須做好充分的準備以應對相應的影響。

對於公共管理而言，AGI或許會帶來全新的機遇。在公共管理與社會治理中，機器的理性和公平正是理想決策所需要的，那麼機器會有多大程度干預人類的公共事務？人類社會的公共管理與社會治理將以怎樣一種態度擁抱AGI的發展？哪些決策任務可以交給效率更高的機器？在AGI能力的加持下，機器能否兼顧公共管理所追求的公平與效率？是否會因為AGI的發展，引發公共管理與決策的變革？相信，很多問題會伴隨着實踐的增多得到更為清晰的解答。

圖片來源：由無界 AI工具生成

除了這些學科的問題之外，還有很多共性問題需要深入思考。以大模型為代表的AGI發展已經遠遠超過了我們對其理解、消化與吸收的程度。人類有限的認知能力難以理解快速發展的通用人工智能，是當前人類社會發展所面臨的根本矛盾之一。我們當前的一切恐慌、擔憂都是來自於這一根本矛盾。理解落後於技術實現將會帶來一系列技術、社會、法律與倫理風險。我們如何緩和這一根本矛盾？我們是不是真的應該像有些專家所說那樣放慢AGI的發展節奏，給AGI的快速發展按下暫停鍵？如果我們的智能是人之為人的尊嚴所在，那麼無疑AGI正在嚴峻地挑戰人類的尊嚴。我們如何捍衛人類智能的尊嚴，還是徹底投降躺平？跨學科研究會否是應對AGI對人類智能挑戰的唯一出路？所有細分學科在AGI這個全才面前多少顯得卑微。未來，是否只存在唯一一門學科叫做綜合學科？傳統自然與人文學科是否會被邊緣化，進而退化成為一種僅具展覽價值供人類後代回憶的“古老技藝”？

AGI的成功是否宣告了領域人工智能是個偽命題？中國傳統文化提倡經世致用。發展領域人工智能是我們十分容易接受的戰略，遠比發展“瘋狂”的通用人工智能更顯得合理。然而這樣的思維方式對於思考AGI這個前所未有的技術革命是否是個錯誤？ AGI是否會革新科學研究範式？ AGI for Science、Language Model for Science是否會成為新的研究範式？AGI for Science之後的科學研究又會是一種怎樣的局面？AGI for Science會不會終結傳統自然與人文科學。AGI的每一步發展都在葬送人類的某項“傳統技藝”。藉助第一性思維，我們必須思考AGI發展的終極狀態以及AGI的能力是否存在上限等問題。

在最後，我想有必要跳脫現有思維框架對一個前提問題進行思考，目前為止我們對AGI的所有思考仍是借用了傳統認知框架與知識體系，這會不會是個錯誤？我們要十分警惕這個錯誤的可能性。畢竟沒人希望看到人類最終落得“人工智能的引導程序”的命運。