AlphaGo戰勝人類世界圍棋冠軍、AlphaFold在預測蛋白質結構方面準確性和人類實驗結果接近、語音合成算法WaveNet幫助“漸凍人”重現更自然的聲音，甚至用AI控制核聚變反應……全球範圍內最受關注的人工智能公司DeepMind創立至今超過10年，試圖用人工智能技術解決一切他們認為最緊迫和最基本的科學挑戰。
記者 / 賀梨萍
他們最新瞄準的是那些有着數千年歷史的殘缺銘文。歷史學家們依靠不同的來源重建過往文明的思想、社會和歷史，他們的資料大多基於本文，或寫在捲軸上，或刻在石頭上。銘文就在其中。
“一切都始於與Thea Sommerschield博士討論歷史學家最具挑戰性的任務時的一次談話，我們立刻看到了人工智能和歷史研究之間的合作潛力。”DeepMind的希臘人工智能研究科學家Yannis Assael博士和Sommerschield在接受澎湃新聞（www.thepaper.cn）記者採訪時如是談起他們這項最新興趣的起點。Sommerschield系意大利威尼斯大學人文系瑪麗·居里研究員。
Yannis Assael博士（左）和Thea Sommerschield博士。
北京時間3月10日凌晨，國際頂級學術期刊《自然》（Nature）在線發表了Assael和Sommerschield作為共同通訊作者的一項新研究，題為“使用深度神經網絡復原和歸因古代文本”（ Restoring and attributing ancient texts using deep neural networks）。研究團隊訓練了一種深度神經網絡，名為伊薩卡（Ithaca）。
伊薩卡是以荷馬史詩《奧德賽》中的希臘島嶼伊薩卡命名，是古希臘神話英雄奧德修斯的故鄉。“我們開發的伊薩卡是第一個可以復原受損銘文的缺失文本、識別銘文原始位置、確定創建日期的深度神經網絡。”
評估顯示，伊薩卡單獨使用於復原受損希臘銘文文本時可達到62%的準確率，在歷史學家使用時可達72%的準確度。而且，伊薩卡還能協助確定銘文的書寫位置和時間。在實驗中，它能以71%的準確度判斷這些銘文的原始位置，鑒定年代與歷史學家提出的範圍相差少於30年。
研究團隊認為，這些發現或可釋放人工智能與歷史學家的合作潛力，並改進我們對人類歷史的理解。“我們確實看到了文化和人文領域人工智能跨學科研究的巨大潛力。”Assael強調。
復原損壞的銘文。這一銘文記錄了一項關於雅典衛城的法令。
深度神經網絡“伊薩卡”
這項研究由DeepMind、威尼斯大學人文系、牛津大學古典學院以及雅典經濟與商業大學信息學系聯合完成。
Assael在希臘馬其頓大學獲得應用信息學文憑后，相繼在牛津大學、帝國理工學院學習，最終於2019年在牛津大學獲得機器學習博士。而實際上，其從2007年起就開始成為了自由開發者，彼時尚在念高中。其間還創立了AccuInstruments、LipNet Artificial Intelligence等公司。直至2017年，其加入DeepMind。Assael還曾登上2021福布斯歐洲地區“30歲以下30位精英”榜單。
Sommerschieldze則是研究古希臘和古羅馬文字的歷史學家和銘文學家。其將機器學習應用於研究古地中海的書寫文化，她還研究古代和古典西西里島的社會和文化歷史。其現為威尼斯大學的瑪麗·居里研究員，同時借調在DeepMind，她也是哈佛大學希臘研究中心的研究人員。
DeepMind在一份新聞稿中寫道，人類文字的誕生標誌着歷史的開端，對我們理解過去的文明和今天生活的世界至關重要。例如，2500多年前，希臘人開始在石頭、陶器和金屬上書寫，記錄從租約、法律到日曆和預言的一切，讓人們對地中海地區有了詳細的了解。
然而，Assael等人意識到一個問題，這些記錄通常都是不完整的。許多倖存下來的銘文在幾個世紀的時間裡遭到了破壞，或者從原來的位置被移走或者販運。此外，現代年代測定技術，如放射性碳年代測定法，無法在這些材料上使用。而傳統的銘文學方法涉及到高度複雜、耗時和專業的工作流程，這使得解讀銘文既困難又費時。
Assael對澎湃新聞記者表示，在將人工智能切入到銘文復原中，他們的工作涉及三項主要的任務，“文本復原、確定原始的地理位置，以及追溯至銘文書寫的時間。”
他們在論文中也指出，受生物神經網絡的啟發，深度神經網絡可以發現和利用大量數據中複雜的統計模式。而近年來計算能力的提高，使這些模型能夠應對包括古代語言研究在內的許多領域中日益複雜的挑戰。
Assael將目標旨在完成上述三項任務的深度神經網絡命名為伊薩卡（Ithaca），該工作始於2019年。“伊薩卡接受了近8萬份由帕卡德人文學院(PHI，一個非營利性基金會)提供的希臘銘文數字數據集的培訓，它的架構旨在捕捉上下文並有效地處理受損的單詞，同時它還可以并行地“注意”輸入的不同部分。”他表示。
這些希臘銘文的時間跨度在公元前7世紀至公元5世紀，並橫跨古地中海世界。論文中對這些銘文的選擇做出2點解釋，“首先，希臘銘文記錄的內容和語境的多樣性，對語言處理構成了極大的挑戰；其次，古希臘數字化語料庫的可用性，這是訓練機器學習模型的重要資源。”
Assael提到，伊薩卡是一種基於Transformer的人工神經網絡，它使用注意力機制來衡量輸入的不同部分對模型決策過程的影響。相比於循環神經網（RNN）、卷積神經網絡（CNN）等，Transformer是一種新的神經網絡結構，其僅基於注意力機制，拋棄了傳統的循環或卷積神經網絡結構。
研究團隊提到，自然語言處理模型通常使用單詞進行訓練，因為它們在句子中出現的順序和它們之間的關係提供了額外的上下文和含義。例如，“once upon a time”比單獨看到的每個字符或單詞有更多的含義。然而在這項研究中的挑戰是，這些銘文都已損壞，而且經常丟失文本塊。
“為了確保模型在使用部分字符時仍能正常工作，我們既使用單詞也使用單個字符輸入來訓練它。”他們提到，模型核心的注意力機制并行地評估這兩種輸入，允許伊薩卡根據需要評估銘文。
此外，為了最大化伊薩卡作為研究工具的價值，研究團隊還開發了一些視覺輔助工具，以確保歷史學家能夠輕鬆地解釋伊薩卡的結果。
伊薩卡處理δήμο το αθηναίων’ (the people of Athens）的過程。該短語的前三個字符被隱藏，最終提出了修復建議。同時，伊薩卡還預測了銘文的地區和日期。
希臘銘文復原僅有助於理解全球文明圖景的一部分
Assael對澎湃新聞記者表示，伊薩卡的目標是提高我們對古代史的理解，並為歷史學家提供一個方便的工具來幫助他們的研究。
“出於這個原因，為了讓歷史學家能夠解釋伊薩卡，我們創造了大量的可視化圖像來呈現所有的伊薩卡推測。這些可視化技術允許專家們使用他們的背景知識來選擇最合適的輸出，並可能對未探索的歷史見解有所啟發。”他進一步提到。
論文中詳細提到，對於復原任務，伊薩卡並不是提供單一的假設，而是提供了一組根據概率排序的前20個解碼預測。在確定地理任務方面，伊薩卡在84個區域中對輸入文本進行分類，並通過地圖和條形圖可視化地實現可能區域預測的排名列表。
在年代方面，為增加可解釋性，伊薩卡也不是輸出一個單一的時間，而是預測時間的分類分佈。更準確地說，伊薩卡將公元前800年至公元800年之間的所有時間處理為，取每10年為一個跨度，也就是說有160個10年。例如，如果日期範圍在公元前300至公元前250年間，也就是5個10年，每一個概率分別為20%；而日期如果在公元前305年，則將以100%的概率指定為出自公元前300至公元前310年。
評估顯示，在復原文本方面，伊薩卡始終優於其他競爭方法，字符錯誤率(CER)為26.3%，top 1準確率為61.8%。對復原銘文文本和確定原始的地理位置方面，研究團隊還引用top-k準確率來衡量，即正確的復原或地理位置是否在前k項預測中。
具體來說，與人類歷史學家相比，伊薩卡實現了更低的字符錯誤率(CER)，人類歷史學家該項分數為59.6%。另外，與研究團隊此前開發的專註於文本復原的皮提亞（Pythia）相比，表現也更為優秀。皮提亞名字取自希臘神殿德爾斐中為阿波羅神傳達神諭的女祭司。在文本復原方面，皮提亞皮的字符錯誤率(CER)為47.0%，雖然高於伊薩卡，但也高於人類歷史學家。
值得注意的是，當人類歷史學家與伊薩卡合作時，歷史學家的字符錯誤率（CER）大幅降低到18.3%，top 1準確率則從25.3%大幅提升至71.7%。
在地理定位方面，伊薩卡top 1預測準確率為70.8%，top 3預測準確率為82.1%。對於年代追溯，伊薩卡與歷史學家提出的範圍相差少於30年。
“值得注意的是，在我們的評估過程中，我們看到了多個伊薩卡與歷史學家共識一致的例子。”Assael舉例談到，他們看到了伊薩卡如何將雅典的一篇提到尼基亞斯（Nikias）將軍的銘文追溯到公元前413年，“這與歷史學家提出的範圍完全吻合。”
他補充到，“在進一步研究中，我們將伊薩卡的關注重點可視化，看看哪些部分的輸入對這一預測貢獻最大。我們看到的是個人姓名(Νικίας，“Nikias”)和希臘指揮官的軍銜(στρατεγοῖς，“generals”)。尼基亞斯在雅典遠征西西里島的過程中扮演了關鍵的角色，而這篇銘文也與這一歷史事件有關。
論文中也提到了另一案例來展示伊薩卡的潛力。研究團隊注意到，目前歷史學家對雅典頒布的一系列重要法令的日期存在分歧，這些法令是在蘇格拉底和伯里克利等著名人物在世的時期頒布的。長期以來，這些法令被認為是在公元前446/445年之前寫的。然而，也有新的證據表明，更有可能是公元前420年。
他們認為，雖然看起來差別不大，但這些法令對我們理解古代雅典的政治史是至關重要的。值得關注的是，伊薩卡對這些法令的平均預測日期是公元前421年，這與最新的推測日期幾乎一致。
“雅典帝國主義是希臘歷史上最重要的時刻之一。在任何情形下，伊薩卡對這組銘文的預測都不會超過公元前433年，平均預測日期是公元前421年。”研究團隊認為，歷史學家現在可以使用伊薩卡的可解釋性工具來進一步研究這些預測，並使雅典的歷史更加清晰。
Assael同時強調，模型改進的空間總是存在的。“特別是隨着新銘文的發現，將會為這類文本進一步增加數字文本存儲庫。”
值得一提的是，Assael認為，伊薩卡很容易適用於任何古代語言，而儘管古希臘在我們理解地中海世界的過程中發揮了重要作用，但它仍只是全球文明圖景的一部分。“從拉丁語到瑪雅語，以及任何書寫媒介，從莎草紙到手稿，我們真的很高興看到伊薩卡將用於更多新的方向。”
此外，研究團隊在論文最後還指出，他們創建了一個開源和公開可用的接口(https://ithaca.deepmind.com)，便於歷史學家能夠使用伊薩進行個人研究，同時促進進一步應用的開發。
“我們確實看到了文化和人文領域人工智能跨學科研究的巨大潛力。”Assael表示，目前僅僅是伊薩卡這樣的工具的開始，機器學習和人文學科之間合作的潛力也剛剛展示出來。