聖母院、佛像和名畫，還有什麼是AI不能修的？

人工智能，讓我們穿越時空。如何利用數字化之力讓文化遺產更好地“活”起來，成了不少人關心的問題。數字技術和文化遺產的深度融合，一是可以強化對文化遺產存量破損的針對性修復與增量破損的前瞻性預防，讓文化遺產得到妥善保護、實現數字永生；二是可以將文化遺產跟大眾以多重形式連接，讓人們可以近距離接觸、了解和感受文化遺產的魅力。

AI 還原古代遺迹，帶你穿越時空

AI 技術在古老建築修復領域主要涉及：需要高精度圖像作為基礎。某些破損及裂縫地方，研究人員還要進行樣本採集和標定，以獲得足夠的樣本產生高精度的影像 3D 模型。

Design by：NeoMam 工作室

當數據足夠時，AI 就會進行數字化的虛擬修復，在殘存的建築圖像上生成 3D 的修復效果。目前，在文物修復這一領域。解決方法包括很多算法，比如視覺特徵抽取與索引、相機參數恢復、幾何模型網格生成、深度神經網絡 2D 或 3D 模型訓練、紋理合成等等。

無論是有破損的長城，還是大火后的巴黎聖母院，恢復前百年之前的風貌，是 AI 的觸角伸入文化領域的一大徵兆。英特爾也與武漢大學進行合作，用無人機對長城進行全角度高精度圖像採集，生成 3D 模型后，利用人工智能技術進行自動化缺損檢測，對長城進行數字化虛擬修復。

長城數字化模型虛擬修復，當一段長城的損毀部位識別出來之後，人工智能就會進行數字化的虛擬修復，在損毀的模型上生成 3D 的修復效果和磚牆紋理，並獲得物理修繕所需的工程量的數據，作為對物理修繕的參考建議。

AI 助力重建巴黎聖母院

在巴黎聖母院閣樓被發現起火 1 小時后火勢迅速蔓延，火焰從教堂兩座鐘樓間竄出，隨後不久塔尖便燒毀坍塌，卡西莫多的鐘樓和玫瑰花窗不復存在。大火燒了 4 個多小時，直至當晚 10 時許，火勢才逐漸減弱。一場突如其來的大火讓這座 850 多年的世界瑰寶付之一炬。

去年 11 月去世的瓦薩大學（Vassar College）藝術學院副教授 Andrew Tallon，在其生前便完成了對巴黎聖母院的掃描工作，各個角度的建築全景、3D 和細節圖片。大火過後，消逝的巴黎聖母院將在數字世界里永存。

用於三維存檔的技術叫做三維激光掃描/激光雷達，可以精確地（1-2 毫米精度）、快速地（每秒測量數十萬個點）獲取建築的三維幾何信息。獲得的數據被稱為激光掃描數據或點雲數據。

Design by：Andrew Tallon

頌揚中國皮影戲的 AI 實驗

在 Shadow Art 中，您可通過在筆記本電腦或手機攝像頭前擺弄手，形成十二生肖動物的手影。如果手影正確匹配，系統便會將手影轉換成相應動物的動畫影象。該裝置利用 TensorFlow 幫助人們探索皮影戲藝術。

Design by: Miguel de Andres-Clavera

模型將輸入圖像（用戶的手部圖像）與給定的一組類模板進行對比，以此判斷最相似的圖像。藉助此方法，我們可以自由地為每個類添加或移除圖像模板，甚至可以在不重新訓練模型的情況下引入新的類。

鑒於分類結果，利用從模型返回的置信度值的閾值來判斷手勢是否與動物陰影匹配。與直接挑選置信度值最高的手勢相比，這樣做的結果更為直觀。知道每位用戶預期的動物之後，接下來就是將用戶輸入的手影與結果關聯，並將手影轉換為動物形象，然後再播放預先錄製的陰影轉化為活體動物的動畫，如此即完成一次試驗。

為確保捕捉的形狀順利變形為動物，我們從以下兩種陰影中抽取輪廓：輸入的手影和目標動物陰影。然後我們進行優化，以在手影輪廓（源輪廓）和動物陰影輪廓（目標輪廓）中找到正確匹配的每個點，接着執行步插值，以將源輪廓轉換為目標輪廓。

AI 技術助力還原雕像

經過測算大足寶頂山千手觀音像有 830 只手，其中有 200 多只是破損的。從 2011 年到 2014 年，楊溯跟着團隊一起對這些破損的觀音手進行虛擬修復，根據千手觀音像左右手的空間對稱關係去判斷缺失手指的幾何形態，經過三年時間，他們虛擬修復了幾十隻觀音手，為千手觀音像的實體修復提供了重要參考。

楊溯開始對安岳石刻進行虛擬修復，與大足石刻不同,始於南朝，興盛於唐宋的安岳石刻分散在四川安岳縣城境內，加上交通閉塞，很多佛像在歲月侵蝕下損害嚴重。

想還原佛臉的樣貌，需要定義更加準確的空間信息，即用人工智能技術，自動化地提取佛像的面部特徵。和人臉識別技術類似，楊溯的佛臉識別模型需要大量的數據樣本進行學習。為此，楊溯尋找了安岳石刻保存完好的佛頭為它們留下肖像照。每張都提取了 68 個標記點，用來描述佛像的所有面部特徵，他把這些面部數據信息稱為“佛臉身份證”。如今，這些面部特徵信息能夠為虛擬修復提供參考。

滑動查看更多

計算機基於數百個佛臉的採集數據精準提取了佛的臉型、眉毛、眼睛、鼻子、嘴巴等特徵，依據左側完好的臉部，對右臉受損面部進行了虛擬修復。

Design by：楊溯

AI 修復世界名畫

倫勃朗的“殘缺”名作《夜巡（The Night Watch）》在人工智能技術的支持下終於得以修復“完整”。儘管該畫作是世界古典油畫三大瑰寶之一，命運卻是十分坎坷，被“冷落”、被“切割”、被“划傷”、被“潑酸”……似乎都預示了此後修復的不易。

1715 年，該畫作被遷移至阿姆斯特丹市政廳，由於畫幅尺寸太大無法掛入門廳中，畫作的上下分別被切割了 22 厘米、12 厘米，左右分別被切割了 60 厘米、7 厘米。從那以後它便殘缺不全了，而且畫面整體也因此失衡。如下圖所示。

博物館決定將畫作恢復還原至未切割前的尺寸。通過保存下來的原畫部分、17 世紀由 Gerrit Lundens繪製的完整原畫複製品和人工智能技術來實現修復。修復過程中，一種被稱為卷積神經網絡（convolutional neural networks）的人工智能算法被用來幫助計算機深度理解圖像，在逐像素重建丟失的部分時糾正這些缺陷。更重要的是，計算機還能學習倫勃朗的筆觸，以確保最終的呈現儘可能接近原作。

Design by：Rob Erdmann

荷蘭國家博物館館長 Taco Dibbits 大致介紹了這一過程：“我們做了三種算法，第一種用於篩選複製品的透視變形並糾正它們；第二種用於識別原件的配色並投射生成缺失的部分；第三種是模仿倫勃朗的筆觸和繪畫技巧。最終得出了一件儘可能接近於完整原作的計算機複製版《夜巡》，我們將其按比例打印到畫布上，再無縫拼貼到原畫上，非常壯觀。