如果美五角大樓要依靠算法和AI，那麼它必須要解決“脆性AI”的問題。該國負責情報、監視和偵察助理副參謀長Daniel Simpson最近說明了這一問題。據了解，在最近的一次測試中，一個實驗性的目標識別程序在所有條件都完美的情況下表現良好，但一個微妙的調整卻使其性能表現急劇下降。
資料圖
Simpson表示，最初，AI是從一個傳感器獲得數據–這個傳感器以一個傾斜的角度尋找一枚地對地導彈，然後它從另一個傳感器獲得數據–該傳感器則以接近垂直的角度尋找多枚導彈。“真讓人吃驚：該算法的表現並不好。實際上，它可能有25%的時間是準確的，”他說道。
這是一個有時被稱為脆弱AI的例子，根據研究人員和前海軍飛行員Missy Cummings於2020年公布的一份報告了解到，當任何算法不能概括或適應一套狹窄的假設之外的條件時就會發生這種情況。Cummings指出，當用於訓練算法的數據由來自一個獨特的有利位置的一種類型的圖像或傳感器數據組成，而來自其他有利位置、距離或條件的數據不足時就會出現脆性。
在自動駕駛汽車實驗等環境中，研究人員將只是收集更多的數據用於訓練。但在軍事環境中，這可能是非常困難的，因為那裡可能有大量的一種類型的數據–如高空衛星或無人機圖像，但其他類型的數據卻很少，因為它們在戰場上沒有用。
軍隊在試圖訓練某些物體識別任務的算法時面臨著額外的障礙，與之相比，如公司為自動駕駛汽車訓練物體識別算法。
越來越多的研究人員開始依賴所謂的“合成訓練數據”，就軍事目標定位軟件而言，這將是由真實數據人工生成的圖片或視頻以訓練算法如何識別真實事物。
不過Simpson表示，算法的低準確率並不是這項工作中最令人擔憂的部分。雖然該算法只有25%的時間是正確的，但他說道–“它有信心在90%的時間裡是正確的，所以它有信心是錯誤的。而這不是算法的錯。這是因為我們給它提供了錯誤的訓練數據。”
Simpson指出，這樣的結果並不意味着空軍應該停止追求AI的物體和目標檢測。但它確實有在提醒人們，AI在以數據欺騙形式進行的對抗性行動面前是多麼得脆弱。另外，它還表明，AI和人一樣可能會受到過度自信的影響。