五角大樓認為，人工智能是一種戰勝和支配未來對手的方式。人工智能的脆弱本質意味着，如果沒有足夠的重視，這項技術可能會為敵人提供一種新的攻擊方式。由五角大樓創建的聯合人工智能中心
(Joint Artificial Intelligence Center)，旨在幫助美國軍方利用人工智能。
該中心最近成立了一個部門，負責收集、審查和向國防部各部門分發開源和工業機器學習模型。這種努力一部分指向了將人工智能用于軍事目的的一個關鍵挑戰。
一個被稱為“測試和評估小組”(Test and Evaluation Group) 的機器學習“紅隊”將調查預先訓練過的模型的弱點，另一個網絡安全團隊則檢查人工智能代碼和數據中隱藏的漏洞。
機器學習是現代人工智能背後的技術，它代表了一種根本不同的、通常更強大的編寫計算機代碼的方式。機器學習通過從數據中學習生成自己的規則，而不是編寫讓機器遵循的規則。問題是，這種學習過程，以及訓練數據中的人工製品或錯誤，可能會導致 AI 模型以奇怪或不可預測的方式行為。
JAIC 戰略和政策主管格雷戈里・艾倫 (Gregory Allen) 表示:“對於某些應用來說，機器學習軟件比傳統軟件要好上萬億倍。”但是，他補充說，機器學習“也以不同於傳統軟件的方式進行突破。”
例如，訓練用來識別衛星圖像中特定車輛的機器學習算法，也可能學會將車輛與周圍某一顏色的風景聯繫起來。對手可以通過改變車輛周圍的場景來欺騙 AI。在獲取訓練數據時，對手也可以植入圖像，比如特定的符號，這會使算法混亂。
艾倫說，五角大樓對其使用的軟件的可靠性和安全性有嚴格的規定，這種方法可以擴展到人工智能和機器學習，並指出 JAIC 正在更新國防部的軟件標準，包括機器學習方面的問題。
人工智能正在改變一些企業的運營方式，因為它可能是一種高效而強大的方式來實現任務和流程的自動化。
例如，一家公司可以使用一個人工智能算法，查看數千或數百萬以前的銷售情況，並設計自己的模型，預測誰將購買什麼產品。
美國和其他國家的軍隊也看到了類似的優勢，正急於利用人工智能來改善後勤、情報收集、任務規劃和武器技術。
中國不斷增長的技術能力在五角大樓內激起了採用人工智能的緊迫感。艾倫表示，國防部正在“以負責任的方式，優先考慮安全性和可靠性”。
研究人員正在開發更有創造性的方法來破解、顛覆或破壞人工智能系統。
2020 年 10 月，以色列的研究人員展示了經過精心調整的圖像會如何混淆讓特斯拉解讀前方道路的人工智能算法。這類“對抗性攻擊”涉及對機器學習算法的輸入進行調整，以找到導致重大錯誤的小變化。
加州大學伯克利分校教授 Dawn Song 在特斯拉的傳感器和其他人工智能系統上進行了類似的實驗。他表示，在欺詐檢測等領域，對機器學習算法的攻擊已經成為一個問題。一些公司提供工具來測試用於金融領域的人工智能系統。“自然會有攻擊者想要逃避系統，”她說。“我認為我們將看到更多這類問題。”
一個簡單的機器學習攻擊的例子，涉及到 2016 年首次亮相的微軟聊天機器人 Tay，其使用了一種算法，通過檢查之前的對話來學習如何回應新的詢問，reddit 用戶很快意識到他們可以利用這一點，讓 Tay 發布仇恨信息。
馬里蘭大學研究機器學習算法脆弱性的副教授 Tom Goldstein 表示，攻擊人工智能系統的方法有很多種，包括修改輸入算法的數據，使其以特定方式行動。機器學習模型與傳統軟件的不同之處在於，獲得一個模型可以讓對手設計一種無法抵禦的攻擊，比如誤導性輸入。
戈爾茨坦說:“我們真的不知道如何解決人工智能的所有弱點，我們不知道如何讓系統完全抵禦對抗性攻擊。”
在軍事方面，如果有一個資源豐富、技術先進的對手，防範各種新的進攻路線非常重要。
喬治敦大學安全與新興技術中心的最近一份報告警告稱，人工智能中的“數據中毒”可能對國家安全構成嚴重威脅。這將涉及滲透用於訓練人工智能模型的過程，可能是通過讓一個代理志願者給輸入算法的圖像貼上標籤，或者在網絡上植入圖像，然後提取圖像並輸入人工智能模型。