致力於“模擬深度學習”的麻省理工學院工程師找到了一種方法，可以以前所未有的速度推動質子通過固體。隨着研究人員挑戰機器學習的極限，訓練越來越複雜的神經網絡模型所需的時間、精力和資金正在飆升。模擬深度學習是人工智能的一個新的分支，它有望以僅僅一小部分的能源使用進行更快速的處理。
可編程電阻器是模擬深度學習的關鍵構件，就像晶體管是構建數字處理器的核心元素一樣。通過在複雜的層中重複排列可編程電阻器，科學家可以創建一個模擬人造 “神經元”和 “突觸 ”網絡，就像數字神經網絡一樣執行計算。然後這個網絡可以被訓練來實現複雜的人工智能任務，如自然語言處理和圖像識別。
來自麻省理工學院的一個多學科研究小組着手挑戰他們之前開發的一種人類製造的模擬突觸的速度極限。他們在製造過程中採用了一種實用的無機材料，使他們的設備運行速度比以前的版本快100萬倍，這也比人腦中的突觸快約100萬倍。
此外，這種無機材料還使電阻的能效高得驚人。與他們早期版本的設備中使用的材料不同，新材料與硅製造技術兼容。這一變化使得在納米尺度上製造器件成為可能，並可能為整合到深度學習應用的商業計算硬件中鋪平道路。
高級作者、麻省理工學院電氣工程和計算機科學系（EECS）的唐納教授Jesús A. del Alamo說：“憑藉這一關鍵見解，以及我們在MIT.nano擁有的非常強大的納米製造技術，我們已經能夠把這些碎片放在一起，並證明這些設備本質上是非常快的，並在合理的電壓下運行。這項工作確實把這些設備放在了一個點上，它們現在看起來真的很有希望在未來應用。”
“該設備的工作機制是將最小的離子，即質子，電化學地插入到絕緣氧化物中，以調節其電子傳導性。因為我們正在使用非常薄的設備，所以我們可以通過使用強電場來加速這個離子的運動，並將這些離子設備推向納秒級的操作制度，”資深作者、核科學與工程系和材料科學與工程系的Breene M. Kerr教授Bilge Yildiz解釋說。
高級作者、巴特爾能源聯盟核科學與工程系教授和材料科學與工程系教授Ju Li說：“生物細胞中的動作電位以毫秒的時間尺度上升和下降，因為大約0.1伏的電壓差受制於水的穩定性。在這裡，我們在一個特殊的納米級厚度的固體玻璃薄膜上施加高達10伏的電壓，該薄膜可以傳導質子，而不會永久損壞它。而電場越強，離子設備就越快。”
這些可編程的電阻器極大地提高了神經網絡的訓練速度，同時極大地降低了進行這種訓練的成本和能量。這可以幫助研究人員更快地開發深度學習模型，然後將其應用於自動駕駛汽車、欺詐檢測或醫學圖像分析等用途。
“一旦你擁有一個模擬處理器，你將不再是在訓練其他人正在研究的網絡。你將訓練具有前所未有的複雜度的網絡，而這些網絡是其他人無法承擔的，因此大大超過了他們所有人。換句話說，這不是一輛更快的汽車，而是一艘航天器。”主要作者、麻省理工學院博士后Murat Onen 補充說。
共同作者包括材料科學與工程系的Ellen Swallow Richards教授Frances M. Ross；博士后Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。這項研究於7月28日發表在《科學》雜誌上。
模擬深度學習比其數字同行更快、更節能，主要有兩個原因。“首先，計算是在內存中進行的，所以巨大的數據負載不會從內存中來回傳輸到處理器中。”模擬處理器還可以并行地進行操作。如果矩陣大小擴大，模擬處理器不需要更多時間來完成新的操作，因為所有的計算都是同時進行的。”
麻省理工學院新的模擬處理器技術的關鍵元素被稱為質子可編程電阻。這些電阻器以納米為單位，排列成一個陣列，就像一個棋盤。
在人腦中，學習的發生是由於神經元之間連接的加強和減弱，稱為突觸。深度神經網絡長期以來一直採用這種策略，即通過訓練算法對網絡權重進行編程。在這個新的處理器的情況下，增加和減少質子電阻的電導率可以實現模擬機器學習。
電導是由質子的運動控制的。為了增加電導率，更多的質子被推入電阻的一個通道，而為了減少電導率，質子被取出來。這是用一種電解質（類似於電池）來完成的，它可以傳導質子，但阻止電子。
為了開發一種超快速和高能效的可編程質子電阻，科學家們尋找了不同的電解質材料。當其他設備使用有機化合物時，Onen專註於無機的磷硅酸鹽玻璃（PSG）。
PSG基本上是二氧化硅，它是一種粉狀的乾燥劑材料，在新傢具包裝盒中的小袋子中發現，用於去除水分。它被研究為燃料電池在濕潤條件下的質子導體。它也是用於硅加工的最著名的氧化物。為了製造PSG，在硅中加入極少量的磷，使其具有質子傳導的特殊特性。
Onen假設，經過優化的PSG可以在室溫下具有很高的質子傳導性，而不需要水，這將使它成為這種應用的理想固體電解質。他是對的。
PSG能夠實現超快的質子運動，因為它含有大量的納米級孔隙，其表面為質子擴散提供了路徑。它還可以承受非常強大的脈衝電場。Onen解釋說，這一點很關鍵，因為向該設備施加更多的電壓能使質子以驚人的速度移動。
“這個速度當然令人驚訝。通常情況下，我們不會在設備上施加如此極端的電場，以避免將它們變成灰燼。但相反，質子最終以巨大的速度在設備堆棧中穿梭，特別是與我們之前的速度相比，快了一百萬倍。由於質子的體積小、質量低，這種運動不會損害任何東西。”他說：“這幾乎就像遠距離傳輸。”
Li補充說：“納秒級的時間尺度意味着我們在如此極端的場下，接近質子的彈道甚至量子隧道系統。”
由於質子不會損壞材料，該電阻可以運行數百萬次而不發生故障。這種新的電解質實現了可編程質子電阻，比他們以前的設備快一百萬倍，並能在室溫下有效運行，這對於將其納入計算硬件非常重要。
由於PSG的絕緣性能，當質子移動時幾乎沒有電流通過該材料。Onen補充說，這使得該設備非常節能。del Alamo說，既然他們已經證明了這些可編程電阻器的有效性，科學家們計劃重新設計它們以進行大批量的生產。然後，他們可以研究電阻器陣列的特性，並擴大其規模，以便將其嵌入系統中。
同時，他們計劃研究這些材料，以消除限制有效地將質子轉移到電解質、通過電解質和從電解質中轉移出來所需電壓的瓶頸。
“這些離子設備可以實現的另一個令人興奮的方向是高能效的硬件，以模擬神經科學中推導出的神經迴路和突觸可塑性規則，超越模擬深度神經網絡。”Yildiz補充說：“我們已經開始了與神經科學的這種合作，得到了麻省理工學院探索智能的支持。”
“我們的合作對於未來的創新將是至關重要的。前進的道路仍將是非常具有挑戰性的，但同時也是非常令人興奮的，” del Alamo說。
“嵌入反應，如在鋰離子電池中發現的那些反應，已經被廣泛地探索用於存儲設備。”斯坦福大學材料科學與工程系副教授William Chueh說：“這項工作表明，基於質子的存儲器件提供了令人印象深刻和令人驚訝的開關速度和持久性。它為一類新的存儲器件奠定了基礎，為深度學習算法提供動力。”他沒有參與這項研究。”
“這項工作表明，在生物啟發的電阻記憶裝置方面取得了重大突破。這些全固態質子設備基於質子的精緻原子級控制，類似於生物突觸，但速率快了幾個數量級，”沒有參與這項工作的卡內基梅隆大學泰迪和威爾頓-霍金斯特聘教授兼材料科學和工程系主任Elizabeth Dickey說。“我讚揚麻省理工學院的跨學科團隊的這一令人興奮的發展，它將使未來一代的計算設備成為可能。”