英特爾發新神經形態芯片 31mm²容納100萬人工神經元

近日,英特爾發布了第二代神經形態芯片Loihi,面積為31mm²,最多可封裝100萬個人工神經元,而上一代面積為60mm²,支持13.1萬個神經元。同時,Loihi 2比上一代快10倍,資源密度提高了15倍,且能效更高。

英特爾發新神經形態芯片 31mm²容納100萬人工神經元

Loihi 2有128個神經形態核心,相較於第一代,每個核心都有此前數量8倍的神經元和突觸,這些神經元通過1.2億個突觸相互連接。據英特爾的早期評估,與在第一代Loihi上運行的標準深度網絡相比,在準確性沒有降低的情況下,Loihi 2上每次推理運算的次數減少到原來的至少60分之一。

英特爾發新神經形態芯片 31mm²容納100萬人工神經元

英特爾神經形態計算實驗室總監Mike Davies表示:“第二代芯片極大地提高了神經形態處理的速度、可編程性和容量,擴大了在功耗和時延受限的智能計算應用上的用途。英特爾正在開源Lava,以滿足在實踐中對軟件融合、基準測試和跨平台合作的需求,並加快商業可行性的進程。”

英特爾發新神經形態芯片 31mm²容納100萬人工神經元

Davies認為,Loihi 2等芯片擅長於處理賦予計算機感官(例如視覺和嗅覺)的任務。因為效率很高,神經形態芯片非常適合電源有限且不受傳統計算機網絡束縛的移動設備。

為什麼需要神經形態芯片?

在曾經很長一段時間內,規則式(rule-based)方法都在人工智能領域佔據主流,對計算機進行編程需要編寫分步說明。以教計算機學會識別狗舉例,這會涉及列出一組規則來指導其判斷,如檢查它是否有四隻腳等等。但如果計算機遇到一隻只有三隻腿的小狗怎麼辦?這時也許就需要更多規則,但是列出無窮無盡的規則,並讓計算機每次做出類型決策時都重複該過程是低效且不切實際的。

而人類的學習方式則與此相異,在區分狗與貓時無需被告知任何相關規則,於是學習人類大腦的運行方式成為人工智能發展的一個重要方向。

英特爾發新神經形態芯片 31mm²容納100萬人工神經元

20世紀40年代,科學家們開始用數學方法對神經元進行建模,此後則開始用計算機對神經元網絡進行建模。人工神經元和突觸比大腦中的要簡單得多,但它們的運作原理相同——大腦中的神經元通過跨突觸相互發送尖峰信號(Spiking Signals)來進行交流。

許多簡單的單元(“神經元”)連接到許多其他單元(通過“突觸”),一個神經元接收來自許多其他神經元的信號,當刺激達到某個閾值時,它會將自己的信號發送給周圍的神經元,大腦則通過調整神經元之間的連接強度來學習。

英特爾發新神經形態芯片 31mm²容納100萬人工神經元

人工神經網絡(Artificial Neural Networks)通常由層組成,具有許多此類層的網絡稱為深度學習網絡。神經網絡是機器學習的一種形式,是計算機根據經驗調整其行為的過程,在今天用於自動駕駛、人臉識別等領域。

康奈爾大學的神經生物學家Thomas Cleland曾說,神經形態計算(Neuromorphic Computing)“將成為搖滾明星”,“它不會把一切都做得更好,但它將完全擁有計算領域的一小部分”。

然而模仿大腦的計算成本非常高,人腦有數十億個神經元和數萬億個突觸,即使模擬一小塊大腦也可能需要對每塊輸入進行數百萬次計算。運行所有這些小計算並不適合必須一次處理一條指令的經典計算架構(CPU),而今天常用的圖形處理單元(GPU)仍然沒有像大腦那樣有效地執行深度學習——人類的大腦可以一邊駕駛汽車,一邊談論自動駕駛的未來,但使用的瓦數比燈泡還少。

英特爾發新神經形態芯片 31mm²容納100萬人工神經元

常規計算機架構與神經形態架構的對比

於是,解決神經形態計算問題的芯片出現了。最初是在20世紀80年代,工程師Carver Mead創造了術語“神經形態處理器”(neuromorphic processors)來描述以基於大腦的鬆散方式運行的計算機芯片,為這個領域奠定了基礎。

神經形態芯片如何運行?

Loihi芯片包含通過通信網絡連接的128個獨立內核,每個獨立內核中都有大量單獨的“神經元”或執行單元,每一個神經元都可以接收來自任何其他神經元脈衝形式的輸入——同一核心中的鄰居、同一芯片上不同核心中的一個單元或完全來自另一個芯片。隨着時間的推移,神經元會整合它接收到的尖峰信號(Spiking Signals,神經元通過跨突觸相互發送尖峰信號進行交流),並根據其編程的行為來確定何時將自己的尖峰信號發送到與其連接的任何神經元。

所有尖峰信號都是異步發生的。在設定的時間間隔內,同一芯片上的嵌入式x86內核會強制同步。屆時,神經元將重新計算其各種連接的權重——本質上,是決定對所有向其發送信號的單個神經元給予多少關注。

具體運行過程是,芯片上的部分執行單元充當樹突,部分基於從過去行為得出的權重處理來自通信網絡的傳入信號,以確定活動何時超過臨界閾值,並在超過時觸發其自身的峰值。然後執行單元的“軸突”查找它與哪些其他執行單元進行通信,並向每個執行單元發送一個尖峰信號。

與普通處理器不同,神經形態芯片沒有外部RAM(Random-access memory,隨機存儲器),而是每個神經元都有自己專用的小型內存,這包括它分配給來自不同神經元的輸入的權重,最近活動的緩存,以及發送尖峰信號的所有其他神經元的列表。

神經形態芯片與傳統處理器間的另一大區別則是能效。IBM於2014年推出的TrueNorth芯片,使用的功率還不到在傳統處理器上模擬尖峰神經網絡所需的0.0001%。英特爾神經擬態計算實驗室主任Mike Davies 表示,Loihi在某些特定工作負載上可以比傳統處理器高2,000倍。

最新的Loihi 2取得了什麼樣的新進展?

英特爾發新神經形態芯片 31mm²容納100萬人工神經元

Loihi 2使用了更先進的製造工藝——英特爾第一個EUV工藝節點Intel 4,現在每個內核只需要原來所需空間的一半。同時,Loihi 2不僅能夠通過二維連接網格進行芯片間的通信,還可以在三維尺度上進行通信,從而大大增加了能處理的神經元總數。每個芯片的嵌入式處理器數量從三個增加到六個,每個芯片的神經元數量增加了八倍。

同時,英特爾表示,它已經通過並優化了所有異步硬件,使 Loihi 2在更新神經元狀態時的性能提高了一倍,並將尖峰生成的性能提高了十倍。

另一個主要變化是處理器評估神經元狀態以確定是否發送尖峰信號的部分。在原始處理器中,用戶可以執行一些簡單的數學運算來做出決定。在Loihi 2中,則可以訪問簡化的可編程管道,執行比較和控制指令流。據科技媒體《Ars》表示,Davies在接受其採訪時表示,“你可以將這些程序指定到每個神經元級別,這意味着兩個相鄰的神經元可以運行完全不同的程序。”

不僅如此,“每個神經元處理其內部記憶的方式也更加靈活——會有一個固定分配和一個可以更動態劃分的內存池。”

與Loihi 2同時推出的開源軟件框架——Lava

雖然尖峰神經網絡(spiking neural networks)可以非常有效地解決很多問題,但目前的一個困難在於,這是一種非常不同的編程類型,需要以同樣不同的方式思考算法開發,要怎樣找到了解如何使用的人?Davies表示,目前精通它的大多數人都來自理論神經生物學背景。

到目前為止,這意味着英特爾主要將Loihi推向了研究社區,這限制了其市場銷售範圍。

從長遠來看,英特爾希望看到Loihi衍生品最終出現在更廣泛的系統中,從充當嵌入式系統中的協處理器到數據中心的大型Loihi集群。那麼,英特爾就需要很容易找到可以為其編程的人。

為此,英特爾將Loihi 2的發布與Lava的開源軟件框架的發布結合起來。“Lava旨在幫助神經形態編程傳播到更廣泛的計算機科學界,”Davies在接受外媒採訪時表示。

(0)
上一篇 2021-10-03 20:08
下一篇 2021-10-03 23:08

相关推荐