​IBM人工智慧晶片的新進展

半导体行业观察發表於2020-05-21
IBM人工智慧晶片
IBM蘇黎世實驗室的研究人員本週在Nature Communications上發表了一篇論文。在文中他們聲稱，基於相變儲存器的技術，他們已經開發出了一種能同時能高實現能源效率和高精度的機器學習方案。這是一種使用基於電阻的儲存裝置來實現記憶體內計算的方法，它們的方法彌補了儲存和計算資料分開的方案的缺陷，並在此過程中大大降低了功耗。

文章表示，許多現有的AI推理方案在物理上拆分了記憶體和處理單元，導致AI模型儲存在片外記憶體中。這會增加計算開銷，因為必須在各個單元之間對資料進行轉移，這會減慢處理速度並增加用電量。

IBM的技術表面上解決了相變儲存器的問題，相變儲存器是一種非易失性儲存器，比常用的快閃記憶體技術要快。這項工作如果被證明具有可擴充套件性，則可以為在無人機，機器人，移動裝置和其他受計算限制的裝置中執行AI的強大硬體鋪平道路。

正如IBM團隊所解釋的那樣，相變儲存裝置面臨的挑戰是它趨向於引入計算誤差（computational inaccuracy）。那是因為它本質上是模擬的。由於可變性以及讀寫電導噪聲，其精度受到限制。

研究提出的解決方案需要在軟體中的AI模型訓練期間注入額外的噪聲，以提高模型的彈性。結果表明它是成功的。在將訓練後的權重（即，用於轉換輸入資料的引數）對映到相變儲存器元件後，加入額外噪音在流行的CIFAR-19 資料集可以把訓練ResNet模型精度提升到93.7%，而ImageNet的精度可以做到71.6%.

此外，在將特定模型的權重對映到原型晶片中的723,444個相變儲存裝置上之後，在單天的過測試程中，精度保持在92.6％以上。研究人員聲稱這是一個記錄。

為了進一步提高精度隨時間的保持性，該研究的合著者還開發了一種補償技術，該技術可以在推理過程中定期校正啟用函式（確定模型輸出的方程式）。他們說，這導致硬體精度提高到93.5％。

同時，該團隊使用模擬相變儲存元件對訓練機器學習模型進行了實驗。報告稱，他們使用混合精度架構在幾種型別的小規模模型上實現了“軟體等效”的準確性，這些模型包括多層感知器，卷積神經網路，長期短期記憶網路和生成對抗網路。他們最近在《神經科學前沿》上發表的一項研究中詳細介紹了訓練實驗。

IBM在該領域的最新工作是在引入用於AI訓練的相變儲存晶片之後。但據報導,公司的這項技術仍處於研究階段的同時，公司研究人員證明了該系統可以將權重資料儲存為電荷，每平方毫米的計算量是圖形卡的100倍，而功耗卻要低280倍。

IBM表示：“在一個越來越多應用（包括物聯網電池供電的裝置和自動駕駛汽車）向AI邁進的時代，快速，低功率且可靠的DNN推理引擎是非常有吸引力.

在一份宣告中他們表示。我們正在研究中的AI硬體加速器架構在支援DNN訓練和推理方面巨大潛力。”
半導體行業觀察
半導體行業觀察

最有深度的半導體新媒體，實時、專業、原創、深度，30萬半導體精英關注！專注觀察全球半導體最新資訊、技術前沿、發展趨勢。

相關文章