AI晶片需要怎樣的記憶體?

半導體行業觀察發表於2019-04-08

人工智慧(AI)、車用晶片的複雜程度更勝以往,邊緣處理比重增加,儲存的選擇、設計、使用模式及配置難度也越來越高。

據Semiconductor Engineering報導,為了處理汽車和AI應用產生的大量資料,晶片架構越趨複雜,在資料於晶片、元件和系統之間移動以及處理優先處理順序不明確的情況下,設計團隊只能在合併和共享儲存之間取得平衡以降低成本,或增加更多不同型別的儲存來提升效能、降低功耗。

因此出現各種不同的方法,包括將小型儲存分散在晶片或封裝周圍的鄰近儲存運算(near-memory computing),以及將資料移動最小化的儲存內運算(in-memory computing)。這些方法的目的都是透過減少負載和儲存量來解決儲存瓶頸,同時節省能源。

內建SRAM和DRAM儲存仍是當前市場主流。DRAM密度高、使用電容儲存結構相對簡單,又具有低延遲、高效能和接近無限次存取的耐用度,功耗也比較低。SRAM速度非常快,但較為昂貴且密度有限。這些不同的需求會影響儲存的型別、數量以及內建或外接儲存的選擇。

功耗也是儲存的關鍵問題,不同儲存型別和配置也會影響功耗。例如在7奈米制程的儲存上行動資料因導線的RC延遲,需要更高的功率,並可能產生熱能,破壞訊號的完整性。

儲存對AI很重要,AI又是所有新技術的要角。但不只有AI晶片,還有晶片內部的AI應用,都會影響儲存的使用方式。如要實現超快的速度和最低功耗,最好的辦法就是把所有元件放在同一個晶片上,但有時會受到空間的限制。

這也說明了,為什麼資料中心和訓練應用AI晶片的體積比許多部署在終端裝置執行推論應用的其他型別晶片更大。另一種方法則是將部分儲存移到晶片外,並透過設計提高傳輸量及縮短與儲存的距離,或是限制外接儲存的資料流。

外接儲存的競賽,基本上以DRAM-GDDR和HBM為主。從工程和製造角度來看,GDDR比較像DDR和LPDDR等其他型別的DRAM,可以放在一個標準的印刷電路板上並使用類似的製程。

HBM是比較新的技術,牽涉到堆疊和矽中介層,每個HBM堆疊都有上千個連線,因此需要高密度的互連,這遠遠超過PCB的處理能力。HBM追求最高效能和最佳的電源效率,但成本更高,需要更多的工程時間和技術。GDDR的互連沒這麼多,但會影響訊號的完整性。

明導國際(Mentor)IP部門總監Farzad Zarrinfar表示,功率、效能和麵積(PPA)都很重要,但主要還是和應用有關。以攜帶型的應用為例,功率非常重要,而功率也分為動態和靜態兩部分,如果需要大量運算,那麼動態功率就非常重要;如果是穿戴式設計,則更重視靜態/漏電功率。電動車在意電池的續航力,因此功耗也是關鍵因素。

儘管有大量革命性的技術和創新架構,儲存仍是所有設計的核心。如何決定現有儲存的優先順序、共享、位置以及用途,獲得最佳系統效能是件知易行難的事。

*文章內容系作者個人觀點,不代表半導體行業觀察對觀點贊同或支援。


相關文章