基於SRAM的方法可加速AI推理
一種新穎的深度學習加速器。專用單元定義了一個
,該單元可以處理矩陣乘法,量化,儲存以及推理處理器所需的其他工作。
在Spice模擬中,當使用8位整數數學識別手寫數字時,該設計可提供100兆次操作/秒/瓦(TOPS / W)。它的計算密度可以擊敗Google的TPU一個數量級。
該設計是使用記憶體中計算方法的加速器產品線中最新的一種。設計使用40奈米NOR快閃記憶體單元的深度學習處理器,其目標是為監視攝像機等裝置使用低功耗晶片。
設計時使用了很少的類比電路,因此可以擴充套件到精細的工藝節點。它可能成為低功耗處理器中引擎(從邊緣到雲)的引擎。
獨特的方式操縱SRAM單元以處理深度學習任務
這個設計使使用者可以為從權重到神經網路層甚至單個神經元的所有內容建立自定義引數。這種靈活性可以使將來設計用於訓練處理器的設計成為可能。但是尚無用於對該設計進行程式設計的軟體堆疊,可能會在以後解決或留給將來的客戶使用。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69975830/viewspace-2721915/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 基於阿里雲函式計算實現AI推理阿里函式AI
- 基於CPU版本的Caffe推理框架框架
- 基於事理圖譜的文字推理
- 指數級加速架構搜尋:CMU提出基於梯度下降的可微架構搜尋方法架構梯度
- 我為什麼說AI推理晶片大有可為AI晶片
- 基於英特爾® Gaudi® 2 AI 加速器的文字生成流水線AI
- 基於邏輯規則的圖譜推理
- 後端基於方法的許可權控制--Spirng-Security後端
- 高通釋出獨立AI晶片,搶食推理加速器市場AI晶片
- 機器推理系列第四彈:基於推理的多輪語義分析和問答
- 基於CPU的深度學習推理部署優化實踐深度學習優化
- 基於暫存器呼叫的軟體加速
- 在英特爾 CPU 上加速 Stable Diffusion 推理
- BEVFormer-accelerate:基於EasyCV加速BEVFormerORM
- 火山引擎基於 Dragonfly 加速實踐Go
- 論文解讀 | 基於神經網路的知識推理神經網路
- 可變形曲面跟蹤,亮風臺新出基於圖匹配的方法
- 加速的科大訊飛,加速的AI落地時代AI
- 使用深度學習進行基於AI的面部識別的不同方法深度學習AI
- 基於ReAct機制的AI AgentReactAI
- 基於Q-Learning 的FlappyBird AIAPPAI
- 基於訓練和推理場景下的MindStudio高精度對比
- Blaze:基於Rust加速器用更少資源加速Spark作業RustSpark
- SRAM的基礎模組存有三種情況
- 關於搭建可商用AI平臺的小感想AI
- casbin基於golang的許可權控制Golang
- React基於RBAC的許可權控制React
- 基於TODO的開發方法
- EMNLP 2020 | 基於反事實推理的開放域生成式對話
- 【雜學】大模型推理加速 —— KV-cache 技術大模型
- JuiceFS 在多雲架構中加速大模型推理UI架構大模型
- 史丹佛 AI 方法加速目標材料發現,為「自動駕駛實驗」奠定基礎AI自動駕駛
- 基於 Fluid+JindoCache 加速大模型訓練的實踐UI大模型
- 基於casbin的RBAC許可權實踐
- 基於 eBPF 的 Kubernetes 可觀測實踐eBPF
- 基於RBAC的許可權管理系統
- 基於RBAC的許可權設計模型模型
- 基於 PHP 反射的許可權匯入PHP反射