領先的模擬AI處理器公司Mythic日前宣佈，公司正式推出業界首款模擬矩陣處理器（Mythic AMP™）M1108 AMP。按照他們的說法，這個新產品的釋出預示了AI激動人心的新紀元，因為它首次提供了一種模擬計算解決方案，該解決方案可實現一流的效能和效能，並且其精度可與數字裝置媲美。報導指出，M1108 AMP能為邊緣部署提供了無與倫比的可能性，應用市場包括智慧家居，AR / VR，無人機，影片監控，智慧城市以及工廠車間的自動化。憑藉其革命性的技術，M1108 AMP處於AI處理重大新趨勢的最前沿。報導指出，M1108整合了108個AMP tiles ，每個tiles都配有一個Mythic模擬計算引擎（MythicACE™），該引擎具有快閃記憶體單元、ADC陣列、32位的RISC-V處理器、SIMD向量引擎，SRAM和一個高吞吐量的片上網路（NOC）路由。此外，四個控制tiles為系統主機處理器提供了高頻寬PCIe2.0介面。M1108具有108個AMP tiles，可提供高達35萬億次/秒的運算（TOPS），可在單個晶片上以高效率、低延遲地高效執行復雜的AI模型（例如ResNet-50，YOLOv3和OpenPoseBody25）。在峰值吞吐量下執行復雜的AI模型時，M1108的典型功耗約為4W。而且，憑藉利用成熟的40nm技術的固有成本優勢，並且不需要任何外部DRAM或SRAM，M1108 AMP將以PCIe M.2和PCIe卡形式提供，並且M1108PCIe評估套件可應要求提供。說到人工智慧硬體，我們向來事無鉅細。WikiChip密切關注的一家公司是Mythic。這家公司還沒有完全公開他們的架構和產品，但一些細節已經開始慢慢浮出水面。在最近的人工智慧硬體峰會上，該公司的創始人兼執行長Mike Henry)紹了該晶片的最新情況。
這家位於奧斯汀的初創公司由Mike Henry和Dave Fick於2012年創立，最近完成了7000萬美元的B輪融資，總融資額剛剛超過8500萬美元。如今，公司員工已增至110人。Mythic是一家模擬公司。但是，在我們探討細節之前，必須指出，它們目前僅專注於推理，無論是在資料中心還是在邊緣。到2024年，這兩個市場的TAM（Total Available Market總體有效市場）預計將達到250億美元，這就是為什麼這裡有如此多的關注點的原因。從長遠來看，Mythic計劃針對大眾市場的消費品和汽車產品。隨著模型準確性的提高，其大小也會隨之增加。如今，模型達到了數億個引數，甚至達到數十億。最重要的是，通常實時地需要確定性行為，例如一致的幀速率和延遲。這就是Mythic的作用。Mythic的論點很簡單:將足夠的儲存與大量平行計算單元打包在晶片上，以最大化記憶體頻寬並減少資料移動的能力。但是有一個轉變——這就是Mythic的原始方法的閃光點——該公司拋棄了傳統的SRAM，轉而使用更密集的快閃記憶體，此外，Mythic還計劃在模擬環境下直接在記憶體中進行本地計算。
但是為什麼是快閃記憶體?答案很簡單:因為它密度大，功耗低，而且便宜，幾乎比SRAM的密度大兩個數量級。理論上，Mythic的晶片更像記憶體，而不是傳統的CMOS。從更長的路線圖來看，隨著SRAM bit cell的擴充套件變得越來越困難，它帶來的好處也越來越深遠。總的來說，從每美元的效能、每單位成本的密度和每瓦特的效能來看，這是一個潛在的巨大勝利。多年來，我們看到了一大堆路線圖，當他們開始談論未來10年的時候，很容易忽視它。但對Mythic來說，有一些不同之處。值得特別指出的是，目前Mythic正在研究40奈米的嵌入式快閃記憶體。他們有一個相當清晰的28nm和22nm的路徑，因此，粗略地說，這個圖的一半是基於今天已經發布的現有節點。Mythic公司的執行長Mike Henry似乎相信他們可以繼續這樣做，但是儘管正在進行一些工作以繼續擴充套件到16/14奈米節點，還不清楚它是否會上市。許多業內人士認為，嵌入式快閃記憶體在22奈米的時候遭遇了瓶頸。在與Mythic的一次簡短交談中，他們告訴我們，他們並沒有與嵌入式快閃記憶體結合，如果其中一項新興技術(如多位ReRAM、PCM或NRAM)作為一種強大的替代技術出現，他們肯定會考慮遷移到這種技術。Mythic的晶片被稱為IPUs或智慧處理單元。在外設方面，該晶片非常簡單，由PCIe的x4通道和DNN平鋪網格組成，PCIe是負責整個晶片管理的基本控制處理器。由於晶片的設計是為了儲存整個模型，沒有DRAM。Mythic表示，由於這是一個基於tiles的設計，如果有需求，他們可以透過新增直接的音訊/影片和各種其他介面來進一步定製。在去年的Hot Chip上，Mythic談論的是一款5000萬權值（weights）的初始產品。在最近的人工智慧硬體峰會上，Mike Henry表示，初始產品權值將達到1.2億，這比最初的計劃要多很多。在富士通的40nm製程中，近標線全尺寸晶片應具有約300M權值的容量，因此120M仍然是一個相當大的晶片。IPU的作用是作為一個連線到主機的PCIe加速器。對於大型模型或多個模型，可以使用多個IPU。模型最初被載入到IPU中，並保持靜止。沒有DRAM和程式設計快閃記憶體相對較慢，因此模型應該能夠適應晶片與多個應用對映到同一晶片。這對於許多邊緣應用程式來說非常典型。在正常操作下，主機CPU將資料傳送到IPU，並透過PCIe埠接收結果。
IPU總體設計（WikiChip）該晶片由DNN tiles構成網格。在一個tiles裡面是一個模擬矩陣乘法器，它建立在一個巨大的嵌入式快閃記憶體池的頂部，用來計算權值。嵌入式快閃記憶體單元使用浮動柵極透過儲存電荷、控制閾值電壓來儲存位。電晶體支援256級電導（G=1/R）之間的完全關閉和開啟狀態，Mythic用它來表示8位值。透過將所有神經元的權值對映到閃光電晶體上，他們可以利用歐姆定律自然地進行矩陣乘法運算。實現的方法是使用閃光電晶體將權值表示為可變電阻。這在計算之前執行一次。使用8位DAC，輸入向量作為一組電壓透過可變電阻。根據歐姆定律，輸出電流是輸入資料與權值向量(I = V x G)相乘的結果。最後，一組adc將產生的電流轉換回數字值，成為輸出向量。ReLu和其他各種非線性操作也由adc在那個時間點完成。圍繞這個元件還有一些額外的邏輯。不管工作條件如何，DAC/ADC封裝器都會進行補償和校準，以獲得精確的8位計算—類似於今天的影像感測器所做的工作。
模擬矩陣乘法（wikichip）需要指出的是，這個方案沒有實際的記憶體訪問。矩陣相乘是在記憶體中完成的，利用歐姆定律，所以沒有權值訪問能量。使用固定權值時，也沒有批次大小或其他特殊處理。雖然固定容量可能會帶來一些問題。順便說一下，它們支援神經元稀疏，但不支援權值稀疏性。有趣的是，Mythic說，對於他們的第一代，為了加快開發和上市時間，他們不會使用DAC作為輸入。相反，他們使用一個數字近似電路，由此分別計算每個輸入位，然後累加結果。他們將在將來用DAC消除這種情況，這有望為他們提供一些很好的改善。 
