神經網路可以看作是一組神經元與神經元之間相互連線的結構。這些連線（類似於生物神經元中的突觸）都具有相應的特殊強度或權重。公司和學術研究人員並沒有使用普通 CPU 的邏輯和記憶體來表示神經網路，而是一直在研究用不同種類的非易失性記憶體陣列表示它們的方法。這樣，就可以在不移動任何資料的情況下進行關鍵的計算。目前，基於可變電阻式儲存器、快閃記憶體、磁性隨機儲存器和相變記憶體的人工智慧系統都處於研究過程中，但它們都有各自的侷限性。最近，在舊金山舉行的 IEEE 國際電子元件會議上，研究人員提出了一些可能取得更好效能的備選方案。
IBM 公司最近開發了一種名為電化學 RAM（electrochemical RAM）的基礎部件，用於構建完美的突觸結構。與相變記憶體或電阻式記憶體一樣，它通過電導率的變化儲存資訊。但是，相變記憶體和電阻式記憶體只能實現兩個或幾個狀態，而電化學 RAM 可以實現幾十個甚至數百個狀態。
IBM 對電化學 RAM cell 單元的寫入操作驅動鋰離子進出三氧化鎢通道。讀數包括測量通道的電導率。
電化學 RAM 的 cell 單元看起來有點像 CMOS（互補金氧半導體）電晶體。柵極位於介電層之上，會覆蓋一個半導體通道和兩個電極（即源極和漏極）。然而，在電化學 RAM 中，電介質是鋰磷氮化物，這是一種用於實驗性薄膜鋰離子電池的固態電解質。在電化學 RAM 中，對應於 CMOS 電晶體中矽通道的部分是由三氧化鎢製成的。通常，我們將三氧化鎢用於建造智慧窗戶等裝置。
為了設定電阻的水平——神經網路項中突觸的「權重」——讓脈衝電流穿過柵極和源極。當這個脈衝具有某種極性時，它會將鋰離子驅入鎢層，使鎢層導電。反轉輸出電壓的極性後，離子會逃逸回磷酸鋰中，從而降低電導率。
當我們想要讀取突觸的權重時，只需要在源極和漏極之間設定一個電壓，然後感知產生的電流。IBM T.J. Watson 研究中心的 Jianshi Tang 說，ECRAM 的優點之一是：可以將當前的讀路徑和寫路徑分離開來。相變記憶體和電阻式記憶體必須讓電流通過相同的路徑才能設定和感知電導率。因此，讀取 cell 單元可能會導致其電導率漂移。
（IBM 的一個獨立研究小組也在 IEDM 上提出瞭解決這個漂移問題的方案。該團隊提出的「投影」相變記憶體的 cell 單元包含一個可以在不讓讀取電流重寫 cell 單元的情況下將其分流的結構。）
IBM 根據其測試版本的 cell 單元構建了一套測量標準，以測量由這樣的一組單元組成的神經網路可以達到多高的準確率。他們在 MNIST 手寫數字資料庫上進行了測試，實驗結果表明，這個神經網路達到了 96% 的準確率，與理想相差無幾。他們最初想通過將 cell 單元能達到的電導率狀態數增加一倍（達到 110）來提高準確度，但沒有成功。Tang 說：「準確率並沒有進一步提升，這讓我們感到很驚訝」。
普渡大學的神經網路通過調整網路權重的反饋過程進行學習。當裝置具有對稱的電氣特性時，其工作效果最好。
IBM 的團隊發現，電導率在上升到峰值和下降之間的輕微不對稱性會阻礙準確率的提升。完全對稱意味著一次電流脈衝應該會改變一定數量的電導率，然後相反極性上相同的脈衝應該精確地將電導率返回到它的起點。與其他非易失性儲存器相比，ECRAM 具有良好的對稱性，但這還並不完美。
將這種不對稱性降低一半，就能使神經網路達到可能的最佳準確率。根據他們的研究，通過調整裝置的動態範圍，將不對稱性降低一半是絕對可行的。
IBM 團隊還說明了，ECRAM 的導電通道可以縮小到 100 奈米寬的程度，而他們最初構建的導電通道有 60 微米寬。這樣大小的 ECRAM 只需要千萬億分之一焦耳的能量就能改變其狀態，這接近於人類神經元突觸所消耗的能量。Tang 說：「當然，沒有什麼事請是完美的。使用 ECRAM 實現神經形態陣列仍然存在一些挑戰」。
Peide Ye/普渡大學鍺鐵電奈米線電晶體可能具有適用於加速人工智慧的特性。
ECRAM 並不是今年 IEDM 上在這個領域的唯一競爭者。由 IEEE Fellow Peide Ye 領導的普渡大學的研究小組小組提出了一種由鍺奈米線和鐵電材料製成的裝置。鐵電體對微小的電壓有很強的極化反應。通過在電晶體的柵極上放置鐵電，研究人員希望降低電晶體開關時的電壓，從而降低功耗。但是你也可以在鐵電體中儲存資訊。這是通過翻轉部分鐵電體的極性，從而改變在給定電壓下通過電晶體的電流來實現的。這就是 Peide Ye 的團隊所做的工作，他們製造出了一種能夠產生超過 256 種電導狀態的器件。更重要的是，它可以上調或下調那些具有合理對稱性的電導態。一個利用該裝置製作的處理 MNIST 手寫數字任務的模擬網路的準確率達到了 88%。
然而，如果你的神經網路不需要執行學習任務，就不需要這種對稱性和數百種電導狀態。日常生活中，你可能想要人工智慧系統做很多事情，比如讓你的咖啡機在聽到「喚醒命令」後啟動，這些系統會學會在雲端離線工作。完成這項工作所需的權重集合和神經連線將被載入到咖啡機內一個專用的低功耗晶片上。許多初創公司都在尋求為自己開闢一番天地，提供這些具有「推斷」功能的晶片或背後的技術，其中一些公司依賴於使用記憶體單元來儲存權重並執行關鍵的深度學習計算任務。例如，Syntiant、Mythic 以及 Anaflash 都為它們的晶片處理工作使用了嵌入式快閃記憶體。
聖母大學的 FeMFET 的鐵電層建立在電晶體之上，而晶片往往在這裡進行互聯。
來自印第安納州聖母大學和德克薩斯州奧斯汀市三星高階邏輯實驗室的一組研究人員發明了一種用於嵌入式人工智慧晶片的新型儲存單元：鐵電金屬 FET（FeMFET）。聖母大學的 Kai Ni 希望提升 FeFET 在此類人工智慧應用上的效能；FeFET 一直受制於寫入權重時所需的高電壓，這導致了一些可靠性問題。他們提出的解決方案是將鐵電層從電晶體中移出，使其成為位於電晶體上方的獨立電容器。
將權重寫入可容納兩位位元的 FeMFET，所耗費的電壓不到以前使用鐵電體的人工智慧方案的一半。但就目前而言，實現這種技術需要太長時間。Ni 說：「我們現在唯一的缺點就是寫入速度，我們認為這不是 cell 單元的固有特性，是可以改進的」。
可能目前並沒有用於神經形態晶片和深度學習裝置的完美的突觸結構。但從上週在 IEDM 上公佈的各種新的、實驗性的測試結果來看，我們將擁有更好的突觸結構。
原文連結：https://spectrum.ieee.org/tech-talk/semiconductors/devices/searching-for-the-perfect-neuron-for-ai