受人腦複雜運作的啟發，神經網路已經徹底改變了各個領域的生產研究現狀。然而，考慮到基於計算機的神經網路需求的大量計算與極高能耗，特別是傳統數字處理器的能源效率，機械神經網路的發展逐步被提上日程。
在光學神經網路中，波-物質相互作用被用來實現機器學習，類似的思路也可以被用來建立機械神經網路（MNN）的學習框架。
受神經科學的啟發，來自密歇根大學的 UM 團隊設計了一種演算法，為機械神經網路的工作方式的自主學習提供了一個數學框架。
這是一種 MNN 的訓練協議，基於原位反向傳播。源自伴隨變數方法，其理論上從區域性資訊中就能獲得精確的梯度。
除了用作計算裝置之外，這些 MNN 作為可持續和自主的材料系統，還為材料科學和機械工程提供了前所未有的機會，因為它們可以接受訓練以學習某些行為以適應不同的環境和任務。
該研究以「Training all-mechanical neural networks for task learning through in situ backpropagation」為題，於2024年12月9日釋出在《Nature Communications》
“我們看到材料可以自行學習任務並進行計算，”本研究的主要負責人Shuaifeng Li 說，“這個未來還有很長的路要走，但 UM 新研究的見解也可以為該領域以外的研究人員提供更直接的靈感。”
UM 團隊的研究結果將訓練機械神經網路的理論與實驗和數值驗證相結合，為機械機器學習硬體和自主材料系統鋪平了道路。
原位反向傳播
在 MNNs 中進行原位反向傳播的理論基礎即獲得損失函式對於 MMN 彈簧常數的梯度。在 d 維的空間中嵌入 n 個節點併為他們分配位置，區分為輸入輸出節點 n 入與 n 出，由 m 個彈簧相連線，每一個彈簧都有各自的彈簧常數 k 彈。此外，透過正確設計網路連結來禁止零模式，以便對矩陣 C 完全排序。
在 MNN 中實現原位反向傳播並獲得損失函式的梯度 L 從 MNNs 的區域性資訊來看，有兩個步驟：對 MNNs 施加輸入力 F，得到節點的位移和鍵 e 的向前伸長，然後計算給定損失函式的形式，這裡要使用到前一步中計算好的位移，但需要在數字計算機中計算成本。
在基於能量的學習方法中，微移狀態與由輕推強度控制的自由狀態略有距離，而新方法中的兩種平衡狀態是獨立的，其中輸入力在第二種狀態中不存在。
本質上，這個訓練方法提供了兩個訊號傳遞，一個向前傳送輸入訊號，一個向後傳送誤差訊號。這種傳遞方法與物理學習所需的規則一致。除了 EP 和耦合學習之外，這個方法還可以作為在本地訓練 MNN 的替代選擇。
為了演示 MNN 中的反向原位傳播，使用 3D 列印技術製造了一份二維 MNN 。在進行實際模擬後表示，損失函式的梯度是向前伸長和伴隨伸長的元素乘積，c、d 分別為實驗結果與模擬結果。
可以觀察到，實驗測得的伸長率和模擬的伸長率以及梯度都具有極好的一致性。與代表精確梯度的模擬梯度相比，本次實驗梯度誤差小於 0.1，這個結果由三個獨立實驗與另一個損失函式的額外三個獨立實驗進行平均得到。
雖然從數值上可以獲得機器精度的梯度，但線性狀態下的假設需要無限小的變形，這表明他們在實驗中使用的方法始終是近似值。為了解決這一問題，他們進行誤差分析，將梯度誤差顯示為伴隨力的函式。在大伴隨力的低梯度誤差下，試驗方法可以更為準確與高效地產生梯度。
行為學習
據 UM 團隊釋出的論文所述，訓練 MNN 學習行為可以減少設計策略的工作量。他們表明，在沒有專業知識的情況下，透過原位反向傳播 MNN 可以學習它所需的行為。
圖示為 MNN 施加的力下的對稱輸出，頂部皮膚顯示機械網配置，底部顯示模擬與實驗的垂直位移。考慮到兩個青色節點表述的兩個類，可以交叉熵損失與歸一化一起使用。
交叉熵損失隨著預測機率 p 的降低而減小接近實際標籤，導致機率最大化和兩個絕對垂直位移之間產生的差值。透過原位反向傳播，可以實現不對稱輸出，其中兩個節點在施加在紅色節點上的相同力下具有不同的垂直位移。
演示的例項表明，MNN 可以在施加的力下學習不同的行為，這裡利用原位反向傳播提供了一種簡單的方法。它可用於建立具有所需功能的高階機械系統。
可重新訓練
與僅存在於數字領域的基於計算機的神經網路不同，MNN 是物理製造的，將機器學習模型嵌入到真實材料中。因此，MNN 的可再訓練性成為一個關鍵屬性。
與此，實驗人員可以透過模擬實驗來強盜兩個關鍵場景中的可再訓練性。其一，它們可以按需從一個任務無縫過渡到另一個；其二它們在遭受破壞後有回覆機器學習模型的能力。
訓練受損的 MNN 後，分裂準確率從初次受損崩潰後降低到的50%回升到80%，這表明儲存在 MNN 中的分類模型得到了實質性的恢復。
值得注意的是，損失的減少出現較為明顯的變化。這表明在這種配置下，訓練過程取決於訓練與測試資料集的劃分。
影響因素
目前，學習過程中並不涉及真實的 MNN，因為其還沒有在物理實現上更新。基於 UM 團隊演示的原位反向傳播，存在許多實驗途徑來實現彈簧常數的更新，因此整個學習過程可以透過更多不同的實驗方式來複現。
訓練團隊指出，從可調杆平臺以及磁活性等原理、相位變化與光可調性等方向，對於材料屬性可以藉由外部場就地程式設計，有望促進原位反向傳播的進一步實驗。
除此之外還要考慮到模擬模型與真實材料系統之間的差距。需要透過區域性修剪規則以允許原位修剪無序網路的鍵來操縱材料響應，並適配比彈簧網路更復雜的網路。
結語
截止到目前為止，反向傳播一直是跨數字與光學處理器進行機器學習的最有效、使用最廣泛的神經網路訓練演算法。這種技術被應用在機械系統中，揭示了 MNN 在降低機器學習成本方面的潛力。
“力是輸入資訊，材料本身就像處理器，材料的變形是輸出或響應。” Li 說。
訓練後的 MNN 在設計有自學習能力的自主機器人與智慧材料上具有光明的未來。研究人員表示，由於該演算法顯然對資訊的傳輸方式漠不關心，它還可能有助於為探索生命系統如何學習開闢新的途徑。
“我們看到反向傳播理論在許多物理系統中取得了成功，”Li 說。“我認為這也可能有助於生物學家瞭解人類和其他物種的生物神經網路是如何工作的。”
UM 團隊還在研究材料中更廣泛的網路類別，包括聚合物和奈米粒子組裝。有了這些，他們可以建立新的系統，在其中應用他們的演算法並努力實現完全自主的學習機器。
論文連結：https://www.nature.com/articles/s41467-024-54849-z