深度學習中的函式語言之美 - Clojure和Haskell

深度學習實施的困難
在將深度學習系統投入生產時，神經網路可能包含一百萬個引數。資料可以快速爆炸以訓練這些引數。這種資料爆炸需要的效能只能透過具有安全併發和並行功能的高效程式語言來實現。由於神經網路的複雜性，資料從一層傳遞到另一層，程式語言處理這些資料的方式的簡單性和一致性非常重要。在這種情況下，安全性意味著能夠以一致的方式保留原始資料的狀態，而簡單性意味著能夠在最大化效能的同時輕鬆讀取和維護程式碼庫。

為什麼函數語言程式設計更適合深度學習
為了解決實現深度學習時可能遇到的一些困難，程式設計師發現函數語言程式設計語言可以提供解決方案。
在電腦科學中，函數語言程式設計是一種程式設計正規化，它將計算視為數學函式的評估，並避免改變狀態和可變資料。這是一種更接近數學思維的程式設計模式。
深度學習模型本質上是數學模型。例如，人工神經網路包括連線的節點，每個節點執行簡單的數學運算。透過使用函數語言程式設計語言，程式設計師能夠以更接近操作本身的語言描述這些數學運算。這些程式的顯式編寫方式使得閱讀和維護程式碼庫變得更加容易。
同時，深度學習演算法的組成性質意味著，在神經工作的每一層，層或功能傾向於連結在一起以執行任務。這可以使用函式程式語言的功能鏈來容易地實現。
此外，在深度學習中，當函式應用於資料時，資料不會改變。可以按行順序輸出新值，但資料本身保持一致。函數語言程式設計語言的不變性特性將允許程式設計師在每次生成新值時建立新資料集而不改變原始不可變資料集。這使得更容易在整個神經網路中保持資料的一致性。
最後，深度學習實現中涉及的大量引數和訓練資料意味著並行性和併發性是建立生產級深度學習系統的關鍵。並行性意味著在不同的CPU上執行執行緒以加速學習過程。併發意味著管理執行緒以避免衝突的能力。函數語言程式設計允許免費併發和並行。這意味著，就其性質而言，純函式是無狀態的函數語言程式設計將始終為特定輸入生成相同的輸出，從而能夠隔離任何函式，並在需要時執行。這使得併發和並行更容易管理。您不必處理死鎖和競爭條件等問題。訪問不同CPU的不同執行緒將能夠獨立執行而不會出現爭用。

Clojure
隨著函式性程式設計在深度學習中的普及，以及可用於深度學習的強大軟體包，Clojure現在受到沃爾瑪和Facebook等公司的青睞。它是一種基於LISP程式語言的高階動態函數語言程式設計語言，它具有可以在Java和.NET執行時環境中執行的編譯器。
Clojure不會取代Java執行緒系統，而是使用它。由於核心資料結構是不可變的，因此可以線上程之間輕鬆共享它們。同時，程式中的狀態變化是可能的，但Clojure提供了確保狀態保持一致的機制。如果嘗試修改同一引用的2個事務之間發生衝突，則其中一個將退出。不需要顯式鎖定。

(import ‘(java.util.concurrent Executors))
(defn test-stm [nitems nthreads niters]
 (let [refs (map ref (repeat nitems 0))
   pool (Executors/newFixedThreadPool nthreads)
   tasks (map (fn [t]
               (fn []
                (dotimes [n niters]
                  (dosync
                   (doseq [r refs]
                    (alter r + 1 t))))))
              (range nthreads))]
   (doseq [future (.invokeAll pool tasks)]
      (.get future))
   (.shutdown pool)
   (map deref refs)))
(test-stm 10 10 10000) -> (550000 550000 550000 550000 550000 550000 550000 550000 550000 550000)

(defn calculate-pixels-2 []
 (let [n (* *width* *height*)
       work (partition (/ n 16) (range 0 n))
       result (pmap (fn [x]
                  (doall (map
                   (fn [p]
                     (let [row (rem p *width*) col (int (/ p *height*))]
                       (get-color (process-pixel (/ row (double *width*)) (/ col (double *height*))))))
                   x)))
                  work)]
   (doall (apply concat result))))

;; pipe arg to function
(-> "x" f1) ; "x1"

;; pipe. function chaining
(-> "x" f1 f2) ; "x12"

Haskell
Haskell是一種函式式語言，透過型別推斷和惰性求值進行靜態型別化。它基於Miranda程式語言的語義，被認為更加富有表現力，更快，更安全，可用於實現機器學習。
1.Haskell中的型別安全性提供了安全性和靈活性
型別安全性定義了變數可以容納的值型別的約束。這將有助於防止非法操作，提供更好的記憶體安全性，並減少邏輯錯誤。延遲評估意味著Haskell將延遲表示式的求值，直到需要它的值。它還避免了重複評估，這將節省執行時間。同時，延遲評估允許定義無限資料結構。這為程式設計師提供了無限的數學可能性。
2.Haskell中的簡單顯式程式碼提供了清晰的實現
Haskell的最大好處之一是它可以用非常明確的數學結構來描述演算法。您可以在幾行程式碼中表示模型。您也可以像讀取數學方程一樣閱讀程式碼。這在複雜演算法中非常強大，例如機器學習中的深度學習演算法。例如，前饋神經網路的單層的以下實現顯示了程式碼的可讀性。

import Numeric.LinearAlgebra.Static.Backprop
logistic :: Floating a => a -> a
logistic x = 1 / (1 + exp (-x))
feedForwardLog
   :: (KnownNat i, KnownNat o)
   => Model (L o i :& R o) (R i) (R o)
feedForwardLog (w :&& b) x = logistic (w #> x + b)

結論
深度學習模型是複雜的數學模型，需要特定的功能分層。諸如Clojure和Haskell之類的函數語言程式設計語言通常可以用更接近模型數學的更清晰的程式碼來表示複雜性。這樣可以節省時間，提高效率並輕鬆管理程式碼庫。函數語言程式設計的特定屬性允許這些語言中的實現比其他語言更安全。隨著人工智慧技術的發展，人工智慧中大規模系統開發專案的需求評估這些語言將變得更加普遍。