1、學習率 Learning Rate：學習率決定了權值的更新速度，設定太大會使權值越過最優值，太小會使下降速度過慢，演算法長時間不能收斂。靠人為干預調整引數需要不斷的調整學習率。
2、梯度下降：一個廣泛用來最小化模型誤差的引數最佳化演算法。梯度下降透過多次迭代，並在每一步中最小化成本函式來估計模型的引數（weight）。
3、signoid函式：是一個啟用函式，當然還有relu/tash等。sigmoid的輸出範圍在[0, 1]之間，輸出穩定，資料在傳遞過程中不容易擴散。缺點就是飽和的時候，梯度太小。
4、softmax函式：對於多層來講，輸出層就必須是softmax，他是sigmoid的推廣。
5、隨機森林演算法及原理：
隨機森林透過反覆二分資料進行分類和迴歸，使計算量大大降低。在變數（列）的使用和資料（行）的使用上隨機化，生成很多分類樹，再彙總分類的結果。
隨機森林是隨機建立一個森林，森林裡面有由很多決策樹組成，各個決策樹之間沒有任何影響。
實現過程：
<1>原始訓練集N，利用bootstrap法有放回的隨機抽取樣本k。
<2>設有m個變數，每次在節點處隨機選擇n個變數，然後在m中選擇一個具有分類能力的變數，變數的閾值透過檢查每一個分類點確定。
<3>每一棵樹最大限度的生長，不做任何修剪。
<4>將生成的多棵分類樹組成的隨機森林，用隨機森林分類器對新的資料進行判別和分類，分類的結果按分類器的投票多少而定。
6、邏輯迴歸演算法及原理