一、機器學習的應用
1.監督學習（迴歸與分類）
2.無監督學習（聚類、異常檢測、降維）
3.線性迴歸模型
f(x)=wx+b
代價函式
cost function:
objective minimize J(w,b)
4.梯度下降
w=w-@ d/dw J(w,b)
b=b-@ d/db J(w,b)
學習率@的影響
too small
too big
4.線性迴歸中的梯度下降
平方誤差函式（凸殼）
5.多類特徵、向量化
多類特徵線性迴歸的梯度下降
6.特徵縮放、特徵工程、多項式迴歸
7.logistic、決策邊界
8.logistic代價函式
9.梯度下降
10.欠擬合、過擬合、正則化
Addressing overfitting
I.collect more data
II.select features
- Feature selection
III.reduce size of parameters
- "Regularization"
二、高階學習演算法
1.神經網路
2.神經網路中的層、前向傳播
3.TensorFlow
4.前向傳播~實現
5.Is there a path to AGI ?
人腦擁有神奇的學習能力
6.矩陣乘法與神經網路
7.TensorFlow實現
8.sigmod的替代，放棄啟用函式？
如果對所有隱藏層使用線性函式，相當於只使用一次線性函式
9.多類、softmax、改進、多輸出分類
10.高階最佳化方法（Adam）
11.Deciding what to try next、模型評估、CV
Get more training examples over
Try samller sets of features over
Try getting additional features In fact, I think this can be over
Try adding polynomial featrues(x*x,x1*x2,etc)
Try decreasing -
Try increasing - over
12.偏差與方差、表現基準、with神經網路
13.機器學習的迭代過程、誤差分析、資料增強、遷移學習、機器學習專案完整週期、公平偏見與倫理
14.傾斜資料集的誤差指標、精確率與召回率
15.決策樹、學習過程
16.純度、遞迴、One-Hot、連續價值特徵、迴歸樹
17.決策樹森林、放回抽樣、隨機森林演算法、XGBoost、決策樹與神經網路對比
三、無監督學習、推薦演算法和強化學習