scikit-learn中KNN演算法資料歸一化的分裝
現在已經通過大量資料訓練出模型,那麼在做資料歸一化時,要考慮對訓練資料和測試資料都要歸一化。
但是測試資料在後面是需要當作測試模型效能的工具,它的存在是模擬真實環境。
1,真實環境是很可能無法得到所有測試資料的均值和方差的。
2,而且資料歸一化是KNN演算法的一部分。
比如,預測一朵花的型別,由一個資料是不能得到方差和均值的。
所以,對於測試資料應該使用訓練資料的均值和方差進行資料歸一化。
Xscale = (X_test - mean_train)/std_train
經過資料歸一化的預測流程如下:
只涉及到了均值方差的方法
import numpy as np
class StandardScaler:
def __init__(self):
"""初始化"""
"""用符號和下劃線表示非使用者傳入的引數"""
self.mean_ = None
self.std_ = None
def fit(self,X):
"""根據訓練資料獲得每一列的均值和方差"""
"""只處理2維的資料"""
assert X.ndim == 2
self.mean_ = np.array([np.mean(X[:,i]) for i in X.shape[1]])
self.std_ = np.array([np.std(X[:,i]) for i in X.shape[1]])
return self
def transform(self,X):
"""根據公式和求的均值方差求出資料歸一化的矩陣"""
assert X.ndim == 2
assert self.mean_ and self.std_ is not None
"""建立一個和X大小,資料型別一樣的矩陣,用來存放歸一化後的資料"""
resx = np.empty(shape = X.shape,dtype= float)
for col in range(X.shape[1]):
resx[:,col] = (X[:,col] - self.mean_[col]) /self.std_[col]
return resx
相關文章
- KNN演算法的資料歸一化--Feature ScalingKNN演算法
- 資料探勘——KNN演算法(手寫數字分類)KNN演算法
- 手勢識別演算法: 資料濾波演算法、資料分演算法——KNN演算法KNN
- 資料歸一化
- KNN演算法——分類部分KNN演算法
- 機器學習演算法-K近鄰(KNN)演算法(三):馬絞痛資料--kNN資料預處理+kNN分類pipeline(程式碼附詳細註釋)機器學習演算法KNN
- 最基礎的分類演算法(KNN)演算法KNN
- 機器學習-資料歸一化方法機器學習
- 資料分析與挖掘 - R語言:KNN演算法R語言KNN演算法
- scikit-learn 線性迴歸演算法庫小結演算法
- 演算法實踐:KNN分類(day08)演算法KNN
- KNN演算法KNN演算法
- 資料變換-歸一化與標準化
- 統計資料歸一化與標準化
- 機器學習 第5篇:knn迴歸機器學習KNN
- chapter5:分類的進一步探討---演算法評估及kNNAPT演算法KNN
- 資料結構與演算法-kd二叉樹(kNN)資料結構演算法二叉樹KNN
- Sklearn之資料預處理——StandardScaler歸一化
- 大資料之路 ——(一)演算法建模中的資料清洗大資料演算法
- 機器學習之KNN演算法機器學習KNN演算法
- KNN演算法理解KNN演算法
- KNN演算法實驗KNN演算法
- 機器學習 | 資料歸一化的重要性你瞭解多少?機器學習
- 【python資料探勘課程】二十.KNN最近鄰分類演算法分析詳解及平衡秤TXT資料集讀取PythonKNN演算法
- sklearn學習 第一篇:knn分類KNN
- MySQL 中如何歸檔資料MySql
- 資料探勘中的資料歸約技術總結
- KNN 演算法-理論篇-如何給電影進行分類KNN演算法
- 特徵工程中的「歸一化」有什麼作用特徵工程
- KNN演算法在保險業精準營銷中的應用KNN演算法
- 機器學習筆記(KNN演算法)機器學習筆記KNN演算法
- 機器學習——KNN近鄰演算法機器學習KNN演算法
- educoder 機器學習 --- kNN演算法機器學習KNN演算法
- 演算法金 | 再見!!!KNN演算法KNN
- 迴歸演算法全解析!一文讀懂機器學習中的迴歸模型演算法機器學習模型
- 演算法(八):圖解KNN演算法演算法圖解KNN
- python機器學習演算法——KNN演算法Python機器學習演算法KNN
- scikit-learn: 使用conda安裝scikit-learn