使用梯度下降法實現多項式迴歸
實驗目的
本實驗旨在透過梯度下降法實現多項式迴歸，探究不同階數的多項式模型對同一組資料的擬合效果，並分析樣本數量對模型擬合結果的影響。
實驗材料與方法
資料準備
- 生成訓練樣本：我們首先生成了20個訓練樣本，其中自變數服從均值為0，方差為1的標準正態分佈。因變數由下述多項式關係加上均值為0，方差為1的誤差項構成： Y=5+4X+3X2+2X3+er
- 資料視覺化：使用Matplotlib庫繪製了生成的資料點。
程式碼
import numpy as np
import matplotlib.pyplot as plt
# 設定隨機種子以保證實驗可重複性
np.random.seed(0)
# 生成20個訓練樣本
n_samples = 20
X = np.random.normal(0, 1, n_samples)
e_r = np.random.normal(0, 1, n_samples) # 誤差項
# 計算Y值
Y = 5 + 4 * X + 3 * X**2 + 2 * X**3 + e_r
# 使用matplotlib顯示生成的資料
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.title('Generated Data')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
模型定義
- 定義多項式迴歸模型：我們定義了一個
MultinomialModel類，該類接受訓練資料作為輸入，並能夠返回多項式模型的引數。類內部包括構造設計矩陣的方法、擬合資料的方法（使用梯度下降法）以及預測方法。
程式碼
class MultinomialModel:
def __init__(self, degree):
self.degree = degree
self.coefficients = None
def _design_matrix(self, X):
"""構造設計矩陣"""
n_samples = len(X)
design_matrix = np.ones((n_samples, self.degree + 1))
for i in range(1, self.degree + 1):
design_matrix[:, i] = X ** i
return design_matrix
def fit(self, X, Y, learning_rate=0.01, iterations=1000):
"""使用梯度下降法來擬合模型"""
n_samples = len(X)
self.coefficients = np.zeros(self.degree + 1) # 初始化係數
# 構造設計矩陣
X_design = self._design_matrix(X)
for _ in range(iterations):
# 預測
predictions = np.dot(X_design, self.coefficients)
# 損失函式的導數
gradient = 2 / n_samples * np.dot(X_design.T, predictions - Y)
# 更新系數
self.coefficients -= learning_rate * gradient
def predict(self, X):
"""基於學習到的模型預測新的資料點"""
X_design = self._design_matrix(X)
return np.dot(X_design, self.coefficients)
# 使用上述定義的類
degree = 3 # 設定多項式的階數
model = MultinomialModel(degree)
# 擬合資料
model.fit(X, Y)
# 預測
Y_pred = model.predict(X)
# 視覺化擬合結果
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.plot(X, Y_pred, color='red', label='Fitted curve')
plt.title('Polynomial Regression Fit')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
模型擬合與結果展示
- 模型訓練與預測：對於設定的不同階數的多項式模型，使用梯度下降法進行訓練，並預測資料。
- 結果視覺化：在同一張圖表中，繪製了不同階數多項式模型的擬合曲線，同時保留原始資料點的散點圖。
程式碼
# 繼續使用之前定義的MultinomialModel類
# 使用上述定義的類
degree = 3 # 設定多項式的階數
model = MultinomialModel(degree)
# 擬合資料
model.fit(X, Y)
# 預測
Y_pred = model.predict(X)
# 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
X_fit = np.linspace(np.min(X), np.max(X), 100)
Y_fit = model.predict(X_fit)
# 視覺化擬合結果
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.plot(X_fit, Y_fit, color='red', label='Fitted curve', linewidth=2)
plt.title(f'Polynomial Regression Fit (Degree {degree})')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
# 定義不同的多項式階數
degrees = [1, 2, 3, 4, 5]
# 建立一個新的圖形
plt.figure(figsize=(10, 8))
# 對於每個多項式階數，擬合併繪製曲線
for degree in degrees:
model = MultinomialModel(degree)
model.fit(X, Y)
# 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
X_fit = np.linspace(np.min(X), np.max(X), 100)
Y_fit = model.predict(X_fit)
plt.plot(X_fit, Y_fit, label=f'Degree {degree}')
# 繪製實際的資料點
plt.scatter(X, Y, color='blue', label='Actual data')
# 設定圖例和其他細節
plt.title('Polynomial Fits of Different Degrees')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
樣本數量影響分析
- 增加樣本數量：將樣本數量從20增加到100，並重復以上步驟，觀察模型擬合效果的變化。
程式碼
# 生成100個訓練樣本
n_samples = 100
X = np.random.normal(0, 1, n_samples)
e_r = np.random.normal(0, 1, n_samples) # 誤差項
# 計算Y值
Y = 5 + 4 * X + 3 * X**2 + 2 * X**3 + e_r
# 使用matplotlib顯示生成的資料
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.title('Generated Data with 100 samples')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
# 定義不同的多項式階數
degrees = [1, 2, 3, 4, 5]
# 建立一個新的圖形
plt.figure(figsize=(10, 8))
# 對於每個多項式階數，擬合併繪製曲線
for degree in degrees:
model = MultinomialModel(degree)
model.fit(X, Y)
# 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
X_fit = np.linspace(np.min(X), np.max(X), 100)
Y_fit = model.predict(X_fit)
plt.plot(X_fit, Y_fit, label=f'Degree {degree}')
# 繪製實際的資料點
plt.scatter(X, Y, color='blue', label='Actual data')
# 設定圖例和其他細節
plt.title('Polynomial Fits of Different Degrees with 100 samples')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
實驗結果與討論
結果展示
- 在初始階段，我們觀察到了不同階數多項式模型對20個樣本資料的擬合情況。隨著多項式階數的增加，模型逐漸從欠擬合狀態轉變為可能的過擬合狀態，特別是在高階數時，模型試圖更緊密地跟隨資料點的趨勢。
- 當樣本數量增加到100時，模型的表現變得更加穩定。高階多項式模型雖然仍表現出一定的複雜度，但由於有更多的資料支援，過擬合的風險有所減小。模型能夠更好地捕捉到資料的真實趨勢。
討論
- 模型複雜度與擬合效果：隨著多項式階數的提高，模型的複雜度增加，這使得模型能夠更好地逼近訓練資料。然而，過高階數也可能導致過擬合，即模型在訓練資料上表現優異但在未知資料上表現不佳。
- 樣本數量的影響：增加樣本數量有助於提高模型的泛化能力。更多的樣本意味著模型可以學習到更多樣化的特徵，從而減少過擬合的風險。
結論
本次實驗展示瞭如何使用梯度下降法實現多項式迴歸，並探討了不同階數及樣本數量對模型擬合結果的影響。實驗結果表明，在選擇合適的多項式階數以及確保有足夠的訓練樣本的情況下，多項式迴歸模型可以有效地擬合非線性資料。
附錄：完整程式碼
import numpy as np
import matplotlib.pyplot as plt
# 設定隨機種子以保證實驗可重複性
np.random.seed(0)
# 生成20個訓練樣本
n_samples = 20
X = np.random.normal(0, 1, n_samples)
e_r = np.random.normal(0, 1, n_samples) # 誤差項
# 計算Y值
Y = 5 + 4 * X + 3 * X**2 + 2 * X**3 + e_r
# 使用matplotlib顯示生成的資料
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.title('Generated Data')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
class MultinomialModel:
def __init__(self, degree):
self.degree = degree
self.coefficients = None
def _design_matrix(self, X):
"""構造設計矩陣"""
n_samples = len(X)
design_matrix = np.ones((n_samples, self.degree + 1))
for i in range(1, self.degree + 1):
design_matrix[:, i] = X ** i
return design_matrix
def fit(self, X, Y, learning_rate=0.01, iterations=1000):
"""使用梯度下降法來擬合模型"""
n_samples = len(X)
self.coefficients = np.zeros(self.degree + 1) # 初始化係數
# 構造設計矩陣
X_design = self._design_matrix(X)
for _ in range(iterations):
# 預測
predictions = np.dot(X_design, self.coefficients)
# 損失函式的導數
gradient = 2 / n_samples * np.dot(X_design.T, predictions - Y)
# 更新系數
self.coefficients -= learning_rate * gradient
def predict(self, X):
"""基於學習到的模型預測新的資料點"""
X_design = self._design_matrix(X)
return np.dot(X_design, self.coefficients)
# 使用上述定義的類
degree = 3 # 設定多項式的階數
model = MultinomialModel(degree)
# 擬合資料
model.fit(X, Y)
# 預測
Y_pred = model.predict(X)
# 視覺化擬合結果
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.plot(X, Y_pred, color='red', label='Fitted curve')
plt.title('Polynomial Regression Fit')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
# 繼續使用之前定義的MultinomialModel類
# 使用上述定義的類
degree = 3 # 設定多項式的階數
model = MultinomialModel(degree)
# 擬合資料
model.fit(X, Y)
# 預測
Y_pred = model.predict(X)
# 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
X_fit = np.linspace(np.min(X), np.max(X), 100)
Y_fit = model.predict(X_fit)
# 視覺化擬合結果
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.plot(X_fit, Y_fit, color='red', label='Fitted curve', linewidth=2)
plt.title(f'Polynomial Regression Fit (Degree {degree})')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
# 定義不同的多項式階數
degrees = [1, 2, 3, 4, 5]
# 建立一個新的圖形
plt.figure(figsize=(10, 8))
# 對於每個多項式階數，擬合併繪製曲線
for degree in degrees:
model = MultinomialModel(degree)
model.fit(X, Y)
# 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
X_fit = np.linspace(np.min(X), np.max(X), 100)
Y_fit = model.predict(X_fit)
plt.plot(X_fit, Y_fit, label=f'Degree {degree}')
# 繪製實際的資料點
plt.scatter(X, Y, color='blue', label='Actual data')
# 設定圖例和其他細節
plt.title('Polynomial Fits of Different Degrees')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
# 生成100個訓練樣本
n_samples = 100
X = np.random.normal(0, 1, n_samples)
e_r = np.random.normal(0, 1, n_samples) # 誤差項
# 計算Y值
Y = 5 + 4 * X + 3 * X**2 + 2 * X**3 + e_r
# 使用matplotlib顯示生成的資料
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.title('Generated Data with 100 samples')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()
# 定義不同的多項式階數
degrees = [1, 2, 3, 4, 5]
# 建立一個新的圖形
plt.figure(figsize=(10, 8))
# 對於每個多項式階數，擬合併繪製曲線
for degree in degrees:
model = MultinomialModel(degree)
model.fit(X, Y)
# 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
X_fit = np.linspace(np.min(X), np.max(X), 100)
Y_fit = model.predict(X_fit)
plt.plot(X_fit, Y_fit, label=f'Degree {degree}')
# 繪製實際的資料點
plt.scatter(X, Y, color='blue', label='Actual data')
# 設定圖例和其他細節
plt.title('Polynomial Fits of Different Degrees with 100 samples')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()實驗中使用的程式碼主要包括以下幾個部分：
- 資料生成：使用numpy庫生成服從特定分佈的訓練樣本。
- 模型定義與實現：定義
MultinomialModel類，並實現梯度下降法訓練模型的功能。 - 結果視覺化：使用matplotlib庫繪製資料點和擬合曲線。
- 分析樣本數量的影響：增加樣本數量，並觀察擬合結果的變化。