使用梯度下降法實現多項式迴歸

柒墨轩發表於2024-09-18

梯度

使用梯度下降法實現多項式迴歸

實驗目的

本實驗旨在透過梯度下降法實現多項式迴歸，探究不同階數的多項式模型對同一組資料的擬合效果，並分析樣本數量對模型擬合結果的影響。

實驗材料與方法

資料準備

生成訓練樣本：我們首先生成了20個訓練樣本，其中自變數 $X$ 服從均值為0，方差為1的標準正態分佈。因變數 $Y$ 由下述多項式關係加上均值為0，方差為1的誤差項 $e_{r}$ 構成：
資料視覺化：使用Matplotlib庫繪製了生成的資料點。

程式碼

import numpy as np
import matplotlib.pyplot as plt

# 設定隨機種子以保證實驗可重複性
np.random.seed(0)

# 生成20個訓練樣本
n_samples = 20
X = np.random.normal(0, 1, n_samples)
e_r = np.random.normal(0, 1, n_samples)  # 誤差項

# 計算Y值
Y = 5 + 4 * X + 3 * X**2 + 2 * X**3 + e_r

# 使用matplotlib顯示生成的資料
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.title('Generated Data')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

模型定義

定義多項式迴歸模型：我們定義了一個MultinomialModel類，該類接受訓練資料作為輸入，並能夠返回多項式模型的引數。類內部包括構造設計矩陣的方法、擬合資料的方法（使用梯度下降法）以及預測方法。

程式碼

class MultinomialModel:
    def __init__(self, degree):
        self.degree = degree
        self.coefficients = None
    
    def _design_matrix(self, X):
        """構造設計矩陣"""
        n_samples = len(X)
        design_matrix = np.ones((n_samples, self.degree + 1))
        for i in range(1, self.degree + 1):
            design_matrix[:, i] = X ** i
        return design_matrix
    
    def fit(self, X, Y, learning_rate=0.01, iterations=1000):
        """使用梯度下降法來擬合模型"""
        n_samples = len(X)
        self.coefficients = np.zeros(self.degree + 1)  # 初始化係數
        
        # 構造設計矩陣
        X_design = self._design_matrix(X)
        
        for _ in range(iterations):
            # 預測
            predictions = np.dot(X_design, self.coefficients)
            
            # 損失函式的導數
            gradient = 2 / n_samples * np.dot(X_design.T, predictions - Y)
            
            # 更新系數
            self.coefficients -= learning_rate * gradient
    
    def predict(self, X):
        """基於學習到的模型預測新的資料點"""
        X_design = self._design_matrix(X)
        return np.dot(X_design, self.coefficients)

# 使用上述定義的類
degree = 3  # 設定多項式的階數
model = MultinomialModel(degree)

# 擬合資料
model.fit(X, Y)

# 預測
Y_pred = model.predict(X)

# 視覺化擬合結果
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.plot(X, Y_pred, color='red', label='Fitted curve')
plt.title('Polynomial Regression Fit')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

模型擬合與結果展示

模型訓練與預測：對於設定的不同階數的多項式模型，使用梯度下降法進行訓練，並預測資料。
結果視覺化：在同一張圖表中，繪製了不同階數多項式模型的擬合曲線，同時保留原始資料點的散點圖。

程式碼

# 繼續使用之前定義的MultinomialModel類

# 使用上述定義的類
degree = 3  # 設定多項式的階數
model = MultinomialModel(degree)

# 擬合資料
model.fit(X, Y)

# 預測
Y_pred = model.predict(X)

# 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
X_fit = np.linspace(np.min(X), np.max(X), 100)
Y_fit = model.predict(X_fit)

# 視覺化擬合結果
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.plot(X_fit, Y_fit, color='red', label='Fitted curve', linewidth=2)
plt.title(f'Polynomial Regression Fit (Degree {degree})')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()


# 定義不同的多項式階數
degrees = [1, 2, 3, 4, 5]

# 建立一個新的圖形
plt.figure(figsize=(10, 8))

# 對於每個多項式階數，擬合併繪製曲線
for degree in degrees:
    model = MultinomialModel(degree)
    model.fit(X, Y)
    
    # 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
    X_fit = np.linspace(np.min(X), np.max(X), 100)
    Y_fit = model.predict(X_fit)
    
    plt.plot(X_fit, Y_fit, label=f'Degree {degree}')

# 繪製實際的資料點
plt.scatter(X, Y, color='blue', label='Actual data')

# 設定圖例和其他細節
plt.title('Polynomial Fits of Different Degrees')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

使用梯度下降法實現多項式迴歸

樣本數量影響分析

增加樣本數量：將樣本數量從20增加到100，並重復以上步驟，觀察模型擬合效果的變化。

程式碼

# 生成100個訓練樣本
n_samples = 100
X = np.random.normal(0, 1, n_samples)
e_r = np.random.normal(0, 1, n_samples)  # 誤差項

# 計算Y值
Y = 5 + 4 * X + 3 * X**2 + 2 * X**3 + e_r

# 使用matplotlib顯示生成的資料
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.title('Generated Data with 100 samples')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

# 定義不同的多項式階數
degrees = [1, 2, 3, 4, 5]

# 建立一個新的圖形
plt.figure(figsize=(10, 8))

# 對於每個多項式階數，擬合併繪製曲線
for degree in degrees:
    model = MultinomialModel(degree)
    model.fit(X, Y)
    
    # 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
    X_fit = np.linspace(np.min(X), np.max(X), 100)
    Y_fit = model.predict(X_fit)
    
    plt.plot(X_fit, Y_fit, label=f'Degree {degree}')

# 繪製實際的資料點
plt.scatter(X, Y, color='blue', label='Actual data')

# 設定圖例和其他細節
plt.title('Polynomial Fits of Different Degrees with 100 samples')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

使用梯度下降法實現多項式迴歸

實驗結果與討論

結果展示

在初始階段，我們觀察到了不同階數多項式模型對20個樣本資料的擬合情況。隨著多項式階數的增加，模型逐漸從欠擬合狀態轉變為可能的過擬合狀態，特別是在高階數時，模型試圖更緊密地跟隨資料點的趨勢。
當樣本數量增加到100時，模型的表現變得更加穩定。高階多項式模型雖然仍表現出一定的複雜度，但由於有更多的資料支援，過擬合的風險有所減小。模型能夠更好地捕捉到資料的真實趨勢。

討論

模型複雜度與擬合效果：隨著多項式階數的提高，模型的複雜度增加，這使得模型能夠更好地逼近訓練資料。然而，過高階數也可能導致過擬合，即模型在訓練資料上表現優異但在未知資料上表現不佳。
樣本數量的影響：增加樣本數量有助於提高模型的泛化能力。更多的樣本意味著模型可以學習到更多樣化的特徵，從而減少過擬合的風險。

結論

本次實驗展示瞭如何使用梯度下降法實現多項式迴歸，並探討了不同階數及樣本數量對模型擬合結果的影響。實驗結果表明，在選擇合適的多項式階數以及確保有足夠的訓練樣本的情況下，多項式迴歸模型可以有效地擬合非線性資料。

附錄：完整程式碼

import numpy as np
import matplotlib.pyplot as plt

# 設定隨機種子以保證實驗可重複性
np.random.seed(0)

# 生成20個訓練樣本
n_samples = 20
X = np.random.normal(0, 1, n_samples)
e_r = np.random.normal(0, 1, n_samples)  # 誤差項

# 計算Y值
Y = 5 + 4 * X + 3 * X**2 + 2 * X**3 + e_r

# 使用matplotlib顯示生成的資料
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.title('Generated Data')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

class MultinomialModel:
    def __init__(self, degree):
        self.degree = degree
        self.coefficients = None
    
    def _design_matrix(self, X):
        """構造設計矩陣"""
        n_samples = len(X)
        design_matrix = np.ones((n_samples, self.degree + 1))
        for i in range(1, self.degree + 1):
            design_matrix[:, i] = X ** i
        return design_matrix
    
    def fit(self, X, Y, learning_rate=0.01, iterations=1000):
        """使用梯度下降法來擬合模型"""
        n_samples = len(X)
        self.coefficients = np.zeros(self.degree + 1)  # 初始化係數
        
        # 構造設計矩陣
        X_design = self._design_matrix(X)
        
        for _ in range(iterations):
            # 預測
            predictions = np.dot(X_design, self.coefficients)
            
            # 損失函式的導數
            gradient = 2 / n_samples * np.dot(X_design.T, predictions - Y)
            
            # 更新系數
            self.coefficients -= learning_rate * gradient
    
    def predict(self, X):
        """基於學習到的模型預測新的資料點"""
        X_design = self._design_matrix(X)
        return np.dot(X_design, self.coefficients)

# 使用上述定義的類
degree = 3  # 設定多項式的階數
model = MultinomialModel(degree)

# 擬合資料
model.fit(X, Y)

# 預測
Y_pred = model.predict(X)

# 視覺化擬合結果
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.plot(X, Y_pred, color='red', label='Fitted curve')
plt.title('Polynomial Regression Fit')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

# 繼續使用之前定義的MultinomialModel類

# 使用上述定義的類
degree = 3  # 設定多項式的階數
model = MultinomialModel(degree)

# 擬合資料
model.fit(X, Y)

# 預測
Y_pred = model.predict(X)

# 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
X_fit = np.linspace(np.min(X), np.max(X), 100)
Y_fit = model.predict(X_fit)

# 視覺化擬合結果
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.plot(X_fit, Y_fit, color='red', label='Fitted curve', linewidth=2)
plt.title(f'Polynomial Regression Fit (Degree {degree})')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

# 定義不同的多項式階數
degrees = [1, 2, 3, 4, 5]

# 建立一個新的圖形
plt.figure(figsize=(10, 8))

# 對於每個多項式階數，擬合併繪製曲線
for degree in degrees:
    model = MultinomialModel(degree)
    model.fit(X, Y)
    
    # 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
    X_fit = np.linspace(np.min(X), np.max(X), 100)
    Y_fit = model.predict(X_fit)
    
    plt.plot(X_fit, Y_fit, label=f'Degree {degree}')

# 繪製實際的資料點
plt.scatter(X, Y, color='blue', label='Actual data')

# 設定圖例和其他細節
plt.title('Polynomial Fits of Different Degrees')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

# 生成100個訓練樣本
n_samples = 100
X = np.random.normal(0, 1, n_samples)
e_r = np.random.normal(0, 1, n_samples)  # 誤差項

# 計算Y值
Y = 5 + 4 * X + 3 * X**2 + 2 * X**3 + e_r

# 使用matplotlib顯示生成的資料
plt.figure(figsize=(8, 6))
plt.scatter(X, Y, color='blue', label='Actual data')
plt.title('Generated Data with 100 samples')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

# 定義不同的多項式階數
degrees = [1, 2, 3, 4, 5]

# 建立一個新的圖形
plt.figure(figsize=(10, 8))

# 對於每個多項式階數，擬合併繪製曲線
for degree in degrees:
    model = MultinomialModel(degree)
    model.fit(X, Y)
    
    # 建立一個從X最小值到最大值的線性空間，用於繪製平滑的擬合曲線
    X_fit = np.linspace(np.min(X), np.max(X), 100)
    Y_fit = model.predict(X_fit)
    
    plt.plot(X_fit, Y_fit, label=f'Degree {degree}')

# 繪製實際的資料點
plt.scatter(X, Y, color='blue', label='Actual data')

# 設定圖例和其他細節
plt.title('Polynomial Fits of Different Degrees with 100 samples')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid(True)
plt.show()

實驗中使用的程式碼主要包括以下幾個部分：

資料生成：使用numpy庫生成服從特定分佈的訓練樣本。
模型定義與實現：定義MultinomialModel類，並實現梯度下降法訓練模型的功能。
結果視覺化：使用matplotlib庫繪製資料點和擬合曲線。
分析樣本數量的影響：增加樣本數量，並觀察擬合結果的變化。

【機器學習】多項式迴歸sklearn實現
2019-03-10
機器學習
梯度下降法實現最簡單線性迴歸問題python實現
2018-11-01
梯度Python
【機器學習】多項式迴歸python實現
2019-03-10
機器學習Python
深入淺出--梯度下降法及其實現
2021-09-09
梯度
機器學習--線性迴歸--梯度下降的實現
2020-10-08
機器學習梯度
【機器學習】多項式迴歸原理介紹
2019-03-10
機器學習
Stanford機器學習課程筆記——單變數線性迴歸和梯度下降法
2015-01-23
機器學習筆記變數梯度
Tensorflow教程（前二）——多項式迴歸
2020-09-30
手擼機器學習演算法 - 多項式迴歸
2021-06-17
機器學習演算法
機器學習之梯度下降法
2020-06-12
機器學習梯度
1. 梯度下降法
2022-06-18
梯度
邏輯迴歸：損失函式與梯度下降
2018-04-10
邏輯迴歸函式梯度
機器學習方法（一）——梯度下降法
2018-10-12
機器學習梯度
什麼是梯度下降法？
2018-07-11
梯度
梯度下降法、座標下降法、牛頓迭代法
2017-11-22
梯度
numpy梯度回傳線性迴歸
2024-08-17
梯度
機器學習之隨機梯度下降法
2020-06-13
機器學習隨機梯度
梯度下降法原理及小結
2020-12-23
梯度
從零開始學機器學習——線性和多項式迴歸
2024-09-29
機器學習
[機器學習實戰-Logistic迴歸]使用Logistic迴歸預測各種例項
2020-04-29
機器學習
Lasso迴歸演算法：座標軸下降法與最小角迴歸法小結
2016-11-01
演算法
梯度下降法中導數的求解
2021-09-09
梯度
【python資料探勘課程】十八.線性迴歸及多項式迴歸分析四個案例分享
2017-11-26
Python
Java: 實現自迴歸分析/線性迴歸分析/基金各項指標計算等
2017-03-07
Java指標
機器學習中的數學(1)：迴歸、梯度下降
2015-07-13
機器學習梯度
實現多項式的JAVA類
2014-09-30
Java
python實現線性迴歸之簡單迴歸
2020-04-29
Python
11迴歸演算法-BGD、SGD、MBGD梯度下降
2018-10-20
演算法梯度
梯度下降法原理與模擬分析||系列（1）
2020-12-10
梯度
隨機梯度下降法的數學基礎
2023-01-18
隨機梯度
MYSQL: 表表示式（CTE）實現遞迴例項
2024-03-12
MySql遞迴
【火爐煉AI】機器學習005-多項式迴歸器的建立和測試
2018-08-05
AI機器學習
演算法金 | 一個強大的演算法模型，多項式迴歸！！
2024-06-12
演算法模型
ML-梯度下降程式碼-線性迴歸為例
2018-04-16
梯度
Logistic迴歸、softmax迴歸以及tensorflow實現MNIST識別
2016-10-06
機器學習梯度下降法，最通俗易懂的解釋
2019-03-28
機器學習梯度
Keras上實現Softmax迴歸模型
2020-04-06
Keras模型
TensorFlow實現線性迴歸
2019-06-05

使用梯度下降法實現多項式迴歸

使用梯度下降法實現多項式迴歸

實驗目的

實驗材料與方法

資料準備

程式碼

模型定義

程式碼

模型擬合與結果展示

程式碼

樣本數量影響分析

程式碼

實驗結果與討論

結果展示

討論

結論

附錄：完整程式碼

相關文章