什麼是機器學習的特徵工程？【資料集特徵抽取（字典，文字TF-Idf）、特徵預處理（標準化，歸一化）、特徵降維（低方差，相關係數，PCA）】

2.特徵工程

2.1 資料集

2.1.1 可用資料集

Kaggle網址：https://www.kaggle.com/datasets

UCI資料集網址： http://archive.ics.uci.edu/ml/

scikit-learn網址：http://scikit-learn.org/stable/datasets/index.html#datasets

2.1.2 安裝scikit-learn工具

pip3 install Scikit-learn==0.19.1

安裝好之後可以通過以下命令檢視是否安裝成功

import sklearn

注：安裝scikit-learn需要Numpy, Scipy等庫

• 分類、聚類、迴歸
• 特徵工程
• 模型選擇、調優

2.1.3 sklearn資料集

1 scikit-learn資料集API介紹

• sklearn.datasets
  • 載入獲取流行資料集
  • datasets.load_*()
    • 獲取小規模資料集，資料包含在datasets裡
  • datasets.fetch_*(data_home=None)
    • 獲取大規模資料集，需要從網路上下載，函式的第一個引數是data_home，表示資料集下載的目錄,預設是 ~/scikit_learn_data/

2 sklearn小資料集

• sklearn.datasets.load_iris()

  載入並返回鳶尾花資料集

• sklearn.datasets.load_boston()

  載入並返回波士頓房價資料集

3 sklearn大資料集

• sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
  • subset：'train'或者'test'，'all'，可選，選擇要載入的資料集。
  • 訓練集的“訓練”，測試集的“測試”，兩者的“全部”。

4 sklearn資料集返回值介紹

• load和fetch

  返回的資料型別datasets.base.Bunch(字典格式)

  • data：特徵資料陣列，是 [n_samples * n_features] 的二維 numpy.ndarray 陣列
  • target：標籤陣列，是 n_samples 的一維 numpy.ndarray 陣列
  • DESCR：資料描述
  • feature_names：特徵名,新聞資料，手寫數字、迴歸資料集沒有
  • target_names：標籤名

2.1.4 資料集劃分

機器學習一般的資料集會劃分為兩個部分：

• 訓練資料：用於訓練，構建模型
• 測試資料：在模型檢驗時使用，用於評估模型是否有效

劃分比例：

• 訓練集：70% 80% 75%
• 測試集：30% 20% 25%

資料集劃分api

• sklearn.model_selection.train_test_split(arrays, *options)
  • x 資料集的特徵值
  • y 資料集的標籤值
  • test_size 測試集的大小，一般為float
  • random_state 隨機數種子,不同的種子會造成不同的隨機取樣結果。相同的種子取樣結果相同。
  • return 測試集特徵訓練集特徵值值，訓練標籤，測試標籤(預設隨機取)

使用這個方法的時候要注意返回值的接收順序：

x_train, x_test, y_train, y_test 分別表示 ：訓練集的特徵值、測試集的特徵值；訓練集的目標值、測試集的目標值。

def datasets_demo():
    """
    sklearn資料集使用（劃分）
    :return:
    """
    # 獲取資料集
    iris = load_iris()
    print("鳶尾花資料集：\n", iris)
    print("檢視資料集描述：\n", iris["DESCR"])
    print("檢視特徵值的名字：\n", iris.feature_names)
    print("檢視特徵值：\n", iris.data, iris.data.shape)

    # 訓練集的特徵值x_train 測試集的特徵值x_test 訓練集的目標值y_train 測試集的目標值y_test（x是特徵，y是目標）
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.5, random_state=22)
    print("訓練集的特徵值：\n", x_train, x_train.shape)

    return None

---

2.2 特徵工程之特徵抽取

2.2.1 什麼是特徵抽取

1 將任意資料（如文字或影像）轉換為可用於機器學習的數字特徵

注：特徵值化是為了計算機更好的去理解資料

• 字典特徵提取(特徵離散化)
• 文字特徵提取
• 影像特徵提取（深度學習將介紹）

2 特徵提取API

sklearn.feature_extraction

2.2.2 字典特徵提取

作用：對字典資料進行特徵值化

• sklearn.feature_extraction.DictVectorizer(sparse=True,…)
  • DictVectorizer.fit_transform(X) X:字典或者包含字典的迭代器返回值：返回sparse矩陣
  • DictVectorizer.inverse_transform(X) X:array陣列或者sparse矩陣 返回值:轉換之前資料格式
  • DictVectorizer.get_feature_names() 返回類別名稱

1 應用

我們對以下資料進行特徵提取

[{'city': '北京','temperature':100}
{'city': '上海','temperature':60}
{'city': '深圳','temperature':30}]

2 流程分析

• 例項化類DictVectorizer
• 呼叫fit_transform方法輸入資料並轉換（注意返回格式）

def dict_demo():
    """
    字典特徵抽取
    :return:
    """
    data = [{'city': '北京','temperature':100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature':30}]
    # 1、例項化一個轉換器類(One-Hot編碼)
    """
    sparse=True 稀疏矩陣：用位置編號+資料表示（不包括資料0）
    (0, 1) 1.0
    (0, 3) 100.0
    (1, 0) 1.0
    (1, 3) 60.0
    (2, 2) 1.0
    (2, 3) 30.0
    sparse=False 
    """
    transfer = DictVectorizer(sparse=True)

    # 2、呼叫fit_transform()
    data_new = transfer.fit_transform(data)
    print("字典特徵抽取：\n",data_new)
    # print("data_new:\n", data_new.toarray(), type(data_new))
    print("特徵名字：\n", transfer.get_feature_names())
    return None

• 我的理解是：用0,1的方式來表示非數值化資料的位置，如果在那個位置有這個資料，那麼置為1，如果沒有置為0。

• 這裡有一個小知識點就是稀疏矩陣，如果sparse=True，那麼輸出結果將變成【非0位置，非0值】這樣來表示，如果資料的特徵值很多，那麼就會出現很多個0，這樣表示會更省記憶體。如果使用sparse=False，那麼就是我們最常見的矩陣形式。

sparse=True

  (0, 1)	1.0
  (0, 3)	100.0
  (1, 0)	1.0
  (1, 3)	60.0
  (2, 2)	1.0
  (2, 3)	30.0

sparse=False

[[  0.   1.   0. 100.]
 [  1.   0.   0.  60.]
 [  0.   0.   1.  30.]]
特徵名字：
 ['city=上海', 'city=北京', 'city=深圳', 'temperature']

3 小結

當資料中存在類別資訊（比如這個例子中不同的地點）的時候，我們會選擇用字典特徵提取。

---

2.3.3 文字特徵提取

作用：對文字資料進行特徵值化

• sklearn.feature_extraction.text.CountVectorizer(stop_words=[])

  • 返回詞頻矩陣

• CountVectorizer.fit_transform(X) X:文字或者包含文字字串的可迭代物件 返回值：返回sparse矩陣

• CountVectorizer.inverse_transform(X) X:array陣列或者sparse矩陣 返回值:轉換之前資料格

• CountVectorizer.get_feature_names() 返回值:單詞列表

• sklearn.feature_extraction.text.TfidfVectorizer

1 英文

def count_demo():
    """
    文字特徵抽取：CountVecotrizer
    :return:
    """
    data = ["life is short,i like like python", "life is too long,i dislike python"]
    # 1、例項化一個轉換器類（把出現過的單詞都放進來返回，返回陣列，表示這些出現過的單詞在特徵句子中出現的次數）
    transfer = CountVectorizer(stop_words=["is", "too"])

    # 2、呼叫fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new.toarray())
    print("特徵名字：\n", transfer.get_feature_names())

    return None

輸出結果：

data_new:
 [[0 1 2 0 1 1]
 [1 1 0 1 1 0]]
特徵名字：
 ['dislike', 'life', 'like', 'long', 'python', 'short']

2 中文（結巴分詞）

pip3 install jieba

def cut_word(text):
    """
    進行中文分詞："我愛北京天安門" --> "我 愛 北京 天安門"
    :param text:
    :return:
    """
    return " ".join(list(jieba.cut(text)))


def count_chinese_demo2():
    """
    中文文字特徵抽取，自動分詞
    :return:
    """
    # 將中文文字進行分詞
    data = ["一種還是一種今天很殘酷，明天更殘酷，後天很美好，但絕對大部分是死在明天晚上，所以每個人不要放棄今天。",
            "我們看到的從很遠星系來的光是在幾百萬年之前發出的，這樣當我們看到宇宙時，我們是在看它的過去。",
            "如果只用一種方式瞭解某樣事物，你就不會真正瞭解它。瞭解事物真正含義的祕密取決於如何將其與我們所瞭解的事物相聯絡。"]

    data_new = []
    for sent in data:
        data_new.append(cut_word(sent))
    # print(data_new)
    # 1、例項化一個轉換器類
    transfer = CountVectorizer(stop_words=["一種", "所以"])

    # 2、呼叫fit_transform
    data_final = transfer.fit_transform(data_new)
    print("data_new:\n", data_final.toarray())
    print("特徵名字：\n", transfer.get_feature_names())

    return None

輸出結果：

data_new:
 [[0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 1 0]
 [0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 3 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 0 1]
 [1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 1 0 1 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0 0]]
特徵名字：
 ['不會', '不要', '之前', '瞭解', '事物', '今天', '光是在', '幾百萬年', '發出', '取決於', '只用', '後天', '含義', '大部分', '如何', '如果', '宇宙', '我們', '放棄', '方式', '明天', '星系', '晚上', '某樣', '殘酷', '每個', '看到', '真正', '祕密', '絕對', '美好', '聯絡', '過去', '還是', '這樣']

注：這裡面的數值表示分析出來的特徵名字在不同的樣本中出現的次數，比如第一行 [0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 1 0] 第六個數字2表示在第一行文字中，“今天” 這個詞出現了兩次。

2.3.4 Tf-Idf 文字特徵提取

• TF-IDF的主要思想是：如果某個詞或短語在一篇文章中出現的概率高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。
• TF-IDF作用：用以評估一字詞對於一個檔案集或一個語料庫中的其中一份檔案的重要程度。

1 公式

• 詞頻（term frequency，tf）指的是某一個給定的詞語在該檔案中出現的頻率
• 逆向文件頻率（inverse document frequency，idf）是一個詞語普遍重要性的度量。某一特定詞語的idf，可以由總檔案數目除以包含該詞語之檔案的數目，再將得到的商取以10為底的對數得到

注：假如一篇檔案的總詞語數是100個，而詞語"非常"出現了5次，那麼"非常"一詞在該檔案中的詞頻就是5/100=0.05。而計算檔案頻率（IDF）的方法是以檔案集的檔案總數，除以出現"非常"一詞的檔案數。所以，如果"非常"一詞在1,000份檔案出現過，而檔案總數是10,000,000份的話，其逆向檔案頻率就是lg（10,000,000 / 1,0000）=3。最後"非常"對於這篇文件的tf-idf的分數為0.05 * 3=0.15

2 案例

這裡面可以把總檔案數理解為總樣本數，比如這個案例總樣本數是3

ef tfidf_demo():
    """
    用TF-IDF的方法進行文字特徵抽取
    詞頻（term frequency，tf）指的是某一個給定的詞語在該檔案中出現的頻率
    逆向文件頻率（inverse document frequency，idf）是一個詞語普遍重要性的度量。
    某一特定詞語的idf，可以由總檔案數目除以包含該詞語之檔案的數目，再將得到的商取以10為底的對數得到
    :return:
    """
    # 將中文文字進行分詞
    data = ["一種還是一種今天很殘酷，明天更殘酷，後天很美好，但絕對大部分是死在明天晚上，所以每個人不要放棄今天。",
            "我們看到的從很遠星系來的光是在幾百萬年之前發出的，這樣當我們看到宇宙時，我們是在看它的過去。",
            "如果只用一種方式瞭解某樣事物，你就不會真正瞭解它。瞭解事物真正含義的祕密取決於如何將其與我們所瞭解的事物相聯絡。"]

    data_new = []
    for sent in data:
        data_new.append(cut_word(sent))
    # print(data_new)
    # 1、例項化一個轉換器類
    transfer = TfidfVectorizer(stop_words=["一種", "所以"])

    # 2、呼叫fit_transform
    data_final = transfer.fit_transform(data_new)
    print("data_new:\n", data_final.toarray())
    print("特徵名字：\n", transfer.get_feature_names())

    return None

輸出結果：

data_new:
 [[0.         0.21821789 0.         0.         0.         0.43643578
  0.         0.         0.         0.         0.         0.21821789
  0.         0.21821789 0.         0.         0.         0.
  0.21821789 0.         0.43643578 0.         0.21821789 0.
  0.43643578 0.21821789 0.         0.         0.         0.21821789
  0.21821789 0.         0.         0.21821789 0.        ]
 [0.         0.         0.2410822  0.         0.         0.
  0.2410822  0.2410822  0.2410822  0.         0.         0.
  0.         0.         0.         0.         0.2410822  0.55004769
  0.         0.         0.         0.2410822  0.         0.
  0.         0.         0.48216441 0.         0.         0.
  0.         0.         0.2410822  0.         0.2410822 ]
 [0.15895379 0.         0.         0.63581516 0.47686137 0.
  0.         0.         0.         0.15895379 0.15895379 0.
  0.15895379 0.         0.15895379 0.15895379 0.         0.12088845
  0.         0.15895379 0.         0.         0.         0.15895379
  0.         0.         0.         0.31790758 0.15895379 0.
  0.         0.15895379 0.         0.         0.        ]]
特徵名字：
 ['不會', '不要', '之前', '瞭解', '事物', '今天', '光是在', '幾百萬年', '發出', '取決於', '只用', '後天', '含義', '大部分', '如何', '如果', '宇宙', '我們', '放棄', '方式', '明天', '星系', '晚上', '某樣', '殘酷', '每個', '看到', '真正', '祕密', '絕對', '美好', '聯絡', '過去', '還是', '這樣']

---

2.3 特徵工程之特徵預處理

2.3.1 什麼是特徵預處理

# scikit-learn的解釋
provides several common utility functions and transformer classes to change raw feature vectors into a representation that is more suitable for the downstream estimators.

通過一些轉換函式將特徵資料轉換成更加適合演算法模型的特徵資料過程

1 包含內容

• 數值型資料的無量綱化：
  • 歸一化
  • 標準化

2 特徵預處理API

sklearn.preprocessing

為什麼我們要進行歸一化/標準化？

• 特徵的單位或者大小相差較大，或者某特徵的方差相比其他的特徵要大出幾個數量級，容易影響（支配）目標結果，使得一些演算法無法學習到其它的特徵

我們需要用到一些方法進行無量綱化，使不同規格的資料轉換到同一規格

2.3.2 歸一化

1 定義

通過對原始資料進行變換把資料對映到(預設為[0,1])之間

2 公式

作用於每一列，max為一列的最大值，min為一列的最小值,那麼X’’為最終結果，mx，mi分別為指定區間值預設mx為1,mi為0

3 API

• sklearn.preprocessing.MinMaxScaler (feature_range=(0,1)… )
  • MinMaxScalar.fit_transform(X)
    • X:numpy array格式的資料[n_samples,n_features]
  • 返回值：轉換後的形狀相同的array

1、例項化MinMaxScalar

2、通過fit_transform轉換

def minmax_demo():
    """
    歸一化
    :return:
    """
    # 1、獲取資料
    data = pd.read_csv("dating.txt")
    data = data.iloc[:, :3]
    print("data:\n", data)

    # 2、例項化一個轉換器類
    transfer = MinMaxScaler(feature_range=[2, 3])

    # 3、呼叫fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new)

    return None
    

輸出結果：

data:
      milage     Liters  Consumtime
0     40920   8.326976    0.953952
1     14488   7.153469    1.673904
2     26052   1.441871    0.805124
3     75136  13.147394    0.428964
4     38344   1.669788    0.134296
..      ...        ...         ...
995   11145   3.410627    0.631838
996   68846   9.974715    0.669787
997   26575  10.650102    0.866627
998   48111   9.134528    0.728045
999   43757   7.882601    1.332446

[1000 rows x 3 columns]
data_new:
 [[2.44832535 2.39805139 2.56233353]
 [2.15873259 2.34195467 2.98724416]
 [2.28542943 2.06892523 2.47449629]
 ...
 [2.29115949 2.50910294 2.51079493]
 [2.52711097 2.43665451 2.4290048 ]
 [2.47940793 2.3768091  2.78571804]]

4 小結

注意最大值最小值是變化的，另外最大值與最小值非常容易受異常點影響，所以這種方法魯棒性較差，只適合傳統精確小資料場景。

2.3.3 標準化

1 定義

通過對原始資料進行變換把資料變換到均值為0,標準差為1範圍內

2 公式

• 對於歸一化來說：如果出現異常點，影響了最大值和最小值，那麼結果顯然會發生改變
• 對於標準化來說：如果出現異常點，由於具有一定資料量，少量的異常點對於平均值的影響並不大，從而方差改變較小。

3 案例

#標準化
def stand_demo():
    """
    標準化
    :return:
    """
    # 1、獲取資料
    data = pd.read_csv("dating.txt")
    data = data.iloc[:, :3]
    print("data:\n", data)

    # 2、例項化一個轉換器類
    transfer = StandardScaler()

    # 3、呼叫fit_transform
    data_new = transfer.fit_transform(data)
    print("標準化結果 data_new:\n", data_new)
    print("每一列特徵的平均值：\n", transfer.mean_)
    print("每一列特徵的方差：\n", transfer.var_)
    return None

輸出結果：

data:
      milage     Liters  Consumtime
0     40920   8.326976    0.953952
1     14488   7.153469    1.673904
2     26052   1.441871    0.805124
3     75136  13.147394    0.428964
4     38344   1.669788    0.134296
..      ...        ...         ...
995   11145   3.410627    0.631838
996   68846   9.974715    0.669787
997   26575  10.650102    0.866627
998   48111   9.134528    0.728045
999   43757   7.882601    1.332446

[1000 rows x 3 columns]
標準化結果 data_new:
 [[ 0.33193158  0.41660188  0.24523407]
 [-0.87247784  0.13992897  1.69385734]
 [-0.34554872 -1.20667094 -0.05422437]
 ...
 [-0.32171752  0.96431572  0.06952649]
 [ 0.65959911  0.60699509 -0.20931587]
 [ 0.46120328  0.31183342  1.00680598]]
每一列特徵的平均值：
 [3.36354210e+04 6.55996083e+00 8.32072997e-01]
每一列特徵的方差：
 [4.81628039e+08 1.79902874e+01 2.46999554e-01]

2.4 特徵降維

2.4.1 降維

降維是指在某些限定條件下，降低隨機變數(特徵)個數，得到一組“不相關”主變數的過程

• 降低隨機變數的個數
• 相關特徵(correlated feature)
  • 相對溼度與降雨量之間的相關等

因為在進行訓練的時候，我們都是使用特徵進行學習。如果特徵本身存在問題或者特徵之間相關性較強，對於演算法學習預測會影響較大

2.4.2 降維的方式

• 特徵選擇（資料中包含冗餘或無關變數（或稱特徵、屬性、指標等），旨在從原有特徵中找出主要特徵。）
• 主成分分析（可以理解一種特徵提取的方式）

1 低方差特徵過濾

刪除低方差的一些特徵，前面講過方差的意義。再結合方差的大小來考慮這個方式的角度。

• 特徵方差小：某個特徵大多樣本的值比較相近（比如說有一個樣本是鳥有沒有爪子，那麼這行資料正常情況下方差的0，以為鳥都有爪子，資料幾乎沒什麼波動，這對我們研究幾乎沒有價值）

• 特徵方差大：某個特徵很多樣本的值都有差別

• sklearn.feature_selection.VarianceThreshold(threshold = 0.0)

  • 刪除所有低方差特徵
  • Variance.fit_transform(X)
    • X:numpy array格式的資料[n_samples,n_features]
    • 返回值：訓練集差異低於threshold的特徵將被刪除。預設值是保留所有非零方差特徵，即刪除所有樣本中具有相同值的特徵。

def variance_demo():
    """
    刪除低方差特徵——特徵選擇
    :return: None
    """
    data = pd.read_csv("factor_returns.csv")
    print(data)
    # 1、例項化一個轉換器類
    transfer = VarianceThreshold(threshold=1)
    # 2、呼叫fit_transform
    data = transfer.fit_transform(data.iloc[:, 1:10])
    print("刪除低方差特徵的結果：\n", data)
    print("形狀：\n", data.shape)

    return None

輸出結果：剛開始是有12列資料，低方差過濾（<1）之後剩餘8列

            index  pe_ratio  pb_ratio    market_cap  \
0     000001.XSHE    5.9572    1.1818  8.525255e+10   
1     000002.XSHE    7.0289    1.5880  8.411336e+10    
...           ...       ...       ...           ...   
2316  601958.XSHG   52.5408    2.4646  3.287910e+10   
2317  601989.XSHG   14.2203    1.4103  5.911086e+10   

      return_on_asset_net_profit  du_return_on_equity            ev  \
0                         0.8008              14.9403  1.211445e+12   
1                         1.6463               7.8656  3.002521e+11    
...                          ...                  ...           ...   
2316                      2.7444               2.9202  3.883803e+10   
2317                      2.0383               8.6179  2.020661e+11   

      earnings_per_share       revenue  total_expense        date    return  
0                 2.0100  2.070140e+10   1.088254e+10  2012-01-31  0.027657  
1                 0.3260  2.930837e+10   2.378348e+10  2012-01-31  0.082352  
2                -0.0060  1.167983e+07   1.203008e+07  2012-01-31  0.099789   
...                  ...           ...            ...         ...       ...  
2315              0.2200  1.789082e+10   1.749295e+10  2012-11-30  0.137134  
2316              0.1210  6.465392e+09   6.009007e+09  2012-11-30  0.149167  
2317              0.2470  4.509872e+10   4.132842e+10  2012-11-30  0.183629  

[2318 rows x 12 columns]
刪除低方差特徵的結果：
 [[  5.95720000e+00   1.18180000e+00   8.52525509e+10 ...,   1.21144486e+12
    2.07014010e+10   1.08825400e+10]
 [  7.02890000e+00   1.58800000e+00   8.41133582e+10 ...,   3.00252062e+11
    2.93083692e+10   2.37834769e+10]
 [ -2.62746100e+02   7.00030000e+00   5.17045520e+08 ...,   7.70517753e+08
    1.16798290e+07   1.20300800e+07]
 ..., 
 [  3.95523000e+01   4.00520000e+00   1.70243430e+10 ...,   2.42081699e+10
    1.78908166e+10   1.74929478e+10]
 [  5.25408000e+01   2.46460000e+00   3.28790988e+10 ...,   3.88380258e+10
    6.46539204e+09   6.00900728e+09]
 [  1.42203000e+01   1.41030000e+00   5.91108572e+10 ...,   2.02066110e+11
    4.50987171e+10   4.13284212e+10]]
形狀：
 (2318, 8)

2 相關係數

• 皮爾遜相關係數(Pearson Correlation Coefficient)
  • 反映變數之間相關關係密切程度的統計指標

相關係數的值介於–1與+1之間，即–1≤ r ≤+1。其性質如下：

• 當r>0時，表示兩變數正相關，r<0時，兩變數為負相關
• 當|r|=1時，表示兩變數為完全相關，當r=0時，表示兩變數間無相關關係
• 當0<|r|<1時，表示兩變數存在一定程度的相關。且|r|越接近1，兩變數間線性關係越密切；|r|越接近於0，表示兩變數的線性相關越弱
• 一般可按三級劃分：|r|<0.4為低度相關；0.4≤|r|<0.7為顯著性相關；0.7≤|r|<1為高度線性相關

API

• from scipy.stats import pearsonr

  • x : (N,) array_like

  • y : (N,) array_like Returns: (Pearson’s correlation coefficient, p-value)

    1）輸入：x為特徵，y為目標變數.
    2）輸出：r： 相關係數 [-1，1]之間，p-value: p值。
    注： p值越小，表示相關係數越顯著，一般p值在500個樣本以上時有較高的可靠性。

    計算出變數A和變數B的皮爾遜相關係數為0，不代表A和B之間沒有相關性，只能說明A和B之間不存線上性相關關係。

相關係數為(0,1]的正數，表明x和y之間呈線性正相關；相關係數為0，表明二者不存在 線性相關 關係，但不排除存在其他非線性相關關係；相關係數為[-1,0)的負數，表明x和y之間存線上性負相關關係。

p值是拒絕零假設的需要的最小顯著性水平，p值較小越容易拒絕原假設。我是這樣理解的，p值就是零假設成立的時候，出現抽取出來的這個樣本統計值的概率是多少，但是對於連續性總體，某一個點的的概率為0，所以加上了一段出現更離譜的概率也就是不利於零假設的概率。總之，簡單理解就是p值就是零假設成立時，出現該樣本統計值的概率，概率越小，說明零假設越不合理，越拒絕。

作者：我是這裡的
連結：https://www.zhihu.com/question/405665370/answer/1325982899
來源：知乎
著作權歸作者所有。商業轉載請聯絡作者獲得授權，非商業轉載請註明出處。

#低方差特徵過濾
def variance_demo():
    """
    過濾(某一列)低方差特徵
    :return:
    """
    # 1、獲取資料
    data = pd.read_csv("factor_returns.csv")
    data = data.iloc[:, 1:-2]
    print("data:\n", data)

    # 2、例項化一個轉換器類 小於等於threshold的會被去掉
    transfer = VarianceThreshold(threshold=10)

    # 3、呼叫fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new, data_new.shape)

    # 計算某兩個變數之間的相關係數
    """
    相關係數的值介於–1與+1之間，即–1≤ r ≤+1。其性質如下：
    當r>0時，表示兩變數正相關，r<0時，兩變數為負相關
    當|r|=1時，表示兩變數為完全相關，當r=0時，表示兩變數間無相關關係
    當0<|r|<1時，表示兩變數存在一定程度的相關。且|r|越接近1，兩變數間線性關係越密切；|r|越接近於0，表示兩變數的線性相關越弱
    一般可按三級劃分：|r|<0.4為低度相關；0.4≤|r|<0.7為顯著性相關；0.7≤|r|<1為高度線性相關
    """
    r1 = pearsonr(data["pe_ratio"], data["pb_ratio"])
    print("pe_ratio 和 pb_ratio 的相關係數：\n", r1)
    r2 = pearsonr(data['revenue'], data['total_expense'])
    print("revenue與total_expense之間的相關性：\n", r2)

    return None

輸出結果：

pe_ratio 和 pb_ratio 的相關係數：
 (-0.004389322779936271, 0.8327205496564927)
revenue與total_expense之間的相關性：
 (0.9958450413136115, 0.0)

3 PCA主成分分析

• 定義：高維資料轉化為低維資料的過程，在此過程中可能會捨棄原有資料、創造新的變數
• 作用：是資料維數壓縮，儘可能降低原資料的維數（複雜度），損失少量資訊。
• 應用：迴歸分析或者聚類分析當中

API：

• sklearn.decomposition.PCA(n_components=None)
  • 將資料分解為較低維數空間
  • n_components:
    • 小數：表示保留百分之多少的資訊
    • 整數：減少到多少特徵
  • PCA.fit_transform(X) X:numpy array格式的資料[n_samples,n_features]
  • 返回值：轉換後指定維度的array

def pca_demo():
    """
    PCA降維
    :return:
    """
    data = [[2,8,4,5], [6,3,0,8], [5,4,9,1]]

    # 1、例項化一個轉換器類
    transfer = PCA(n_components=0.95)

    # 2、呼叫fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new)
    return None

輸出結果：

data_new:
 [[ 1.28620952e-15  3.82970843e+00]
 [ 5.74456265e+00 -1.91485422e+00]
 [-5.74456265e+00 -1.91485422e+00]]

---

幾個問題：

1、資料集的結構是什麼?

答案: 特徵值+ 目標值

2、機器學習演算法分成哪些類別? 如何分類

答案: 根據是否有目標值分為 監督學習和非監督學習監督學習

根據目標值的資料型別:目標值為離散值就是分類問題

目標值為連續值就是迴歸問題

3、什麼是標準化? 和歸一化相比有什麼優點?

答案: 標準化是通過對原始資料進行變換把資料變換到均值為0,方差為1範圍內

優點: 少量異常點, 不影響平均值和方差, 對轉換影響小