前言

最近入了周志華老師的《機器學習》一書。相比於一些Tensorflow教程，其更注重於理論學習。為了更好地理解機器學習的底層數學知識，此後本博文將會不斷更新，總結出一些重要知識點，方便我的同時也方便各位機器學習愛好者進行學習。

注，本文中所總結的知識點會摻雜一些本人的拙見，而並不是完全的照本宣科。所以可能會出現一些總結與書中表述不同的情況，還請各位斟酌。

第1章 緒論

1.1 引言

• 機器學習(Machine Learning)：是一門致力於研究如何通過計算與經驗來改善系統自身效能、從而對新情況作出有效決策的學科。

機器學習的主要研究內容，為從資料集中提煉出模型的演算法，被稱為“學習演算法”(Learning Algorithm)。

1.2 基本術語

• 屬性(Attribute)/特徵(Feature)：反映事件或物件在某方面的表現性質。屬性的取值則稱為屬性值(Attribute value)。

• 資料集(Data Set)：物件屬性的觀測值所構成的集合。

• 示例(Instance)/樣本(Sample)：資料集中抽出的一部分物件，與概率論中樣本的定義類似。

• 屬性空間(Attribute Space)：由屬性所張開的空間。可以近似理解為一個多維座標系，座標軸為屬性，取值則為對應屬性的屬性值，每個物件都對應著屬性空間中的一個點。也稱作樣本空間(Sample Space)、輸入空間(Input Space).

• 特徵向量(Feature Vector)：由於每個樣本都對應屬性空間中的一個座標，而座標可以看作向量。所以也可以將一個樣本稱為一個特徵向量。

• 樣本的維數(Dimensionality)：即屬性的個數，一般用 d 表示。

• 標記(Label)：即關於對樣本結果判斷的資訊。例如，說一個人好壞時，好和壞即為標記。

• 樣例(Example)：擁有標記的樣本被稱為樣例。在訓練模型時應該使用“樣例”而非“樣本”。