幾年前機器之心釋出了一個旨在構建 AI 領域術語庫的開源專案「Artificial-Intelligence-Terminology-Database」（簡稱「AITD」）。最近，該專案迎來了第三版。除了常規的更新之外，機器之心還在周志華教授、李航博士、邱錫鵬教授、李沐博士、Aston Zhang 博士等領域專家的指導及幫助下形成了「機器學習」專題篇。未來，機器之心還將會持續完善術語的收錄和擴充套件閱讀的構建，另外我們也希望更多 AI 技術社群成員參與到術語庫的構建之中，具體的參與方式可以檢視文章詳情。
索引編號：考慮到討論交流、資料庫維護的效率，我們將使用「Artificial-Intelligence-Terminology-Database」的縮寫 AITD 並加上數字作為術語的編號，根據當前術語庫的首字母順序進行標註，索引編號將從 AITD-00000 開始；
英文術語：英文術語；
中文翻譯：該英文術語目前推薦的中文翻譯；
常用縮寫：該英文術語常用的縮寫形式；
來源 & 擴充套件：來源 & 擴充套件是對該術語的註解，在前兩版中的內容為機器之心往期的相關文章。我們希望不僅能提供相對應的術語，同時還希望能為讀者提供每一個術語的來源和概念上的擴充套件。從第三版起，我們將關聯更多的資源內容，包括但不限於教科書、論文等來源。但由於這一部分工作量較大，我們將與讀者共同推進這一部分擴充套件的程式，進一步提升術語信度。
備註：關於該術語的一些註解。
① 繼續完善基礎術語的構建，即透過權威教科書或其它有公信力的資料抽取常見術語；
② 續性地把編譯論文或其他資料中所出現的非常見術語更新到術語庫中；
③ 聯合更多專項領域專家，構建專項領域術語庫。
1）基於權威教科書、論文等具有公信力的資料源提取詞彙。
2）邀請對應領域專家進行專業指導
1. Aston Zhang 博士，《動手學深度學習》作者
2. 李航博士，《統計學習方法》作者
3. 李沐博士，《動手學深度學習》作者
4. 邱錫鵬教授，《神經網路與深度學習》作者
5. 周志華教授，《機器學習》作者
現場參與國內外學術、學術及產業盛會，現場觀察。
參與熱點技術解讀、指標分析、效能評測等專業性技術分析專案。
參與熱點事件解讀、產業前景分析等專業性產業分析專案。
| 英文術語 | 中文翻譯 |
| 0-1 Loss Function | 0-1損失函式 |
| Accept-Reject Sampling Method | 接受-拒絕抽樣法/接受-拒絕取樣法 |
| Accumulated Error Backpropagation | 累積誤差反向傳播 |
| Accuracy | 精度 |
| Acquisition Function | 採集函式 |
| Action | 動作 |
| Activation Function | 啟用函式 |
| Active Learning | 主動學習 |
| Adaptive Bitrate Algorithm | 自適應位元率演算法 |
| Adaptive Boosting | AdaBoost |
| Adaptive Gradient Algorithm | AdaGrad |
| Adaptive Moment Estimation Algorithm | Adam演算法 |
| Adaptive Resonance Theory | 自適應諧振理論 |
| Additive Model | 加性模型 |
| Affinity Matrix | 親和矩陣 |
| Agent | 智慧體 |
| Algorithm | 演算法 |
| Alpha-Beta Pruning | α-β修剪法 |
| Anomaly Detection | 異常檢測 |
| Approximate Inference | 近似推斷 |
| Area Under ROC Curve | AUC |
| Artificial Intelligence | 人工智慧 |
| Artificial Neural Network | 人工神經網路 |
| Artificial Neuron | 人工神經元 |
| Attention | 注意力 |
| Attention Mechanism | 注意力機制 |
| Attribute | 屬性 |
| Attribute Space | 屬性空間 |
| Autoencoder | 自編碼器 |
| Automatic Differentiation | 自動微分 |
| Autoregressive Model | 自迴歸模型 |
| Back Propagation | 反向傳播 |
| Back Propagation Algorithm | 反向傳播演算法 |
| Back Propagation Through Time | 隨時間反向傳播 |
| Backward Induction | 反向歸納 |
| Backward Search | 反向搜尋 |
| Bag of Words | 詞袋 |
| Bandit | 賭博機/老虎機 |
| Base Learner | 基學習器 |
| Base Learning Algorithm | 基學習演算法 |
| Baseline | 基準 |
| Batch | 批次 |
| Batch Normalization | 批次規範化 |
| Bayes Decision Rule | 貝葉斯決策準則 |
| Bayes Model Averaging | 貝葉斯模型平均 |
| Bayes Optimal Classifier | 貝葉斯最優分類器 |
| Bayes' Theorem | 貝葉斯定理 |
| Bayesian Decision Theory | 貝葉斯決策理論 |
| Bayesian Inference | 貝葉斯推斷 |
| Bayesian Learning | 貝葉斯學習 |
| Bayesian Network | 貝葉斯網/貝葉斯網路 |
| Bayesian Optimization | 貝葉斯最佳化 |
| Beam Search | 束搜尋 |
| Bechmark | 基準 |
| Belief Network | 信念網/信念網路 |
| Belief Propagation | 信念傳播 |
| Bellman Equation | 貝爾曼方程 |
| Bernoulli Distribution | 伯努利分佈 |
| Beta Distribution | 貝塔分佈 |
| Between-Class Scatter Matrix | 類間散度矩陣 |
| BFGS | BFGS |
| Bias | 偏差/偏置 |
| Bias In Affine Function | 偏置 |
| Bias In Statistics | 偏差 |
| Bias Shift | 偏置偏移 |
| Bias-Variance Decomposition | 偏差 - 方差分解 |
| Bias-Variance Dilemma | 偏差 - 方差困境 |
| Bidirectional Recurrent Neural Network | 雙向迴圈神經網路 |
| Bigram | 二元語法 |
| Bilingual Evaluation Understudy | BLEU |
| Binary Classification | 二分類 |
| Binomial Distribution | 二項分佈 |
| Binomial Test | 二項檢驗 |
| Boltzmann Distribution | 玻爾茲曼分佈 |
| Boltzmann Machine | 玻爾茲曼機 |
| Boosting | Boosting |
| Bootstrap Aggregating | Bagging |
| Bootstrap Sampling | 自助取樣法 |
| Bootstrapping | 自助法/自舉法 |
| Break-Event Point | 平衡點 |
| Bucketing | 分桶 |
| Calculus of Variations | 變分法 |
| Cascade-Correlation | 級聯相關 |
| Catastrophic Forgetting | 災難性遺忘 |
| Categorical Distribution | 類別分佈 |
| Cell | 單元 |
| Chain Rule | 鏈式法則 |
| Chebyshev Distance | 切比雪夫距離 |
| Class | 類別 |
| Class-Imbalance | 類別不平衡 |
| Classification | 分類 |
| Classification And Regression Tree | 分類與迴歸樹 |
| Classifier | 分類器 |
| Clique | 團 |
| Cluster | 簇 |
| Cluster Assumption | 聚類假設 |
| Clustering | 聚類 |
| Clustering Ensemble | 聚類整合 |
| Co-Training | 協同訓練 |
| Coding Matrix | 編碼矩陣 |
| Collaborative Filtering | 協同過濾 |
| Competitive Learning | 競爭型學習 |
| Comprehensibility | 可解釋性 |
| Computation Graph | 計算圖 |
| Computational Learning Theory | 計算學習理論 |
| Conditional Entropy | 條件熵 |
| Conditional Probability | 條件機率 |
| Conditional Probability Distribution | 條件機率分佈 |
| Conditional Random Field | 條件隨機場 |
| Conditional Risk | 條件風險 |
| Confidence | 置信度 |
| Confusion Matrix | 混淆矩陣 |
| Conjugate Distribution | 共軛分佈 |
| Connection Weight | 連線權 |
| Connectionism | 連線主義 |
| Consistency | 一致性 |
| Constrained Optimization | 約束最佳化 |
| Context Variable | 上下文變數 |
| Context Vector | 上下文向量 |
| Context Window | 上下文視窗 |
| Context Word | 上下文詞 |
| Contextual Bandit | 上下文賭博機/上下文老虎機 |
| Contingency Table | 列聯表 |
| Continuous Attribute | 連續屬性 |
| Contrastive Divergence | 對比散度 |
| Convergence | 收斂 |
| Convex Optimization | 凸最佳化 |
| Convex Quadratic Programming | 凸二次規劃 |
| Convolution | 卷積 |
| Convolutional Kernel | 卷積核 |
| Convolutional Neural Network | 卷積神經網路 |
| Coordinate Descent | 座標下降 |
| Corpus | 語料庫 |
| Correlation Coefficient | 相關係數 |
| Cosine Similarity | 餘弦相似度 |
| Cost | 代價 |
| Cost Curve | 代價曲線 |
| Cost Function | 代價函式 |
| Cost Matrix | 代價矩陣 |
| Cost-Sensitive | 代價敏感 |
| Covariance | 協方差 |
| Covariance Matrix | 協方差矩陣 |
| Critical Point | 臨界點 |
| Cross Entropy | 交叉熵 |
| Cross Validation | 交叉驗證 |
| Curse of Dimensionality | 維數災難 |
| Cutting Plane Algorithm | 割平面法 |
| Data Mining | 資料探勘 |
| Data Set | 資料集 |
| Davidon-Fletcher-Powell | DFP |
| Decision Boundary | 決策邊界 |
| Decision Function | 決策函式 |
| Decision Stump | 決策樹樁 |
| Decision Tree | 決策樹 |
| Decoder | 解碼器 |
| Decoding | 解碼 |
| Deconvolution | 反摺積 |
| Deconvolutional Network | 反摺積網路 |
| Deduction | 演繹 |
| Deep Belief Network | 深度信念網路 |
| Deep Boltzmann Machine | 深度玻爾茲曼機 |
| Deep Convolutional Generative Adversarial Network | 深度卷積生成對抗網路 |
| Deep Learning | 深度學習 |
| Deep Neural Network | 深度神經網路 |
| Deep Q-Network | 深度Q網路 |
| Delta-Bar-Delta | Delta-Bar-Delta |
| Denoising | 去噪 |
| Denoising Autoencoder | 去噪自編碼器 |
| Denoising Score Matching | 去躁分數匹配 |
| Density Estimation | 密度估計 |
| Density-Based Clustering | 密度聚類 |
| Derivative | 導數 |
| Determinant | 行列式 |
| Diagonal Matrix | 對角矩陣 |
| Dictionary Learning | 字典學習 |
| Dimension Reduction | 降維 |
| Directed Edge | 有向邊 |
| Directed Graphical Model | 有向圖模型 |
| Directed Separation | 有向分離 |
| Dirichlet Distribution | 狄利克雷分佈 |
| Discriminative Model | 判別式模型 |
| Discriminator | 判別器 |
| Discriminator Network | 判別網路 |
| Distance Measure | 距離度量 |
| Distance Metric Learning | 距離度量學習 |
| Distributed Representation | 分散式表示 |
| Diverge | 發散 |
| Divergence | 散度 |
| Diversity | 多樣性 |
| Diversity Measure | 多樣性度量/差異性度量 |
| Domain Adaptation | 領域自適應 |
| Dominant Strategy | 主特徵值 |
| Dominant Strategy | 佔優策略 |
| Down Sampling | 下采樣 |
| Dropout | 暫退法 |
| Dropout Boosting | 暫退Boosting |
| Dropout Method | 暫退法 |
| Dual Problem | 對偶問題 |
| Dummy Node | 啞結點 |
| Dynamic Bayesian Network | 動態貝葉斯網路 |
| Dynamic Programming | 動態規劃 |
| Early Stopping | 早停 |
| Eigendecomposition | 特徵分解 |
| Eigenvalue | 特徵值 |
| Element-Wise Product | 逐元素積 |
| Embedding | 嵌入 |
| Empirical Conditional Entropy | 經驗條件熵 |
| Empirical Distribution | 經驗分佈 |
| Empirical Entropy | 經驗熵 |
| Empirical Error | 經驗誤差 |
| Empirical Risk | 經驗風險 |
| Empirical Risk Minimization | 經驗風險最小化 |
| Encoder | 編碼器 |
| Encoding | 編碼 |
| End-To-End | 端到端 |
| Energy Function | 能量函式 |
| Energy-Based Model | 基於能量的模型 |
| Ensemble Learning | 整合學習 |
| Ensemble Pruning | 整合修剪 |
| Entropy | 熵 |
| Episode | 回合 |
| Epoch | 輪 |
| Error | 誤差 |
| Error Backpropagation Algorithm | 誤差反向傳播演算法 |
| Error Backpropagation | 誤差反向傳播 |
| Error Correcting Output Codes | 糾錯輸出編碼 |
| Error Rate | 錯誤率 |
| Error-Ambiguity Decomposition | 誤差－分歧分解 |
| Estimator | 估計/估計量 |
| Euclidean Distance | 歐氏距離 |
| Evidence | 證據 |
| Evidence Lower Bound | 證據下界 |
| Exact Inference | 精確推斷 |
| Example | 樣例 |
| Expectation | 期望 |
| Expectation Maximization | 期望最大化 |
| Expected Loss | 期望損失 |
| Expert System | 專家系統 |
| Exploding Gradient | 梯度爆炸 |
| Exponential Loss Function | 指數損失函式 |
| Factor | 因子 |
| Factorization | 因子分解 |
| Feature | 特徵 |
| Feature Engineering | 特徵工程 |
| Feature Map | 特徵圖 |
| Feature Selection | 特徵選擇 |
| Feature Vector | 特徵向量 |
| Featured Learning | 特徵學習 |
| Feedforward | 前饋 |
| Feedforward Neural Network | 前饋神經網路 |
| Few-Shot Learning | 少試學習 |
| Filter | 濾波器 |
| Fine-Tuning | 微調 |
| Fluctuation | 振盪 |
| Forget Gate | 遺忘門 |
| Forward Propagation | 前向傳播/正向傳播 |
| Forward Stagewise Algorithm | 前向分步演算法 |
| Fractionally Strided Convolution | 微步卷積 |
| Frobenius Norm | Frobenius 範數 |
| Full Padding | 全填充 |
| Functional | 泛函 |
| Functional Neuron | 功能神經元 |
| Gated Recurrent Unit | 門控迴圈單元 |
| Gated RNN | 門控RNN |
| Gaussian Distribution | 高斯分佈 |
| Gaussian Kernel | 高斯核 |
| Gaussian Kernel Function | 高斯核函式 |
| Gaussian Mixture Model | 高斯混合模型 |
| Gaussian Process | 高斯過程 |
| Generalization Ability | 泛化能力 |
| Generalization Error | 泛化誤差 |
| Generalization Error Bound | 泛化誤差上界 |
| Generalize | 泛化 |
| Generalized Lagrange Function | 廣義拉格朗日函式 |
| Generalized Linear Model | 廣義線性模型 |
| Generalized Rayleigh Quotient | 廣義瑞利商 |
| Generative Adversarial Network | 生成對抗網路 |
| Generative Model | 生成式模型 |
| Generator | 生成器 |
| Generator Network | 生成器網路 |
| Genetic Algorithm | 遺傳演算法 |
| Gibbs Distribution | 吉布斯分佈 |
| Gibbs Sampling | 吉布斯取樣/吉布斯抽樣 |
| Gini Index | 基尼指數 |
| Global Markov Property | 全域性馬爾可夫性 |
| Global Minimum | 全域性最小 |
| Gradient | 梯度 |
| Gradient Clipping | 梯度截斷 |
| Gradient Descent | 梯度下降 |
| Gradient Descent Method | 梯度下降法 |
| Gradient Exploding Problem | 梯度爆炸問題 |
| Gram Matrix | Gram 矩陣 |
| Graph Convolutional Network | 圖卷積神經網路/圖卷積網路 |
| Graph Neural Network | 圖神經網路 |
| Graphical Model | 圖模型 |
| Grid Search | 網格搜尋 |
| Ground Truth | 真實值 |
| Hadamard Product | Hadamard積 |
| Hamming Distance | 漢明距離 |
| Hard Margin | 硬間隔 |
| Hebbian Rule | 赫布法則 |
| Hidden Layer | 隱藏層 |
| Hidden Markov Model | 隱馬爾可夫模型 |
| Hidden Variable | 隱變數 |
| Hierarchical Clustering | 層次聚類 |
| Hilbert Space | 希爾伯特空間 |
| Hinge Loss Function | 合頁損失函式/Hinge損失函式 |
| Hold-Out | 留出法 |
| Hyperparameter | 超引數 |
| Hyperparameter Optimization | 超引數最佳化 |
| Hypothesis | 假設 |
| Hypothesis Space | 假設空間 |
| Hypothesis Test | 假設檢驗 |
| Identity Matrix | 單位矩陣 |
| Imitation Learning | 模仿學習 |
| Importance Sampling | 重要性取樣 |
| Improved Iterative Scaling | 改進的迭代尺度法 |
| Incremental Learning | 增量學習 |
| Independent and Identically Distributed | 獨立同分布 |
| Indicator Function | 指示函式 |
| Individual Learner | 個體學習器 |
| Induction | 歸納 |
| Inductive Bias | 歸納偏好 |
| Inductive Learning | 歸納學習 |
| Inductive Logic Programming | 歸納邏輯程式設計 |
| Inference | 推斷 |
| Information Entropy | 資訊熵 |
| Information Gain | 資訊增益 |
| Inner Product | 內積 |
| Instance | 示例 |
| Internal Covariate Shift | 內部協變數偏移 |
| Inverse Matrix | 逆矩陣 |
| Inverse Resolution | 逆歸結 |
| Isometric Mapping | 等度量對映 |
| Jacobian Matrix | 雅可比矩陣 |
| Jensen Inequality | Jensen不等式 |
| Joint Probability Distribution | 聯合機率分佈 |
| K-Armed Bandit Problem | k-搖臂老虎機 |
| K-Fold Cross Validation | k 折交叉驗證 |
| Karush-Kuhn-Tucker Condition | KKT條件 |
| Karush–Kuhn–Tucker | Karush–Kuhn–Tucker |
| Kernel Function | 核函式 |
| Kernel Method | 核方法 |
| Kernel Trick | 核技巧 |
| Kernelized Linear Discriminant Analysis | 核線性判別分析 |
| KL Divergence | KL散度 |
| L-BFGS | L-BFGS |
| Label | 標籤 |
| Label Space | 標記空間 |
| Lagrange Duality | 拉格朗日對偶性 |
| Lagrange Multiplier | 拉格朗日乘子 |
| Language Model | 語言模型 |
| Laplace Smoothing | 拉普拉斯平滑 |
| Laplacian Correction | 拉普拉斯修正 |
| Latent Dirichlet Allocation | 潛在狄利克雷分配 |
| Latent Semantic Analysis | 潛在語義分析 |
| Latent Variable | 潛變數/隱變數 |
| Law of Large Numbers | 大數定律 |
| Layer Normalization | 層規範化 |
| Lazy Learning | 懶惰學習 |
| Leaky Relu | 洩漏修正線性單元/洩漏整流線性單元 |
| Learner | 學習器 |
| Learning | 學習 |
| Learning By Analogy | 類比學習 |
| Learning Rate | 學習率 |
| Learning Vector Quantization | 學習向量量化 |
| Least Square Method | 最小二乘法 |
| Least Squares Regression Tree | 最小二乘迴歸樹 |
| Left Singular Vector | 左奇異向量 |
| Likelihood | 似然 |
| Linear Chain Conditional Random Field | 線性鏈條件隨機場 |
| Linear Classification Model | 線性分類模型 |
| Linear Classifier | 線性分類器 |
| Linear Dependence | 線性相關 |
| Linear Discriminant Analysis | 線性判別分析 |
| Linear Model | 線性模型 |
| Linear Regression | 線性迴歸 |
| Link Function | 聯絡函式 |
| Local Markov Property | 區域性馬爾可夫性 |
| Local Minima | 區域性極小 |
| Local Minimum | 區域性極小 |
| Local Representation | 區域性式表示/區域性式表徵 |
| Log Likelihood | 對數似然函式 |
| Log Linear Model | 對數線性模型 |
| Log-Likelihood | 對數似然 |
| Log-Linear Regression | 對數線性迴歸 |
| Logistic Function | 對數機率函式 |
| Logistic Regression | 對數機率迴歸 |
| Logit | 對數機率 |
| Long Short Term Memory | 長短期記憶 |
| Long Short-Term Memory Network | 長短期記憶網路 |
| Loopy Belief Propagation | 環狀信念傳播 |
| Loss Function | 損失函式 |
| Low Rank Matrix Approximation | 低秩矩陣近似 |
| Machine Learning | 機器學習 |
| Macron-R | 宏查全率 |
| Manhattan Distance | 曼哈頓距離 |
| Manifold | 流形 |
| Manifold Assumption | 流形假設 |
| Manifold Learning | 流形學習 |
| Margin | 間隔 |
| Marginal Distribution | 邊緣分佈 |
| Marginal Independence | 邊緣獨立性 |
| Marginalization | 邊緣化 |
| Markov Chain | 馬爾可夫鏈 |
| Markov Chain Monte Carlo | 馬爾可夫鏈蒙特卡羅 |
| Markov Decision Process | 馬爾可夫決策過程 |
| Markov Network | 馬爾可夫網路 |
| Markov Process | 馬爾可夫過程 |
| Markov Random Field | 馬爾可夫隨機場 |
| Mask | 掩碼 |
| Matrix | 矩陣 |
| Matrix Inversion | 逆矩陣 |
| Max Pooling | 最大匯聚 |
| Maximal Clique | 最大團 |
| Maximum Entropy Model | 最大熵模型 |
| Maximum Likelihood Estimation | 極大似然估計 |
| Maximum Margin | 最大間隔 |
| Mean Filed | 平均場 |
| Mean Pooling | 平均匯聚 |
| Mean Squared Error | 均方誤差 |
| Mean-Field | 平均場 |
| Memory Network | 記憶網路 |
| Message Passing | 訊息傳遞 |
| Metric Learning | 度量學習 |
| Micro-R | 微查全率 |
| Minibatch | 小批次 |
| Minimal Description Length | 最小描述長度 |
| Minimax Game | 極小極大博弈 |
| Minkowski Distance | 閔可夫斯基距離 |
| Mixture of Experts | 混合專家模型 |
| Mixture-of-Gaussian | 高斯混合 |
| Model | 模型 |
| Model Selection | 模型選擇 |
| Momentum Method | 動量法 |
| Monte Carlo Method | 蒙特卡羅方法 |
| Moral Graph | 端正圖/道德圖 |
| Moralization | 道德化 |
| Multi-Class Classification | 多分類 |
| Multi-Head Attention | 多頭注意力 |
| Multi-Head Self-Attention | 多頭自注意力 |
| Multi-Kernel Learning | 多核學習 |
| Multi-Label Learning | 多標記學習 |
| Multi-Layer Feedforward Neural Networks | 多層前饋神經網路 |
| Multi-Layer Perceptron | 多層感知機 |
| Multinomial Distribution | 多項分佈 |
| Multiple Dimensional Scaling | 多維縮放 |
| Multiple Linear Regression | 多元線性迴歸 |
| Multitask Learning | 多工學習 |
| Multivariate Normal Distribution | 多元正態分佈 |
| Mutual Information | 互資訊 |
| N-Gram Model | N元模型 |
| Naive Bayes Classifier | 樸素貝葉斯分類器 |
| Naive Bayes | 樸素貝葉斯 |
| Nearest Neighbor Classifier | 最近鄰分類器 |
| Negative Log Likelihood | 負對數似然函式 |
| Neighbourhood Component Analysis | 近鄰成分分析 |
| Net Input | 淨輸入 |
| Neural Network | 神經網路 |
| Neural Turing Machine | 神經圖靈機 |
| Neuron | 神經元 |
| Newton Method | 牛頓法 |
| No Free Lunch Theorem | 沒有免費午餐定理 |
| Noise-Contrastive Estimation | 噪聲對比估計 |
| Nominal Attribute | 列名屬性 |
| Non-Convex Optimization | 非凸最佳化 |
| Non-Metric Distance | 非度量距離 |
| Non-Negative Matrix Factorization | 非負矩陣分解 |
| Non-Ordinal Attribute | 無序屬性 |
| Norm | 範數 |
| Normal Distribution | 正態分佈 |
| Normalization | 規範化 |
| Nuclear Norm | 核範數 |
| Number of Epochs | 輪數 |
| Numerical Attribute | 數值屬性 |
| Object Detection | 目標檢測 |
| Oblique Decision Tree | 斜決策樹 |
| Occam's Razor | 奧卡姆剃刀 |
| Odds | 機率 |
| Off-Policy | 異策略 |
| On-Policy | 同策略 |
| One-Dependent Estimator | 獨依賴估計 |
| One-Hot | 獨熱 |
| Online Learning | 線上學習 |
| Optimizer | 最佳化器 |
| Ordinal Attribute | 有序屬性 |
| Orthogonal | 正交 |
| Orthogonal Matrix | 正交矩陣 |
| Out-Of-Bag Estimate | 包外估計 |
| Outlier | 異常點 |
| Over-Parameterized | 過度引數化 |
| Overfitting | 過擬合 |
| Oversampling | 過取樣 |
| Pac-Learnable | PAC可學習 |
| Padding | 填充 |
| Pairwise Markov Property | 成對馬爾可夫性 |
| Parallel Distributed Processing | 分散式並行處理 |
| Parameter | 引數 |
| Parameter Estimation | 引數估計 |
| Parameter Space | 引數空間 |
| Parameter Tuning | 調參 |
| Parametric ReLU | 引數化修正線性單元/引數化整流線性單元 |
| Part-Of-Speech Tagging | 詞性標註 |
| Partial Derivative | 偏導數 |
| Partially Observable Markov Decision Processes | 部分可觀測馬爾可夫決策過程 |
| Partition Function | 配分函式 |
| Perceptron | 感知機 |
| Performance Measure | 效能度量 |
| Perplexity | 困惑度 |
| Pointer Network | 指標網路 |
| Policy | 策略 |
| Policy Gradient | 策略梯度 |
| Policy Iteration | 策略迭代 |
| Polynomial Kernel Function | 多項式核函式 |
| Pooling | 匯聚 |
| Pooling Layer | 匯聚層 |
| Positive Definite Matrix | 正定矩陣 |
| Post-Pruning | 後剪枝 |
| Potential Function | 勢函式 |
| Power Method | 冪法 |
| Pre-Training | 預訓練 |
| Precision | 查準率/準確率 |
| Prepruning | 預剪枝 |
| Primal Problem | 主問題 |
| Primary Visual Cortex | 初級視覺皮層 |
| Principal Component Analysis | 主成分分析 |
| Prior | 先驗 |
| Probabilistic Context-Free Grammar | 機率上下文無關文法 |
| Probabilistic Graphical Model | 機率圖模型 |
| Probabilistic Model | 機率模型 |
| Probability Density Function | 機率密度函式 |
| Probability Distribution | 機率分佈 |
| Probably Approximately Correct | 機率近似正確 |
| Proposal Distribution | 提議分佈 |
| Prototype-Based Clustering | 原型聚類 |
| Proximal Gradient Descent | 近端梯度下降 |
| Pruning | 剪枝 |
| Quadratic Loss Function | 平方損失函式 |
| Quadratic Programming | 二次規劃 |
| Quasi Newton Method | 擬牛頓法 |
| Radial Basis Function | 徑向基函式 |
| Random Forest | 隨機森林 |
| Random Sampling | 隨機取樣 |
| Random Search | 隨機搜尋 |
| Random Variable | 隨機變數 |
| Random Walk | 隨機遊走 |
| Recall | 查全率/召回率 |
| Receptive Field | 感受野 |
| Reconstruction Error | 重構誤差 |
| Rectified Linear Unit | 修正線性單元/整流線性單元 |
| Recurrent Neural Network | 迴圈神經網路 |
| Recursive Neural Network | 遞迴神經網路 |
| Regression | 迴歸 |
| Regularization | 正則化 |
| Regularizer | 正則化項 |
| Reinforcement Learning | 強化學習 |
| Relative Entropy | 相對熵 |
| Reparameterization | 再引數化/重引數化 |
| Representation | 表示 |
| Representation Learning | 表示學習 |
| Representer Theorem | 表示定理 |
| Reproducing Kernel Hilbert Space | 再生核希爾伯特空間 |
| Rescaling | 再縮放 |
| Reset Gate | 重置門 |
| Residual Connection | 殘差連線 |
| Residual Network | 殘差網路 |
| Restricted Boltzmann Machine | 受限玻爾茲曼機 |
| Reward | 獎勵 |
| Ridge Regression | 嶺迴歸 |
| Right Singular Vector | 右奇異向量 |
| Risk | 風險 |
| Robustness | 穩健性 |
| Root Node | 根結點 |
| Rule Learning | 規則學習 |
| Saddle Point | 鞍點 |
| Sample | 樣本 |
| Sample Complexity | 樣本複雜度 |
| Sample Space | 樣本空間 |
| Scalar | 標量 |
| Selective Ensemble | 選擇性整合 |
| Self Information | 自資訊 |
| Self-Attention | 自注意力 |
| Self-Organizing Map | 自組織對映網 |
| Self-Training | 自訓練 |
| Semi-Definite Programming | 半正定規劃 |
| Semi-Naive Bayes Classifiers | 半樸素貝葉斯分類器 |
| Semi-Restricted Boltzmann Machine | 半受限玻爾茲曼機 |
| Semi-Supervised Clustering | 半監督聚類 |
| Semi-Supervised Learning | 半監督學習 |
| Semi-Supervised Support Vector Machine | 半監督支援向量機 |
| Sentiment Analysis | 情感分析 |
| Separating Hyperplane | 分離超平面 |
| Sequential Covering | 序貫覆蓋 |
| Sigmoid Belief Network | Sigmoid信念網路 |
| Sigmoid Function | Sigmoid函式 |
| Signed Distance | 帶符號距離 |
| Similarity Measure | 相似度度量 |
| Simulated Annealing | 模擬退火 |
| Simultaneous Localization And Mapping | 即時定位與地圖構建 |
| Singular Value | 奇異值 |
| Singular Value Decomposition | 奇異值分解 |
| Skip-Gram Model | 跳元模型 |
| Smoothing | 平滑 |
| Soft Margin | 軟間隔 |
| Soft Margin Maximization | 軟間隔最大化 |
| Softmax | Softmax/軟最大化 |
| Softmax Function | Softmax函式/軟最大化函式 |
| Softmax Regression | Softmax迴歸/軟最大化迴歸 |
| Softplus Function | Softplus函式 |
| Span | 張成子空間 |
| Sparse Coding | 稀疏編碼 |
| Sparse Representation | 稀疏表示 |
| Sparsity | 稀疏性 |
| Specialization | 特化 |
| Splitting Variable | 切分變數 |
| Squashing Function | 擠壓函式 |
| Standard Normal Distribution | 標準正態分佈 |
| State | 狀態 |
| State Value Function | 狀態值函式 |
| State-Action Value Function | 狀態-動作值函式 |
| Stationary Distribution | 平穩分佈 |
| Stationary Point | 駐點 |
| Statistical Learning | 統計學習 |
| Steepest Descent | 最速下降法 |
| Stochastic Gradient Descent | 隨機梯度下降 |
| Stochastic Matrix | 隨機矩陣 |
| Stochastic Process | 隨機過程 |
| Stratified Sampling | 分層取樣 |
| Stride | 步幅 |
| Structural Risk | 結構風險 |
| Structural Risk Minimization | 結構風險最小化 |
| Subsample | 子取樣 |
| Subsampling | 下采樣 |
| Subset Search | 子集搜尋 |
| Subspace | 子空間 |
| Supervised Learning | 監督學習 |
| Support Vector | 支援向量 |
| Support Vector Expansion | 支援向量展式 |
| Support Vector Machine | 支援向量機 |
| Surrogat Loss | 替代損失 |
| Surrogate Function | 替代函式 |
| Surrogate Loss Function | 代理損失函式 |
| Symbolism | 符號主義 |
| Tangent Propagation | 正切傳播 |
| Teacher Forcing | 強制教學 |
| Temporal-Difference Learning | 時序差分學習 |
| Tensor | 張量 |
| Test Error | 測試誤差 |
| Test Sample | 測試樣本 |
| Test Set | 測試集 |
| Threshold | 閾值 |
| Threshold Logic Unit | 閾值邏輯單元 |
| Threshold-Moving | 閾值移動 |
| Tied Weight | 捆綁權重 |
| Tikhonov Regularization | Tikhonov正則化 |
| Time Delay Neural Network | 時延神經網路 |
| Time Homogenous Markov Chain | 時間齊次馬爾可夫鏈 |
| Time Step | 時間步 |
| Token | 詞元 |
| Token | 詞元 |
| Tokenization | 詞元化 |
| Tokenizer | 詞元分析器 |
| Topic Model | 話題模型 |
| Topic Modeling | 話題分析 |
| Trace | 跡 |
| Training | 訓練 |
| Training Error | 訓練誤差 |
| Training Sample | 訓練樣本 |
| Training Set | 訓練集 |
| Transductive Learning | 直推學習 |
| Transductive Transfer Learning | 直推遷移學習 |
| Transfer Learning | 遷移學習 |
| Transformer | Transformer |
| Transformer Model | Transformer模型 |
| Transpose | 轉置 |
| Transposed Convolution | 轉置卷積 |
| Trial And Error | 試錯 |
| Trigram | 三元語法 |
| Turing Machine | 圖靈機 |
| Underfitting | 欠擬合 |
| Undersampling | 欠取樣 |
| Undirected Graphical Model | 無向圖模型 |
| Uniform Distribution | 均勻分佈 |
| Unigram | 一元語法 |
| Unit | 單元 |
| Universal Approximation Theorem | 通用近似定理 |
| Universal Approximator | 通用近似器 |
| Universal Function Approximator | 通用函式近似器 |
| Unknown Token | 未知詞元 |
| Unsupervised Layer-Wise Training | 無監督逐層訓練 |
| Unsupervised Learning | 無監督學習 |
| Update Gate | 更新門 |
| Upsampling | 上取樣 |
| V-Structure | V型結構 |
| Validation Set | 驗證集 |
| Validity Index | 有效性指標 |
| Value Function Approximation | 值函式近似 |
| Value Iteration | 值迭代 |
| Vanishing Gradient Problem | 梯度消失問題 |
| Vapnik-Chervonenkis Dimension | VC維 |
| Variable Elimination | 變數消去 |
| Variance | 方差 |
| Variational Autoencoder | 變分自編碼器 |
| Variational Inference | 變分推斷 |
| Vector | 向量 |
| Vector Space Model | 向量空間模型 |
| Version Space | 版本空間 |
| Viterbi Algorithm | 維特比演算法 |
| Vocabulary | 詞表 |
| Warp | 執行緒束 |
| Weak Learner | 弱學習器 |
| Weakly Supervised Learning | 弱監督學習 |
| Weight | 權重 |
| Weight Decay | 權重衰減 |
| Weight Sharing | 權共享 |
| Weighted Voting | 加權投票 |
| Whitening | 白化 |
| Winner-Take-All | 勝者通吃 |
| Within-Class Scatter Matrix | 類內散度矩陣 |
| Word Embedding | 詞嵌入 |
| Word Sense Disambiguation | 詞義消歧 |
| Word Vector | 詞向量 |
| Zero Padding | 零填充 |
| Zero-Shot Learning | 零試學習 |
| Zipf's Law | 齊普夫定律 |