翻譯 | AI科技大本營（微信ID：rgznai100，點選檢視AI科技大本營更多幹貨文章）
參與 | 劉暢
近日，聖母大學(University of Notre Dame)公開了一門統計學課程資源，包括：課程筆記和授課視訊，課後作業（以及解決方案）以及課程資訊和參考以及課程大綱。
這份資源非常豐富，但從營長以往推薦的文章和資源看，大家可真不待見“統計”這個詞，從字面上看，它太無聊了，但它對很多機器學習的應用領域又是必不可少的，所以營長這次還是推薦給大家。
1.統計計算和概率統計簡介
課程介紹：該部分包括課程，書籍和參考資料，目標，組織的介紹；概率統計學，概率法則，獨立性，協方差，相關性等的基本原理; 和與乘的規則，邊緣分佈和條件分佈; 隨機變數，矩，離散和連續分佈; 單變數高斯分佈。【視訊地址 課程筆記】
2.概率統計概論簡介（續）
二項式分佈，伯努利分佈，多項式分佈，泊松分佈，學生T分佈，拉普拉斯分佈，伽瑪分佈，貝塔分佈，帕累託分佈，多元高斯和狄利克雷分佈; 聯合概率分佈; 隨機變數的變換; 中心極限定理和基本的蒙特卡羅近似法則; 概率不等式; 資訊理論綜述，KL散度，熵，互資訊，詹森不等式。【視訊地址 課程筆記】
3.資訊理論，多元高斯，最大似然估計，Robbins-Monro演算法
資訊理論，KL散度，熵，互資訊，詹森不等式（續）; 中心極限定理的例子，檢查資料集的高斯性質; 多元高斯，馬氏距離，幾何解釋; 單變數和多變數的高斯連續最大似然估計; 連續最大似然估計，用於連續最大似然估計的Robbins-Monro演算法。【視訊地址 課程筆記】
4.用於連續最大似然的Robbins-Monro演算法，維數災難，條件和邊緣高斯分佈
高斯Robbins-Monro演算法的連續最大似然估計（續）; 回到多元高斯，馬氏距離，幾何解釋，均值和矩，限制形式; 維數災難，高維的多項式迴歸中的挑戰，高維的球體和超立方體的體積/面積，高維的高斯分佈; 條件和邊緣高斯分佈，配方法，伍德伯裡矩陣求逆引理，內插無噪資料和資料插補的例子，高斯的資訊形式。【視訊地址 課程筆記】
5.似然計算，最大後驗估計和正則化式的最小二乘，線性高斯模型
高斯的資訊形式（續）; 貝葉斯推斷和似然函式計算，加法和乘法誤差; 最大後驗估計和正則化式的最小二乘法; 用高斯先驗估計高斯的均值; 感測器融合的應用; 先驗平滑和內插噪聲資料。【視訊地址 課程筆記】
6.貝葉斯統計學簡介，指數族分佈
引數化建模，充分性原則，可能性原則，停止規則，條件性原則，p值和頻率統計問題，最大似然估計以及可能性和條件性原則; 貝葉斯背景中的推論，後驗和預測分佈，最大後驗估計，跡，貝葉斯推理的序列性質，例子; 指數分佈族，例子，計算矩，填充和Neymann因式分解，充分統計量和最大似然估計。【視訊地址 課程筆記】
7.指數族分佈和廣義線性模型，多元高斯分佈的貝葉斯推斷
指數族分佈，計算矩，Neymann因式分解，充分統計量和最大似然估計（續）; 廣義線性模型，規範響應，批處理和順序IRLS演算法; 對多元高斯分佈，Wishart分佈和逆Wishart分佈，最大後驗估計和後邊緣分佈的均值和方差/精度進行貝葉斯推斷。【視訊地址 課程筆記】
8.先驗和分層模型
共軛前體（續）和侷限性，共軛先驗的混合; 非資訊先驗，最大熵先驗; 遷移和尺度不變的先驗; 非正常先驗; 傑弗裡先驗; 分層貝葉斯模型和經驗貝葉斯/第二類最大似然斯坦因估計。【視訊地址 課程筆記】
9.貝葉斯線性迴歸，模型比較與選擇
過擬合和最大似然估計，點估計和最小二乘法，後驗和預測分佈，模型證據; 貝葉斯資訊準則，貝葉斯因子，奧卡姆剃刀定律，貝葉斯模型的比較和選擇。【視訊地址 課程筆記】
10.貝葉斯線性迴歸
線性基函式模型，順序學習，多輸出，資料中心，當σ^2未知時的貝葉斯推斷，Zellner的g先驗，無資訊的半共軛先驗，貝葉斯迴歸相關性確定的介紹。【視訊地址 課程筆記】
11.貝葉斯線性迴歸（續）
證據逼近，固定基函式的侷限性，等價的核心迴歸方法，變數選擇的吉布斯抽樣，變數和模型選擇。【視訊地址 課程筆記】
12.貝葉斯迴歸與變數選擇的實現
卡特迴歸問題; 共軛先驗，條件和邊緣後驗，預測分佈，共軛先驗的影響; Zellner的G先驗，邊緣後驗的均值和方差，可信區間; Jeffrey的非資訊性先驗，Zellner的非資訊性G先驗，指出用於選擇解釋性的輸入變數零假設和貝葉斯因子的計算; 變數選擇，模型比較，先驗變數選擇，最可能模型的抽樣搜尋，變數選擇的吉布斯抽樣; 實現細節。【視訊地址 課程筆記】
13.蒙特卡羅方法簡介，離散和連續分佈抽樣
中心極限定理，大數定律的回顧。π值計算，指標函式和蒙特卡羅誤差估計; 蒙特卡羅估計，性質，變異係數，收斂性，蒙特卡羅和維數災難; 蒙特卡羅高維度整合，蒙特卡羅樣本的最佳數量; 蒙特卡羅估計器的樣本表示; 用蒙特卡羅方法估計貝葉斯因子; 從離散分佈抽樣; 從連續分佈反向抽樣; 變換方法，Box-Muller演算法，從多元高斯樣本中抽樣。【視訊地址 課程筆記】
14.反向取樣，轉換方法，合成方法，接受 - 拒絕方法，分層/系統取樣
從離散分佈中抽樣; 對連續分佈進行反向取樣; 變換方法，Box-Muller演算法，從多元高斯中抽樣; 模擬構圖，接受拒絕抽樣; 帶條件的蒙特卡洛;分層抽樣和系統抽樣。【視訊地址 課程筆記】
15.重要抽樣
重要抽樣方法，從高斯混合抽樣; 最佳重要性抽樣分佈，歸一化重要性抽樣; 漸近方差/ Delta法，漸近偏差; 應用於貝葉斯推斷; 高維重要性抽樣，重要性抽樣與拒絕抽樣; 用重要性抽樣求解Ax = b，計算奇異積分，其他例子。【視訊地址 課程筆記】
16.吉布斯抽樣
重要性抽樣回顧，重要性抽樣解Ax = b，抽樣重要性重取樣（續）; 吉布斯抽樣，系統和隨機掃描，塊和吉布斯，在貝葉斯迴歸變數選擇中的應用; 馬爾科夫鏈蒙特卡洛，Metropolis-Hastings抽樣，例子。【視訊地址 課程筆記】
17.馬爾可夫鏈蒙特卡羅和Metropolis-Hasting演算法
馬爾科夫鏈蒙特卡洛，沿鏈平均，遍歷馬爾可夫鏈; Metropolis演算法，Metropolis-Hastings，例子; 隨機漫步Metropolis-Hastings抽樣，獨立Metropolis-Hastings抽樣; Metropolis自調整的Langevin演算法; 過渡核的組合，模擬退火。【視訊地址 課程筆記】
18.狀態空間模型和順序重要性抽樣介紹
狀態空間模型; 例子，跟蹤問題，語音增強，波動模型; 具有觀察的狀態空間模型，例子; 狀態空間模型中的貝葉斯推理，前向濾波，前向後向濾波; 線上引數估計; 蒙特卡洛狀態空間模型，最優重要性分佈，順序重要性抽樣。【視訊地址 課程筆記】
19.帶重取樣的序列重要性抽樣
順序重要性抽樣（續）; 最優重要性分佈，區域性最優重要性分佈，次優重要性分佈; 例子，機器人定位，跟蹤，隨機波動; 重取樣，有效取樣大小，多項重取樣，帶重取樣的連續取樣，各種示例; Rao-Blackwellised粒子濾波器，卡爾曼濾波器的混合，切換LG-SSM，快速重擊; 誤差估計，退化，收斂。【視訊地址 課程筆記】
20.帶重取樣的序列重要性抽樣（續）
序列重要性抽樣重取樣的一般框架; 在兩個維度上生長聚合物; 序列蒙特卡羅靜態問題; 線上引數估計; 用於平滑的序列蒙特卡羅。【視訊地址 課程筆記】
21.序列蒙特卡羅（續）和條件線性高斯模型
線上引數估計; 平滑序列蒙特卡羅; 卡爾曼濾波器回顧線性高斯模型;用於條件線性高斯模型的序列蒙特卡羅，Rao-Blackwellized粒子濾波器，應用; 時間序列模型; 部分觀察線性高斯模型; 動態Tobit和動態Probit模型。【視訊地址 課程筆記】
22.可逆的跳轉馬爾可夫鏈蒙特卡羅
跨維的馬爾可夫鏈蒙特卡羅，自迴歸的動機和高斯混合模型; 跨維移動的設計，生/死移動，拆分/合併移動，移動混合; 用於自迴歸的貝葉斯RJ-MCMC模型和高斯混合。【視訊地址 課程筆記】
23.期望最大化介紹
潛變數模型; K-Means，影象壓縮; 高斯混合，後驗屬性和潛變數視角; 伯努利分佈的混合; 期望最大化泛化，變分推理視角。【視訊地址 課程筆記】
24.期望最大化（續）
高斯混合; 伯努利分佈的混合;用於貝葉斯線性迴歸的期望最大化演算法; 最大後驗概率和期望最大化; 增量期望最大化; 使用期望最大化處理丟失的資料; 變分推理的角度。【視訊地址 課程筆記】
25.主成分分析
連續的潛變數模型，資料集的低維流形，生成觀點，不可辨認性; 主成分分析，最大方差公式，最小誤差公式，主成分分析與奇異值分解; 典型相關分析; 應用程式，離線數字影象，用主成分分析白化資料，用於視覺化的主成分分析; 高維資料的主成分分析; 概率主成分分析，最大似然解，期望最大化演算法，模型選擇。【視訊地址 課程筆記】
26.連續潛變數模型
概率主成分分析，最大似然解，期望最大化演算法，貝葉斯主成分分析，核主成分分析。【視訊地址 課程筆記】
27.高斯過程的核方法和導論
雙重表示迴歸，核函式; 核心設計，結合核心，高斯核心，概率核心，Fisher核心; 徑向基函式，Nadaraya-Watson模型; 高斯過程，用於迴歸的高斯過程與基函式方法，學習引數，自動相關性確定; 高斯過程分類，拉普拉斯近似，與貝葉斯神經網路的連線。【視訊地址 課程筆記】
28.高斯分類問題過程，課程摘要
高斯過程分類，將高斯過程連線到貝葉斯神經網路; 課程概要 - 概率不等式，大數定律，最大似然估計和偏差，貝葉斯定理和後驗探索，預測分佈，邊際可能性，指數族和共軛先驗，經驗貝葉斯和證據逼近，抽樣方法，拒絕方法，重要性取樣，馬爾可夫鏈蒙特卡羅，吉布斯抽樣，序列重要性抽樣和粒子方法，可逆跳躍的馬爾可夫鏈蒙特卡羅，潛變數和期望最大化，模型簡化，概率主成分分析和生成模型。【視訊地址 課程筆記】