期望最大化演算法(EM)簡介

LeonYi發表於2023-04-15

Expectation Maximization,EM演算法是帶有隱變數的機率模型引數的極大似然估計(MLE為給定引數,觀測資料出現/生成的可能性)。

如下為《統計機器學習》中對應EM演算法的筆記。

0
  • 觀測資料Y和隱變數X合稱,完全資料
  • 觀測資料Y稱,不完全資料
0
E步:(期望步)求Q函式(上一輪引數固定,模型引數為變數的函式),即期望(原始似然函式的下界)
M步:(極大步)求Q函式的區域性極值
透過迭代法逐步逼近原始似然函式的解
0
0
 EM演算法本質是,有隱變數的似然函式的MLE。透過計算Q函式,得到似然函式的下界,然後最大化下界這一迭代過程,來最佳化引數。
Q函式本身是一個條件期望。 EM演算法就在E步求期望,M步最大化它。
 

相關文章