理論基礎
演算法本質與背景
層次化（Hierarchial）Softmax演算法是在深度學習領域中解決大規模詞嵌入訓練效率問題的重要突破。該演算法透過引入Huffman樹結構，有效地將傳統Softmax的計算複雜度從線性降至對數級別，從而在處理大規模詞彙表時表現出顯著的優勢。
在傳統的神經網路詞嵌入模型中，Softmax函式扮演著將任意實數向量轉換為機率分佈的關鍵角色。其基本形式可表述為：
給定分數向量 z =[*z_1,*z_2,…,zn]，類別 i 的機率計算公式為：
這種計算方式在處理大規模詞彙表時面臨著嚴重的計算瓶頸。當詞彙表規模達到百萬級別時，每次預測都需要計算整個詞彙表的機率分佈，這在實際應用中是難以接受的。
https://avoid.overfit.cn/post/88ee8ff7530243a7ab6ec40b276ab8a7