CatBoost是一種機器學習庫，由俄羅斯的搜尋巨頭Yandex在2017年開源。它屬於Boosting族演算法的一種，與XGBoost、LightGBM並稱為GBDT的三大主流神器。CatBoost的主要作用和創新點在於高效合理地處理類別型特徵，這是從其名稱中的"Cat"（分類）和"Boosting"（提升）中可以看出的。CatBoost透過嵌入自動將類別型特徵處理為數值型特徵的創新演算法，解決了梯度偏差和預測偏移的問題，從而減少了過擬合的發生，提高了演算法的準確性和泛化能力。
CatBoost的主要作用和創新點包括：
- 處理類別型特徵：CatBoost能夠有效地處理字串特徵，透過統計類別特徵的出現頻率並生成新的數值型特徵，從而解決了傳統GBDT框架在處理類別特徵時的限制。
- 解決梯度偏差和預測偏移：透過採用排序提升的方法對抗訓練集中的噪聲點，CatBoost避免了梯度估計的偏差，解決了預測偏移的問題。
- 採用完全對稱樹作為基模型：這種設計減少了模型的複雜度，同時保持了較高的準確性。
CatBoost的這些特點和改進使其在處理具有類別型特徵的資料時表現出色，尤其是在需要高準確率和良好泛化能力的應用場景中，CatBoost能夠提供比其他GBDT實現更優的效能
清華園安裝：pip install catboost -i https://pypi.tuna.tsinghua.edu.cn/simple
