記一次PMML檔案的處理過程

Harpsichord1207發表於2019-02-02

背景

業務方說需要我做個web介面,在上面輸入一條網站訪問線索的資訊,後臺通過機器學習計算這條線索的評級,例如這條線索對應的使用者購買意願有多強之類的。而機器學習對應的模型,也是業務方自己用KNIME這個軟體訓練的,然後將訓練完的模型匯出為一個PMML格式的檔案,我所需要做的主要工作就是匯入這個檔案,轉換成對應的機器學習模型。

注:作者去簡單嘗試了KNIME這個軟體,感覺是個資料分析的利器。[連結]


PMML介紹

PMML(Predictive Model Markup Language)全稱是預測模型標記語言,既然叫做標記語言,那其實與html/XML等也是非常類似的,只是它儲存的是機器學習模型的資訊,比如特徵名稱、型別、個數,模型種類等等。它常用於部署,例如模型在dev環節訓練好了,將其匯出為一個PMML檔案,然後在prod環境中匯入即可,也很方便在不同的環境間傳遞模型,例如使用python訓練出來的模型,用R來呼叫和預測。


Python匯入PMML的問題

現在大部分語言都支援將訓練好的模型匯出PMML檔案,python同樣也可以使用sklearn2pmml這個庫來匯出模型,但我發現沒有一個很好的工具能反向操作,將已有的PMML檔案還原成sklearn中的機器學習模型。於是在GitHub嘗試了一些方案,如下:

  1. 找到一個專案叫做jpmml-evaluator,是用java寫的,它支援將PMML匯入到java中,進入作者的倉庫中,又發現一個叫做jpmml-evaluator-python,根據ReadMe介紹,這是一個將jpmml-evaluator做了簡單封裝的python版本,使python可以匯入PMML檔案,但使用者較少,start也只有1,試用時發現了問題,也向作者反饋了,並且作者還因此更新了程式碼,但仍然沒有解決。issue連結: https://github.com/jpmml/jpmm…
  2. 又找了一個叫做sklearn-pmml-model,目前也是使用者少,功能不完整(支援的模型有限)的情況,但在安裝過程中就出錯,聯絡了作者,未獲得反饋。
  3. openscoring專案,同樣也是一個用java寫的專案,其作用就是支援開啟一個服務端用於呼叫機器學習模型,客戶端向服務端傳遞機器學習的PMML檔案和預測資料,服務端可以使用jar包一鍵部署,而客戶端則可以使用java/python/R等不同的SDK,甚至直接使用curl,最終該方案用上了。在和作者溝通中,作者還指出了KNIME匯出的PMML存在的BUG,並建議向KNIME反饋這個BUG

相關文章