輕量化AI服務再添兩將!阿里雲機器學習PAI DSW 2.0 & Alink商業版重磅釋出

程式碼派就是我發表於2020-05-21

DSW 2.0:面向AI研發的整合開發平臺

DSW(Data Science Workshop)是阿里巴巴PAI團隊根據多年的AI演算法和產品研發經驗積累,圍繞提高AI演算法研發效率,降低研發成本而推出的一款適用於各類AI開發者的雲端機器學習整合開發環境。DSW2.0是藉助阿里雲ECS,Docker和Kubernetes等雲原生技術,能夠在幾分鐘內幫使用者完成環境搭建,相對DSW1.0開放更高的開發許可權,滿足各個層面客戶的使用需求。

9989c5b90f96dedb20d3e717592eeed2c54bdb86.jpeg

  • 雲原生架構

DSW藉助阿里雲ECS,Docker和Kubernetes等雲原生技術,能夠在幾分鐘內幫使用者完成環境搭建。使用者可以根據演算法需要和成本考慮,選擇阿里雲ECS提供的包括CPU和異構計算GPU在內的所有資源規格。

  • 滿足不同層次開發習慣

結合互動式程式設計和命令列輸入,DSW提供了三種程式設計入口: WebIde適用於工程化要求比較高的專案;JupyterLab適用於快速POC試驗;Terminal入口可用於快速執行Shell命令,執行程式和簡單的編輯等。

  • 預裝豐富外掛

DSW還開發和預裝了各種JupyterLab和WebIDE外掛,比如廣受深度學習開發者喜愛的視覺化工具Tensorboard,使用者在DSW內透過Launcher,Commands開啟,甚至還可以使用%tensorboard魔法命令直接在Notebook中開啟等多種方式使用Tensorboard。不僅支援本地檔案,還可以開啟存放在OSS,ODPS裡的訓練日誌。針對演算法同學使用Python比較多的特點, DSW的WebIDE內安裝了Python外掛,可以直接在瀏覽器內線上除錯,單步跟蹤程式執行。使用者還可以根據需要,自主安裝需要的任意外掛。

  • 支援多種資料來源讀寫

NAS, OSS,雲盤和MaxCompute,尤其是內建了dswmagic魔法命令可以讓使用者在ipynb檔案中使用SQL語句讀寫MaxCompute表中資料,預置的SQL編輯器支援語法高亮、智慧提示、自動補全等功能,還支援執行帶變數替換功能的Sql指令碼。查詢結果自動以最友好的圖形化展示。

Alink:流批一體機器學習演算法平臺

Alink擁有豐富的批式演算法和流式演算法,能夠幫助資料分析和應用開發人員能夠從資料處理、特徵工程、模型訓練、預測,端到端地完成整個流程。Alink提供的功能演算法模組中,每一個模組都包含流式和批式演算法。比如線性迴歸,包含批式線性迴歸訓練,流式線性迴歸預測和批式線性迴歸預測。另外,Alink演算法覆蓋分類、迴歸、聚類、評估、統計分析、特徵工程、異常檢測、文字、線上學習、關聯分析等經典領域,是一個通用的機器學習演算法平臺。

9989c5b90f96dedb20d3e717592eeed2c54bdb86.jpeg

  • 演算法效能

我們從下圖中可以看出在迴歸演算法中,Alink演算法效能最高優於Spark 1.38倍;分類演算法中Alink大多數演算法效能優於Spark,最高優於2.52倍;聚類演算法Alink演算法效能最高優於Spark 1.85倍;協同過濾Alink演算法效能最高優於Spark 2.26倍。

9989c5b90f96dedb20d3e717592eeed2c54bdb86.jpeg

Flink VS Spark演算法效能

  • 更友好的互動式體驗

我們提供兩種使用者使用介面:web和PyAlink。Web介面提供拖拽的方式建立試驗,透過對每一個元件進行配置完成整個試驗的引數配置。在各個演算法節點旁,我們用閃爍的小燈泡?表示“執行中”的狀態,用對勾✅表示“執行完成”的狀態。一般情況下,只有批式(batch)元件才有可能執行結束。基於各個元件的執行狀態,可以十分方便地判斷當前實驗執行到了什麼程度。

同時為了滿足指令碼使用者的需求,我們提供了PyAlink on notebook,使用者可以透過PyAlink的python包使用Alink。PyAlink支援單機執行,也支援叢集提交。並且打通Operator(Alink運算元)和DataFrame的介面,從而使得Alink整個演算法流程無縫融入python。PyAlink也提供使用Python函式來呼叫UDF或者UDTF。

阿里雲機器學習PAI是覆蓋人工智慧全鏈路的產品家族,自上線以來,受到廣大AI開發者的喜愛,經過千錘百煉,證明不僅適合個人和團隊研發,也支援大規模演算法競賽和教育培訓。本次重磅釋出的PAIDSW2.0和商業版Alink致力成為最懂使用者的輕量化AI服務,包含資料處理、建模、訓練、模型最佳化、線上預測等多種產品版塊,為使用者提供一站式體驗服務。

釋出會傳送門


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31550522/viewspace-2693473/,如需轉載,請註明出處,否則將追究法律責任。

相關文章