周博通 | 阿里開源首個 DL 框架、4000臺伺服器真實資料集；明年1月開源Blink

阿里技術_發表於2018-12-24

阿里框架伺服器

640?wx_fmt=jpeg

每週一早晨，阿里妹為你呈現最新的阿里技術資訊。這份“技術早餐”裡，包含重磅的阿里技術新聞。五分鐘時間，讓你成為“周博通”。

還有，聖誕節即將到來，阿里妹在此提前祝所有小夥伴節日快樂。

話不多說，這就為你送上新鮮出爐的“技術早餐”。

阿里開源首個深度學習框架 X-Deep Learning

640?wx_fmt=png

以深度學習為核心的人工智慧技術，過去的幾年在語音識別、計算機視覺、自然語言處理等領域獲得了巨大的成功，其中以GPU為代表的硬體計算力，以及優秀的開源深度學習框架起到了巨大的推動作用。

儘管以TensorFlow、PyTorch、MxNet等為代表的開源框架已經取得了巨大的成功，但是當我們把深度學習技術應用在廣告、推薦、搜尋等大規模工業級場景時，發現這些框架並不能很好的滿足我們的需求。

X-DeepLearning正是面向這樣的場景設計與優化的工業級深度學習框架，經過阿里巴巴廣告業務的錘鍊，XDL在訓練規模和效能、水平擴充套件能力上都表現出色，同時內建了大量的面向廣告/推薦/搜尋領域的工業級演算法解決方案。

X-DeepLearning（包括核心訓練引擎及演算法解決方案）的程式碼已經在Github開源，地址如下：

https://github.com/alibaba/x-deeplearning

戳此看：XDL的設計理念及關鍵技術

阿里開源4000臺伺服器真實資料集

640?wx_fmt=jpeg

2015 年，阿里巴巴的資料中心，將延遲不敏感的批量離線計算任務和延遲敏感的線上服務部署到同一批機器上執行，讓線上服務用不完的資源充分被離線使用以提高機器的整體利用率。

經過 3 年多的試驗論證、架構調整和資源隔離優化，目前這個方案已經走向大規模生產。我們通過混部技術將叢集平均資源利用率從 10% 大幅度提高到 45%。另外，通過各種優化手段，可以讓更多工執行在資料中心，將“雙11”平均每萬筆交易成本下降了 17%。

為了讓有興趣的學生以及相關研究人員，可以從資料上更加深入地理解大規模資料中心，我們特別釋出了這份資料集（Alibaba Cluster Data V2018）。資料集中記錄了某個生產叢集中伺服器以及執行任務的詳細情況。我們希望這波資料的釋出可以拉近我們與學術研究、業界同行之間的距離，促進行業的進一步發展。

下載地址：

https://github.com/alibaba/clusterdata/blob/v2018/cluster-trace-v2018/trace_2018.md

戳此看：世界級資料中心的深度解讀

阿里巴巴內部 Blink 將於明年1月開源

640?wx_fmt=jpeg

今年，實時流計算技術開始步入主流，實時流計算引擎和 API 諸如 Spark Streaming、Kafka Streaming、Beam 和 Flink 持續火爆。阿里巴巴自 2015 年開始改進 Flink，並建立了內部分支 Blink，目前服務於阿里集團內部搜尋、推薦、廣告和螞蟻等大量核心實時業務。

12 月 20 日， Flink Forward China 峰會在北京國家會議中心召開。在大會的主題演講上，阿里巴巴集團副總裁周靖人宣佈，阿里巴巴內部 Flink 版本 Blink 將於 2019 年 1 月正式開源！我們希望通過 Blink 開源進一步加深與 Flink 社群的聯動，並推動國內更多中小型企業使用 Flink。

持續關注阿里技術公眾號，我們將第一時間帶來 Blink 開源的詳細資訊。

猜你想了解Blink：