AI研討會直播:《人工智慧開發前沿》實戰系列公開課第1期

部落格園團隊發表於2020-09-10

AI研討會直播:《人工智慧開發前沿》實戰系列公開課第1期

報名連結:https://www.slidestalk.com/m/276

活動背景

業務需求、資料、演算法、算力等因素,決定人工智慧技術走向產業落地面臨各種挑戰。部落格園聯合示說網以及產業內人工智慧技術領域的工程師講師,結合實踐案例,推出《人工智慧開發前沿》實戰系列公開課,將涵蓋邊緣到雲端、訓練到推理、演算法模型到工程實踐等一系列人工智慧實踐學習課程。課程內容詳實豐富,既包括前沿技術介紹和演示,也提供動手實操和練習專案。

歡迎廣大AI及大資料領域的開發者、學生、研究人員共同參與學習研討!

議程安排

19:30 – 20:15 《持久化記憶體技術在實時決策系統中的應用》
20:15 – 21:00 《Spark Shuffle RPMem擴充套件: 藉助持久記憶體與RDMA加速Spark 資料分析》
21:00 – 21:05 活動抽獎

講師及議題

講師介紹陳宬,新加坡國立大學博士,第四正規化高效能運算組,資深系統優化工程師,專注於新一代儲存介質在AI系統,資料庫以及作業系統層的優化。
議題介紹:實時決策系統,如實時推薦、實時反欺詐,要求系統在極短的時間內對使用者產生的資料進行處理,並拉取已訓練好的超高維模型進行打分預測。這一過程中將涉及實時特徵提取,超高緯模型引數查詢等多步操作。為了滿足強實時性的要求,決策系統需要把用於提取特徵的資料以及超高緯模型的引數儲存在DRAM記憶體中。在實際部署過程中,我們發現這部分記憶體資料量可以多達10TB級甚至更高。藉助Intel Optane DC memory(PMEM)持久化記憶體高容量,持久化等特性,可以很好的降低實時決策系統記憶體資料的儲存成本,並大大加快傳統DRAM-based記憶體系統因節點失效所需的恢復時間。我們將介紹我們利用PMDK對第四正規化自研的兩項核心科技:實時特徵提取資料庫RTIDB和高緯引數伺服器叢集進行優化的成果。

講師介紹張建,英特爾亞太研發有限公司大資料部門的軟體工程經理,專注於大資料和機器學習中儲存方案優化。
議題介紹:Spark中Shuffle密集型的作業的效能通常會受限於Shuffle過程中磁碟I/O和CPU開銷。同時,很多工作證明簡單的用更快的儲存介質和網路來加速Shuffle很難達到良好的效果。我們將介紹如何利用持久化記憶體與高效能RDMA網路來加速Spark Shuffle。Spark Shuffle RPMem擴充套件提供了一個基於PMem和RDMA來加速Shuffle的方案,它採用PMem作為Shuffle的儲存介質,利用PMDK使用者態程式設計庫進行資料讀寫,減小使用者態、核心態切換與檔案系統開銷;用基於RDMA網路協議異構的傳輸層實現高效能資料傳輸;還將RDMA直接註冊在PMem上,減少記憶體拷貝。 初步測試結果表明,相對傳統Shuffle方案,Spark Shuffle RPMem擴充套件可以對Shuffle密集型作業帶來顯著的效能提升和時延下降。

活動支援

英特爾AI實踐日工作組

合作伙伴

博文視點

活動獎品(抽獎)

· 博文視點出版的技術書籍3本
· 100元JD電子購物卡3張

更多參會福利

· 前50位有效報名聽眾,將有機會獲得英特爾中國編寫的《製造行業AI實踐手冊》一本
· 所有有效報名的開發者聽眾,參會資格稽核通過後會得到隨機紅包
· 所有線上開發者,根據線上時長、互動提問優質問題,獲得0.3-10元不等的隨機紅包

報名連結:https://www.slidestalk.com/m/276

相關文章