與國際頂尖大牛探討下一代計算 | Ray Forward Meetup 回顧

支付寶技術團隊發表於2019-07-03

2019 年 6 月 22 日下午,國內首次 Ray Meetup 《下一代計算 — Ray Forward》在北京環球金融中心螞蟻金服辦公室如期舉行,國內外頂尖技術大牛們為社群奉獻了 9 場主題演講。來自一線網際網路公司、人工智慧領域的獨角獸公司以及知名大學的愛好者們共同探討“下一代計算”。

由於本次 Meetup 是定向邀約,很遺憾沒有見到每一位熱愛計算領域的同學。為了讓大家更好地瞭解本次 Ray Forward 北京 Meetup,為大家整理了當天的精彩演講,希望能夠對未參會的朋友有所啟發,參會的朋友也可以溫故知新呢。文末包含活動視訊回顧地址。

ray 配圖.jpg

圖為Ray Forward Meetup 現場

《Ray Forward》

蕭何,螞蟻金服計算儲存首席架構師

與國際頂尖大牛探討下一代計算 | Ray Forward Meetup 回顧

歡迎來到螞蟻金服舉辦的國內第一次的 Ray Meetup。大家可能知道,螞蟻是做一個 TechFin 而不是 FinTech的公司,也就意味著我們定位是一家科技公司,而具體做的範疇為金融行業。大家可能也聽說過螞蟻的科技金融戰略,實現普惠金金融。大型的銀行以及金融機構主要解決的是 top10-20% 的問題,而螞蟻金服主要是想解決剩下的 80-90% 的長尾問題。而解決這些問題的核心是 使用技術來降低成本 ,實現普惠金融。具體的科技金融戰略可以用BASIC來表示 - Blockchain, AI, Security, IoT 和 Computing。此次 Meetup 想要聚焦的就是 Computing 這個領域。

自從 2000 年初 Google 發表了三篇分散式計算的論文(MapReduce, GFS, BigTable),業界和社群也開始逐漸的關注和實現分散式計算的框架和工具,比如起初開源的 Hadoop,為了提升效率出現 DAG 的執行方式,使用記憶體進行計算的 Spark,後面又出現了為滿足實時性要求出現了 Streaming 的框架,為滿足互動式需求基於Impala/Presto 的實現等等。

對於螞蟻金服來說,大資料一定是對業務發展非常關鍵的一環,那我們也在思考,下一代計算會是什麼樣的形態?今天很高興邀請到各位業界的精英來一起探討下一代的計算是什麼。螞蟻金服是在 2017 年看到伯克利出了 Ray 這個想法,我們那時候發現它是一個非常靈活的底層框架,希望可以在 Ray 的上面建立計算的大生態,今天也會分享我們在這方面已經進行的工作。非常期待這個 Meetup 可以成為一個大家暢所欲言互相交流下一代計算的論壇!

《Ray:Past,Present,ant Future》

Ion Stoica,加州大學伯克利分校 RISE 實驗室主管教授

與國際頂尖大牛探討下一代計算 | Ray Forward Meetup 回顧

Shared forward-looking insights into next-generation computing trends and how Ray completes the puzzle. He stated that modern applications are increasingly distributed and complex driven by artificial intelligence advances. Ray was created in 2017 at Berekely initially to address new computing challenges such as reinforcement learning. At an early discussion with Ant Fin, it was suggested that Ray be considered as a general computing platform. While the RISELab team was initially a little taken aback, Ray has since been positioned as a next-generation computing platform and been in active collaboration with Ant Financial. The state-of-the-art practice is to integrate best-of-breed frameworks. Gluing frameworks with different computing paradigms incurs development and management costs as well as end-to-end latency. Ray is a general, easy-to-use and high performant framework created to unify computing for these complex scenarios. You can listen to his full talk on the video replay here.

《“回到未來”之融合計算》

郭臻,螞蟻金服分散式計算負責人

網際網路服務的業務決策邏輯變得越來越複雜,從計算模式上跨越了從簡單的規則計算,統計分析,到關係分析,機器學習等,實效性也從每週每天演變到了實時線上,在安全隱私等領域也有越來越多的需求。當前的業務實踐主要依賴於adhoc整合多個特定領域框架來實現整體的業務邏輯,在開發,質量(效能,一致性,故障恢復,安全隱私,資源利用等),運維等方面都帶來了很多的挑戰。為了解決這個問題,我們提出了融合計算的概念,希望能在單一框架內支援不同的計算範疇,並提供一體化的程式設計/執行/運維體驗。這個演講介紹了融合計算的問題,挑戰,我們如何解決這些挑戰,以及在這個過程中沉澱的一些融合框架。

20190622-IMG_4767.jpg

《滴滴離線儲存計算平臺架構與實踐》

張潤林,滴滴離線大資料負責人


20190622-IMG_4799.jpg

滴滴出行作為全球最大的移動出行平臺,每天都採集和分析處理非常多的資料,這對離線儲存和計算都提出了很高的挑戰。本次分享內容主要介紹滴滴離線儲存計算的實踐以及在資料體系建設上的一些思考。

《基於融合計算的線上學習》

徒離,螞蟻金服線上計算負責人

20190622-IMG_4784.jpg

螞蟻金服面對金融科技中所需要的高實時性“資料計算+機器學習”的融合場景。我們選擇了使用Ray當整體的計算底盤來解決這些挑戰。本演講中我們希望介紹技術選型過程和整體技術方案,探討創新點和我們未來的計劃及期待。

《使用Pulsar function進行無伺服器化的事件流計算》

郭斯傑,StreamNative創始人

20190622-IMG_4802.jpg

最近幾年無伺服器化成為在大規模事件流計算中越來越重要的趨勢。這種無伺服器化的處理方式可以讓資料工程更加實時化,簡單化。本演講我們將介紹下一代的事件流系統Apache Pulsar並探討其應用。

《從靜態資料流到動態的演變和迴歸》

江折,螞蟻金服分散式計算 高階開發工程師

20190622-IMG_4810.jpg

當前越來越複雜的業務和應用場景為資料流系統提出了新的需求:控制流和有狀態,在這種背景下,動態資料流系統應運而生。然而,我們觀察到:在動態資料流系統中,非直接層是其最大的功臣,但也是問題的主要製造者。本工作解決由非直接層導致的分散式垃圾回收問題和效能問題。

《批流統一計算引擎Blink簡介》

黎鋼,阿里巴巴高階技術專家


20190622-IMG_4823.jpg

Blink 是阿里巴巴基於Flink開發的新一代流式計算引擎,在阿里巴巴有廣泛的應用和多次雙11的考驗。今年的早些時候 Blink 對外開源,將所做的改進貢獻回社群。本演講將著重介紹 Blink 在架構、效能、穩定性等方面作出的改進。

《螞蟻自研的下一代流圖融合計算框架》

泰初,螞蟻金服實時計算 高階技術專家

20190622-IMG_4844.jpg

作為螞蟻新計算體系中的創新型專案,在傳統的分散式計算領域中,另闢蹊徑將流計算和圖計算相結合。相對於以往的流計算框架,將計算的邊界從傳統的ETL、報表擴充到圖計算領域,極大的豐富了流計算的應用場景。在流圖混合的場景中,能夠有效的複用中間狀態資料,從而降低端到端的時延和系統的成本。

更多回顧內容 https://tech.antfin.com/community/activities/698/review

向嘉賓提問 https://survey.alipay.com/apps/zhiliao/eZdeADCTl

(釘釘群會定期同步嘉賓回覆)


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69904796/viewspace-2649450/,如需轉載,請註明出處,否則將追究法律責任。

相關文章