【雲棲大會】再談開源大資料

雲端計算小粉發表於2016-10-17
大資料
2016杭州雲棲大會在雲棲小鎮召開，本屆大會以“飛天･進化”為主題，內容規模比去年翻倍，從原本2天的議程增加至4天，從10月13日持續到16日，超過400場主題演講使開發者們對阿里雲端計算生態發展和應用趨勢、前沿技術和產品有了更深刻的瞭解。
阿里在09年就開始嘗試使用Hadoop技術，先後包括Hadoop、Spark、Hbase及Jtorm，這些開源技術在不同的業務線廣泛使用，推動阿里業務的發展。本論壇第一次聚集了阿里Hadoop、Spark、Hbase、Jtorm各領域的技術專家，講述Hadoop生態的過去現在未來及阿里在Hadoop大生態領域的實踐與探索。本論壇還發布了阿里雲E-MapReduce互動式產品。
在2016杭州雲棲大會第四天的“開源大資料技術專場”分會場上，範文臣、Intel 研發經理鄭鍇、逸晗網路科技大資料平臺負責人楊智、 Intel技術專家毛瑋、阿里雲技術專家木艮圍繞開源大資料技術為大家哦做了精彩的分享。
範文臣：Deep dive into catalyst
本次演講範文臣從 Catalyst 的基本概念開始，深入講解了 Catalyst 提供了哪些主要特性來支援 Spark 的 API 抽象。
鄭鍇：HDFS下一步新思考：在支援了糾刪碼之後
鄭鍇首先回顧了最近一兩年Hadoop社群對HDFS 糾刪碼的支援，介紹EC對使用者的價值，適用場景和部署建議。然後重點思考了Hadoop社群在HDFS上面接下來會怎麼走，介紹當前在做的幾個重要特性，探討大資料儲存的發展趨勢，同時也希望跟使用者有效互動得到更多反饋。
楊智：梨視訊基於E-MapReduce大資料推薦系統 
內容包括逸晗網路科技的資料實時統計、資料處理平臺、推薦實時反饋、推薦模型&排序機器學習模型訓練和更新等。
毛瑋：分散式流處理框架:功能對比及效能評估
毛瑋從流處理的核心概念，到功能的完備性，全方位對比了目前比較熱門的流處理框架：Spark Streaming, Flink，Storm和Gearpump。同時從吞吐量個延時兩個方面，對各個平臺進行了效能評估。
木艮：Hadoop儲存與計算分離實踐
為什麼需要儲存計算分離、分離後的效能怎麼樣，做了哪些優化，適應哪些場景？是木艮在本次演講中告訴我們的內容。


相關文章