雲場景實踐研究第79期：熊貓直播

場景研讀發表於2018-02-09
更多雲場景實踐研究案例，點選這裡：【雲場景實踐研究合集】聯合不是簡單的加法，而是無限的生態，誰會是下一個獨角獸
作為知名泛娛樂直播平臺，熊貓直播資料緯度多、資料量巨大，通過藉助阿里雲多項服務，不斷優化雲上資源，最終建立起靈活配置、高擴充套件性、易於運維的雲上架構。本文將帶領大家一同瞭解熊貓直播大視訊資料業務的雲上歷程。
“未來，熊貓直播會將依託阿里雲，繼續深耕大視訊資料業務，滿足大視訊時代不斷演進的大資料需求。”
——盧聖剛
熊貓直播大資料技術專家
為了滿足大視訊時代的大資料需求，熊貓直播經歷了從Fluentd + ODPS、到Flume + Ambari、再到Flume + EMR的架構演進歷程。
採用的阿里雲產品
阿里云云伺服器 ECS
阿里雲 E-MapReduce
阿里雲釘釘企業版
為什麼使用阿里雲
阿里雲EMR服務具備靈活、快速、儲存成本低的優勢。
阿里雲服務的支撐保障，使熊貓直播能夠減少運維工作，更專注於業務。
關於熊貓直播
熊貓直播是由上海熊貓互娛文化有限公司創辦的一家彈幕式視訊直播網站。註冊資本為2000萬元，法定代表人為龍飛。2016年11月，熊貓直播榮登2016中國泛娛樂指數盛典“中國文娛創新企業榜 TOP30”。
熊貓直播的痛點所在
在身處大視訊時代的當下，熊貓直播面對分散在MySQL、Redis、MongoDB之中的資料來源頭，需要實現統一的資料儲存；面對不同的業務場景和高速的業務發展，需要實現靈活的橫向擴充套件——不僅能靈活新增開源組建，還需要能快速增加計算節點。
作為高速發展的直播平臺，熊貓直播資料緯度多、資料量巨大——累計已經達到PB級，僅僅每天新增的就有幾十T。就離線計算的資料量看，每天幾百個日常計算任務，以及大量的臨時查詢需求。
為什麼選擇阿里雲？
阿里雲EMR服務靈活、快速、儲存成本低
阿里雲EMR——Elastic MapReduce（E-MapReduce），是基於阿里雲ECS之上半托管開源大資料軟體棧。EMR的彈性動態伸縮，能夠幫助熊貓直播直線快捷的擴容、縮容EMR Hadoop叢集，靈活、快速部署開源大資料服務（HBase、Kafka、Impala，Flink等），還具備資料儲存成本低的優勢。

阿里雲服務能減少運維工作
運維機制對於選擇EMR具有關鍵作用。阿里雲企業服務對熊貓直播給予7*24小時釘釘群支援，快速解決叢集使用問題。阿里雲服務的支撐保障，使熊貓直播能夠減少運維工作，更專注於業務。
遷移上阿里雲後的成效
熊貓直播藉助阿里雲服務，不斷優化雲上資源，最終建立起靈活配置、高擴充套件性、易於運維的雲上架構。
關於熊貓直播的更多實踐詳情：熊貓直播：大視訊資料業務的雲上歷程
原文釋出日期：2017-12-21
雲棲社群場景研究小組成員：董普慶，仲浩。


相關文章