Spark概念介紹

Spark概念介紹：
spark應用程式在叢集中以一系列獨立的執行緒執行，通過驅動器程式(Driver Program)發起一系列的並行操作。SparkContext物件作為中間的連線物件，通過SparkContext物件連線叢集。SparkContext物件可以連線叢集管理器(YARN,Mesos.standalone等)

目前Spark叢集支援以下叢集管理模式：
(1)本地模式
(2)Mesos模式： 一種通用的叢集管理模式，可以執行Hadoop Mapreduce和應用服務
(3)YARN模式：Hadoop2.0的資源管理模式

Spark的Http Server的啟動過程：
在SparkContext初始化的過程中建立SparkUI(包含一個bind函式)
bind函式中的startJettyServer函式通過Connect啟動JettyServer

Spark WebUI的頁面資料獲取：
當SparkUI進行初始化操作時，會新增監聽(Listener)
SparkListener(利用觀察者模式)，如果監聽到Stage和task相關的事件發生，Listener就會收到通知，則對資料進行更新，頁面的資料需要手動進行重新整理