原文出處：http://www.ibm.com/developerworks/library/os-spark/
Spark 是一種與 Hadoop 相似的開源叢集計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啟用了記憶體分佈資料集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。
Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程式框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密整合，其中的 Scala 可以像操作本地集合物件一樣輕鬆地操作分散式資料集。
儘管建立 Spark 是為了支援分散式資料集上的迭代作業，但是實際上它是對 Hadoop 的補充，可以在 Hadoo 檔案系統中並行執行。通過名為 Mesos 的第三方叢集框架可以支援此行為。Spark 由加州大學伯克利分校 AMP 實驗室 (Algorithms, Machines, and People Lab) 開發，可用來構建大型的、低延遲的資料分析應用程式。
Spark 叢集計算架構
雖然 Spark 與 Hadoop 有相似之處，但它提供了具有有用差異的一個新的叢集計算框架。首先，Spark 是為叢集計算中的特定型別的工作負載而設計，即那些在並行操作之間重用工作資料集（比如機器學習演算法）的工作負載。為了優化這些型別的工作負 載，Spark 引進了記憶體叢集計算的概念，可在記憶體叢集計算中將資料集快取在記憶體中，以縮短訪問延遲。
Spark 還引進了名為 彈性分散式資料集 (RDD) 的抽象。RDD 是分佈在一組節點中的只讀物件集合。這些集合是彈性的，如果資料集一部分丟失，則可以對它們進行重建。重建部分資料集的過程依賴於容錯機制，該機制可以維護 “血統”（即充許基於資料衍生過程重建部分資料集的資訊）。RDD 被表示為一個 Scala 物件，並且可以從檔案中建立它；一個並行化的切片（遍佈於節點之間）；另一個 RDD 的轉換形式；並且最終會徹底改變現有 RDD 的永續性，比如請求快取在記憶體中。
Spark 中的應用程式稱為驅動程式，這些驅動程式可實現在單一節點上執行的操作或在一組節點上並行執行的操作。與 Hadoop 類似，Spark 支援單節點叢集或多節點叢集。對於多節點操作，Spark 依賴於 Mesos 叢集管理器。Mesos 為分散式應用程式的資源共享和隔離提供了一個有效平臺（參見 圖 1）。該設定充許 Spark 與 Hadoop 共存於節點的一個共享池中。
圖 1. Spark 依賴於 Mesos 叢集管理器實現資源共享和隔離。
驅動程式可以在資料集上執行兩種型別的操作：動作和轉換。動作 會在資料集上執行一個計算，並向驅動程式返回一個值；而轉換 會從現有資料集中建立一個新的資料集。動作的示例包括執行一個 Reduce 操作（使用函式）以及在資料集上進行迭代（在每個元素上執行一個函式，類似於 Map 操作）。轉換示例包括 Map 操作和 Cache 操作（它請求新的資料集儲存在記憶體中）。
我們隨後就會看看這兩個操作的示例，但是，讓我們先來了解一下 Scala 語言。
Scala 簡介
Scala 可能是 Internet 上不為人知的祕密之一。您可以在一些最繁忙的 Internet 網站（如 Twitter、LinkedIn 和 Foursquare，Foursquare 使用了名為 Lift 的 Web 應用程式框架）的製作過程中看到 Scala 的身影。還有證據表明，許多金融機構已開始關注 Scala 的效能（比如 EDF Trading 公司將 Scala 用於衍生產品定價）。
Scala 是一種多正規化語言，它以一種流暢的、讓人感到舒服的方法支援與命令式、函式式和麵向物件的語言相關的語言特性。從物件導向的角度來看，Scala 中的每個值都是一個物件。同樣，從函式觀點來看，每個函式都是一個值。Scala 也是屬於靜態型別，它有一個既有表現力又很安全的型別系統。
此外，Scala 是一種虛擬機器 (VM) 語言，並且可以通過 Scala 編譯器生成的位元組碼，直接執行在使用 Java Runtime Environment V2 的 Java™ Virtual Machine (JVM) 上。該設定充許 Scala 執行在執行 JVM 的任何地方（要求一個額外的 Scala 執行時庫）。它還充許 Scala 利用大量現存的 Java 庫以及現有的 Java 程式碼。
最後，Scala 具有可擴充套件性。該語言（它實際上代表了可擴充套件語言）被定義為可直接整合到語言中的簡單擴充套件。
讓我們來看一些實際的 Scala 語言示例。Scala 提供自身的直譯器，充許您以互動方式試用該語言。Scala 的有用處理已超出本文所涉及的範圍，但是您可以在 參考資料 中找到更多相關資訊的連結。
清單 1 通過 Scala 自身提供的直譯器開始了快速瞭解 Scala 語言之旅。啟用 Scala 後，系統會給出提示，通過該提示，您可以以互動方式評估表示式和程式。我們首先建立了兩個變數，一個是不可變變數（即 vals，稱作單賦值），另一個變數是可變變數 (vars)。注意，當您試圖更改 b（您的 var）時，您可以成功地執行此操作，但是，當您試圖更改 val 時，則會返回一個錯誤。
$ scala
Welcome to Scala version 2.8.1.final (OpenJDK Client VM, Java 1.6.0_20).
Type in expressions to have them evaluated.
Type :help for more information.
scala> val a = 1
a: Int = 1
scala> var b = 2
b: Int = 2
scala> b = b + a
b: Int = 3
scala> a = 2
<console>6: error: reassignment to val
a = 2
^
|
接下來，建立一個簡單的方法來計算和返回 Int 的平方值。在 Scala 中定義一個方法得先從 def 開始，後跟方法名稱和引數列表，然後，要將它設定為語句的數量（在本示例中為 1）。無需指定任何返回值，因為可以從方法本身推斷出該值。注意，這類似於為變數賦值。在一個名為 3 的物件和一個名為 res0 的結果變數（Scala 直譯器會自動為您建立該變數）上，我演示了這個過程。這些都顯示在 清單 2 中。
scala> def square(x: Int) = x*x square: (x: Int)Int scala> square(3) res0: Int = 9 scala> square(res0) res1: Int = 81 |
接下來，讓我們看一下 Scala 中的一個簡單類的構建過程（參見 清單 3）。定義一個簡單的 Dog 類來接收一個 String 引數（您的名稱建構函式）。注意，這裡的類直接採用了該引數（無需在類的正文中定義類引數）。還有一個定義該引數的方法，可在呼叫引數時傳送一個字串。您要建立一個新的類例項，然後呼叫您的方法。注意，直譯器會插入一些豎線：它們不屬於程式碼。
scala> class Dog( name: String ) {
| def bark() = println(name + " barked")
| }
defined class Dog
scala> val stubby = new Dog("Stubby")
stubby: Dog = Dog@1dd5a3d
scala> stubby.bark
Stubby barked
|
完成上述操作後，只需輸入 :quit 即可退出 Scala 直譯器。
第一步是下載和配置 Scala。清單 4 中顯示的命令闡述了 Scala 安裝的下載和準備工作。使用 Scala v2.8，因為這是經過證實的 Spark 所需的版本。
$ wget http://www.scala-lang.org/downloads/distrib/files/scala-2.8.1.final.tgz $ sudo tar xvfz scala-2.8.1.final.tgz --directory /opt/ |
要使 Scala 視覺化，請將下列行新增至您的 .bashrc 中（如果您正使用 Bash 作為 shell）：
export SCALA_HOME=/opt/scala-2.8.1.final export PATH=$SCALA_HOME/bin:$PATH |
接著可以對您的安裝進行測試，如 清單 5 所示。這組命令會將更改載入至 bashrc 檔案中，接著快速測試 Scala 直譯器 shell。
$ scala
Welcome to Scala version 2.8.1.final (OpenJDK Client VM, Java 1.6.0_20).
Type in expressions to have them evaluated.
Type :help for more information.
scala> println("Scala is installed!")
Scala is installed!
scala> :quit
|
如清單中所示，現在應該看到一個 Scala 提示。您可以通過輸入 :quit 執行退出。注意，Scala 要在 JVM 的上下文中執行操作，所以您會需要 JVM。我使用的是 Ubuntu，它在預設情況下會提供 OpenJDK。
接下來，請獲取最新的 Spark 框架副本。為此，請使用 清單 6 中的指令碼。
$ wget https://github.com/mesos/spark/tarball/0.3-scala-2.8/mesos-spark-0.3-scala-2.8-0-gc86af80.tar.gz $ sudo tar xvfz mesos-spark-0.3-scala-2.8-0-gc86af80.tar.gz |
接下來，使用下列行將 spark 配置設定在 Scala 的根目錄 ./conf/spar-env.sh 中：
export SCALA_HOME=/opt/scala-2.8.1.final |
設定的最後一步是使用簡單的構建工具 (sbt) 更新您的分佈。sbt 是一款針對 Scala 的構建工具，用於 Spark 分佈中。您可以在 mesos-spark-c86af80 子目錄中執行更新和變非同步驟，如下所示：
$ sbt/sbt update compile |
注意，在執行此步驟時，需要連線至 Internet。當完成此操作後，請執行 Spark 快速檢測，如 清單 7 所示。 在該測試中，需要執行 SparkPi 示例，它會計算 pi 的估值（通過單位平方中的任意點取樣）。所顯示的格式需要樣例程式 (spark.examples.SparkPi) 和主機引數，該引數定義了 Mesos 主機（在此例中，是您的本地主機，因為它是一個單節點叢集）和要使用的執行緒數量。注意，在 清單 7 中，執行了兩個任務，而且這兩個任務被序列化（任務 0 開始和結束之後，任務 1 再開始）。
$ ./run spark.examples.SparkPi local[1] 11/08/26 19:52:33 INFO spark.CacheTrackerActor: Registered actor on port 50501 11/08/26 19:52:33 INFO spark.MapOutputTrackerActor: Registered actor on port 50501 11/08/26 19:52:33 INFO spark.SparkContext: Starting job... 11/08/26 19:52:33 INFO spark.CacheTracker: Registering RDD ID 0 with cache 11/08/26 19:52:33 INFO spark.CacheTrackerActor: Registering RDD 0 with 2 partitions 11/08/26 19:52:33 INFO spark.CacheTrackerActor: Asked for current cache locations 11/08/26 19:52:33 INFO spark.LocalScheduler: Final stage: Stage 0 11/08/26 19:52:33 INFO spark.LocalScheduler: Parents of final stage: List() 11/08/26 19:52:33 INFO spark.LocalScheduler: Missing parents: List() 11/08/26 19:52:33 INFO spark.LocalScheduler: Submitting Stage 0, which has no missing ... 11/08/26 19:52:33 INFO spark.LocalScheduler: Running task 0 11/08/26 19:52:33 INFO spark.LocalScheduler: Size of task 0 is 1385 bytes 11/08/26 19:52:33 INFO spark.LocalScheduler: Finished task 0 11/08/26 19:52:33 INFO spark.LocalScheduler: Running task 1 11/08/26 19:52:33 INFO spark.LocalScheduler: Completed ResultTask(0, 0) 11/08/26 19:52:33 INFO spark.LocalScheduler: Size of task 1 is 1385 bytes 11/08/26 19:52:33 INFO spark.LocalScheduler: Finished task 1 11/08/26 19:52:33 INFO spark.LocalScheduler: Completed ResultTask(0, 1) 11/08/26 19:52:33 INFO spark.SparkContext: Job finished in 0.145892763 s Pi is roughly 3.14952 |
通過增加執行緒數量，您不僅可以增加執行緒執行的並行化，還可以用更少的時間執行作業（如 清單 8 所示）。
清單 8. 對包含兩個執行緒的 Spark 執行另一個快速檢測
$ ./run spark.examples.SparkPi local[2] 11/08/26 20:04:30 INFO spark.MapOutputTrackerActor: Registered actor on port 50501 11/08/26 20:04:30 INFO spark.CacheTrackerActor: Registered actor on port 50501 11/08/26 20:04:30 INFO spark.SparkContext: Starting job... 11/08/26 20:04:30 INFO spark.CacheTracker: Registering RDD ID 0 with cache 11/08/26 20:04:30 INFO spark.CacheTrackerActor: Registering RDD 0 with 2 partitions 11/08/26 20:04:30 INFO spark.CacheTrackerActor: Asked for current cache locations 11/08/26 20:04:30 INFO spark.LocalScheduler: Final stage: Stage 0 11/08/26 20:04:30 INFO spark.LocalScheduler: Parents of final stage: List() 11/08/26 20:04:30 INFO spark.LocalScheduler: Missing parents: List() 11/08/26 20:04:30 INFO spark.LocalScheduler: Submitting Stage 0, which has no missing ... 11/08/26 20:04:30 INFO spark.LocalScheduler: Running task 0 11/08/26 20:04:30 INFO spark.LocalScheduler: Running task 1 11/08/26 20:04:30 INFO spark.LocalScheduler: Size of task 1 is 1385 bytes 11/08/26 20:04:30 INFO spark.LocalScheduler: Size of task 0 is 1385 bytes 11/08/26 20:04:30 INFO spark.LocalScheduler: Finished task 0 11/08/26 20:04:30 INFO spark.LocalScheduler: Finished task 1 11/08/26 20:04:30 INFO spark.LocalScheduler: Completed ResultTask(0, 1) 11/08/26 20:04:30 INFO spark.LocalScheduler: Completed ResultTask(0, 0) 11/08/26 20:04:30 INFO spark.SparkContext: Job finished in 0.101287331 s Pi is roughly 3.14052 |
使用 Scala 構建一個簡單的 Spark 應用程式
要構建 Spark 應用程式，您需要單一 Java 歸檔 (JAR) 檔案形式的 Spark 及其依賴關係。使用 sbt 在 Spark 的頂級目錄中建立該 JAR 檔案，如下所示：
$ sbt/sbt assembly |
結果產生一個檔案 ./core/target/scala_2.8.1/"Spark Core-assembly-0.3.jar"。將該檔案新增至您的 CLASSPATH 中，以便可以訪問它。在本示例中，不會用到此 JAR 檔案，因為您將會使用 Scala 直譯器執行它，而不是對其進行編譯。
在本示例中，使用了標準的 MapReduce 轉換（如 清單 9 所示）。該示例從執行必要的 Spark 類匯入開始。接著，需要定義您的類 (SparkTest) 及其主方法，用它解析稍後使用的引數。這些引數定義了執行 Spark 的環境（在本例中，該環境是一個單節點叢集）。接下來，要建立 SparkContext 物件，它會告知 Spark 如何對您的叢集進行訪問。該物件需要兩個引數：Mesos 主機名稱（已傳入）以及您分配給作業的名稱 (SparkTest)。解析命令列中的切片數量，它會告知 Spark 用於作業的執行緒數量。要設定的最後一項是指定用於 MapReduce 操作的文字檔案。
最後，您將瞭解 Spark 示例的實質，它是由一組轉換組成。使用您的檔案時，可呼叫 flatMap 方法返回一個 RDD（通過指定的函式將文字行分解為標記）。然後通過 map 方法（該方法建立了鍵值對）傳遞此 RDD ，最終通過 ReduceByKey 方法合併鍵值對。合併操作是通過將鍵值對傳遞給 _ + _ 匿名函式來完成的。該函式只採用兩個引數（金鑰和值），並返回將兩者合併所產生的結果（一個 String 和一個 Int）。接著以文字檔案的形式傳送該值（到輸出目錄）。
清單 9. Scala/Spark 中的 MapReduce (SparkTest.scala)
import spark.SparkContext
import SparkContext._
object SparkTest {
def main( args: Array[String]) {
if (args.length == 0) {
System.err.println("Usage: SparkTest <host> [<slices>]")
System.exit(1)
}
val spark = new SparkContext(args(0), "SparkTest")
val slices = if (args.length > 1) args(1).toInt else 2
val myFile = spark.textFile("test.txt")
val counts = myFile.flatMap(line => line.split(" "))
.map(word => (word, 1))
.reduceByKey(_ + _)
counts.saveAsTextFile("out.txt")
}
}
SparkTest.main(args)
|
要執行您的指令碼，只需要執行以下命令：
$ scala SparkTest.scala local[1] |
您可以在輸出目錄中找到 MapReduce 測試檔案（如 output/part-00000）。
自從開發了 Hadoop 後，市場上推出了許多值得關注的其他大資料分析平臺。這些平臺範圍廣闊，從簡單的基於指令碼的產品到與 Hadoop 類似的生產環境。
名為 bashreduce 的平臺是這些平臺中最簡單的平臺之一，顧名思義，它充許您在 Bash 環境中的多個機器上執行 MapReduce 型別的操作。bashreduce 依賴於您計劃使用的機器叢集的 Secure Shell（無密碼），並以指令碼的形式存在，通過它，您可以使用 UNIX®-style 工具（sort、awk、netcat 等）請求作業。
GraphLab 是另一個受人關注的 MapReduce 抽象實現，它側重於機器學習演算法的並行實現。在 GraphLab 中，Map 階段會定義一些可單獨（在獨立主機上）執行的計算指令，而 Reduce 階段會對結果進行合併。
最後，大資料場景的一個新成員是來自 Twitter 的 Storm（通過收購 BackType 獲得）。Storm 被定義為 “實時處理的 Hadoop”，它主要側重於流處理和持續計算（流處理可以得出計算的結果）。Storm 是用 Clojure 語言（Lisp 語言的一種方言）編寫的，但它支援用任何語言（比如 Ruby 和 Python）編寫的應用程式。Twitter 於 2011 年 9 月以開源形式釋出 Storm。
Spark 是不斷壯大的大資料分析解決方案家族中備受關注的新增成員。它不僅為分佈資料集的處理提供一個有效框架，而且以高效的方式（通過簡潔的 Scala 指令碼）處理分佈資料集。Spark 和 Scala 都處在積極發展階段。不過，由於關鍵 Internet 屬性中採用了它們，兩者似乎都已從受人關注的開源軟體過渡成為基礎 Web 技術。