Linux叢集大全(轉)

Linux叢集大全(轉)[@more@]計算 Linux 中叢集專案的數量就象計算矽谷中創業公司的數量一樣。不象 Windows NT 已經受其自身的封閉環境阻礙，Linux 有大量的叢集系統可供選擇，適合於不同的用途和需要。但確定應該使用哪一個叢集的工作卻沒有因此變得簡單。

問題的部分原因在於術語叢集用於不同場合。IT 經理可能關心如何使伺服器執行時間更長，或使應用程式執行得更快，而數學家可能更關心在伺服器上進行大規模數值計算。兩者都需要群集，但是各自需要不同特性的群集。

本文調查了不同形式的叢集以及許多實現中的一部分，這些實現可以買到，也可以免費軟體形式獲得。儘管列出的所有解決方案並不都是開放原始碼，但是大多數軟體都遵循分發 Linux 原始碼的公共慣例，特別是由於那些實現叢集的人還常常希望調整系統效能，以滿足需要。

硬體

叢集總是涉及到機器之間的硬體連線。在現今大多數情況下，這只是指“快速乙太網”網路卡和集線器。但在尖端科學領域中，有許多專為叢集設計的網路介面卡。

它們包括 Myricom 的 Myrinet、Giganet 的 cLAN 和 IEEE 1596 標準可伸縮一致介面 (SCI)。那些卡的功能不但在群集的節點之間提供高頻寬，而且還減少延遲（傳送訊息所用的時間）。對於在節點間交換狀態資訊以使其操作保持同步情況，那些延遲是至關重要的。

Myricom

Myricom 提供網路卡和交換機，其單向互連速度最高可達到 1.28 Gbps。網路卡有兩種形式，銅線型和光纖型。銅線型 LAN 可以在 10 英尺距離內以全速進行通訊，而在長達 60 英尺距離內以半速進行操作。光纖型 Myrinet 可以在 6.25 英里長的單模光纖或者 340 英尺長的多模光纖上全速執行。Myrinet 只提供直接點到點、基於集線器或基於交換機的網路配置，但在可以連線到一起的交換光纖數量方面沒有限制。新增交換光纖只會增加節點間的延遲。兩個直接連線的節點之間的平均延遲是 5 到 18 微秒，比乙太網快得多。

叢集型別

最常見的三種群集型別包括高效能科學群集、負載均衡群集和高可用性群集。

科學群集

通常，第一種涉及為群集開發並行程式設計應用程式，以解決複雜的科學問題。這是平行計算的基礎，儘管它不使用專門的並行超級計算機，這種超級計算機內部由十至上萬個獨立處理器組成。但它卻使用商業系統，如透過高速連線來連結的一組單處理器或雙處理器 PC，並且在公共訊息傳遞層上進行通訊以執行並行應用程式。因此，您會常常聽說又有一種便宜的 Linux 超級計算機問世了。但它實際是一個計算機群集，其處理能力與真的超級計算機相等，通常一套象樣的群集配置開銷要超過 $100,000。這對一般人來說似乎是太貴了，但與價值上百萬美元的專用超級計算機相比還算是便宜的。

負載均衡群集

負載均衡群集為企業需求提供了更實用的系統。如名稱所暗示的，該系統使負載可以在計算機群集中儘可能平均地分攤處理。該負載可能是需要均衡的應用程式處理負載或網路流量負載。這樣的系統非常適合於執行同一組應用程式的大量使用者。每個節點都可以處理一部分負載，並且可以在節點之間動態分配負載，以實現平衡。對於網路流量也是如此。通常，網路伺服器應用程式接受了太多入網流量，以致無法迅速處理，這就需要將流量傳送給在其它節點上執行的網路伺服器應用。還可以根據每個節點上不同的可用資源或網路的特殊環境來進行最佳化。

高可用性群集

高可用性群集的出現是為了使群集的整體服務儘可能可用，以便考慮計算硬體和軟體的易錯性。如果高可用性群集中的主節點發生了故障，那麼這段時間內將由次節點代替它。次節點通常是主節點的映象，所以當它代替主節點時，它可以完全接管其身份，並且因此使系統環境對於使用者是一致的。

在群集的這三種基本型別之間，經常會發生混合與交雜。於是，可以發現高可用性群集也可以在其節點之間均衡使用者負載，同時仍試圖維持高可用性程度。同樣，可以從要編入應用程式的群集中找到一個並行群集，它可以在節點之間執行負載均衡。儘管叢集系統本身獨立於它在使用的軟體或硬體，但要有效執行系統時，硬體連線將起關鍵作用。

Giganet

Giganet 是用於 Linux 平臺的虛擬介面 (VI) 體系結構卡的第一家供應商，提供 cLAN 卡和交換機。VI 體系結構是獨立於平臺的軟體和硬體系統，它由 Intel 開發，用於建立群集。它使用自己的網路通訊協議在伺服器之間直接交換資料，而不是使用 IP，並且它並不打算成為 WAN 可路由的系統。現在，VI 的未來取決於正在進行的“系統 I/O 組”的工作，這個小組本是 Intel 領導的“下一代 I/O”小組與 IBM 和 Compaq 領導的“未來 I/O 小組”的合併。Giganet 產品當前可以在節點之間提供 1 Gbps 單向通訊，最小延遲為 7 微秒。

IEEE SCI

IEEE 標準 SCI 的延遲更少（低於 2.5 微秒），並且其單向速度可達到 400 MB／秒 (3.2 Gbps)。SCI 是基於環拓撲的網路系統，不像乙太網是星形拓撲。這將使在較大規模的節點之間通訊速度更快。更有用的是環面拓撲網路，它在節點之間有許多環形結構。兩維環面可以用 n 乘 m 的網格表示，其中在每一行和每一列都有一個環形網路。三維環面也類似，可以用三維立體節點網格表示，每一層上有一個環形網路。密集超級計算並行系統使用環面拓撲網路，為成百上千個節點之間的通訊提供相對最快的路徑。

大多數作業系統的限制因素不是作業系統或網路介面，而是伺服器的內部 PCI 匯流排系統。幾乎所有臺式 PC 通常有基本 32-位，33-MHz PCI，並且大多數低端伺服器只提供 133 MB／秒 (1 Gbps)，這限制了那些網路卡的能力。一些昂貴的高階伺服器，如 Compaq Proliant 6500 和 IBM Netfinity 7000 系列，都有 64-位， 66-MHz 網路卡，它們能夠以四倍速度執行。不幸地是，矛盾是更多公司使用低端的系統，因此大多數供應商最終生產和銷售更多低端 PCI 網路卡。也有專門的 64-位，66-MHz PCI 網路卡，但價格要貴許多。例如，Intel 提供了這種型別的“快速乙太網”網路卡，價格約 $400 到 $500，幾乎是普通 PCI 版本價格的 5 倍。

科學群集

某些並行群集系統可以達到如此高的頻寬和低延遲，其原因是它們通常繞過使用網路協議，如 TCP/IP。雖然網際協議對於廣域網很重要，但它包含了太多的開銷，而這些開銷在節點相互已知的封閉網路群集中是不必要的。其實，那些系統中有一部分可以在節點之間使用直接記憶體訪問 (DMA)，它類似於圖形卡和其它外圍裝置在一臺機器中的工作方式。因此橫跨群集，可以透過任何節點上的任何處理器直接訪問一種形式的分散式共享記憶體。它們也可以使用低開銷的訊息傳遞系統，在節點之間進行通訊。

訊息傳遞介面 (MPI) 是並行群集系統間訊息傳遞層的最常見實現。MPI 存在幾種衍生版本，但在所有情況下，它為開發者訪問並行應用程式提供了一個公共 API，這樣開發者就不必手工解決如何在群集的節點之間分發程式碼段。其中一個，Beowulf 系統首先將 MPI 用作公共程式設計介面。

很難決定使用哪種高效能叢集包。許多都提供類似服務，但計算的具體要求才是決定性因素。很多情況下，在那些系統中的研究工作只是解決需求的一半，而且使用那些軟體需要叢集包開發者的特殊幫助和合作。

Beowulf

當談到 Linux 叢集時，許多人的第一反映是 Beowulf。那是最著名的 Linux 科學軟體叢集系統。沒有一個包叫做 Beowulf。實際上，它是一個術語，適用於在 Linux 核心上執行的一組公共軟體工具。其中包括流行的軟體訊息傳遞 API，如“訊息傳送介面”(MPI) 或“並行虛擬機器”(PVM)，對 Linux 核心的修改，以允許結合幾個乙太網介面、高效能網路驅動器，對虛擬記憶體管理器的更改，以及分散式程式間通訊 (DIPC) 服務。公共全域性程式標識空間允許使用 DIPC 機制從任何節點訪問任何程式。Beowulf 還在節點間支援一系列硬體連通性選件。

Beowulf 可能是考慮 Linux 時注意到的第一個高效能叢集系統，這只是因為它的廣泛使用和支援。關於這個主題，有許多文件和書籍。Beowulf 與以下一些科學叢集系統之間的差異可以是實際的，或者只是在產品名稱中有差異。例如，儘管名稱不同，Alta Technologies 的 AltaCluster 就是一個 Beowulf 系統。某些供應商，如 ParTec AG，一家德國公司，提供了 Beowulf 模型的衍生版本，以包括其它管理介面和通訊協議。

Giganet cLAN

Giganet 提供了一種定製的基於硬體的解決方案，它使用非 IP 協議在一個科學群集的節點間進行通訊。如前所述，“虛擬介面”協議透過除去不少協議的開銷，如 IP，以支援伺服器間更快的通訊。另外，硬體系統可按千兆位元速度執行，並且延遲很短，使它非常適合構建最多達 256 個節點的科學群集。該供應商支援 MPI，這樣許多並行應用程式就可以在類似的系統（如 Beowulf）上執行。

它也有 Beowulf 的缺點，即不能用作網路負載共享系統，除非想要編寫應用程式來監控和分發在伺服器間傳送的網路包。

Legion

Legion 試圖構建一個真正的多計算機系統。這是一個群集，其中每個節點都是一個獨立系統，但在使用者看來，整個系統只是一臺計算機。Legion 設計成支援一臺世界範圍的計算機，由上百萬個主機以及數以萬億計的軟體物件組成。在 Legion 中，使用者可以創立他們自己的合作小組。

Legion 提供了高效能並行、負載均衡、分散式資料管理和容錯性。

Legion 提供了高效能並行、負載均衡、分散式資料管理和容錯性。它透過其容錯管理和成員節點間的動態重新配置來支援高可用性。它還有一個可擴充核心，該核心可以在出現新的改進和進展時動態替換或升級。系統並不是只接受單一控制，而是可以由任意數量的組織管理，而每個組織都支援整體的自治部分。Legion API 透過其內建的並行性提供了高效能運算。

Legion 需要使用特別編寫的軟體，以使它可以使用其 API 庫。它位於使用者計算機作業系統之上，協調本地資源和分散式資源。它自動處理資源排程和安全性，還管理上下文空間以描述和訪問整個系統中上億種可能之外的物件。然而，在每個節點上執行時，不需要使用系統管理員特權，並且可以使用無特權的使用者帳號進行工作。這將增加加入 Legion 的節點和使用者的靈活性。

Cplant

Sandia National Lab 中的 Computational Plant 是一個大規模整體並行群集，用於實現 TeraFLOP（萬億次浮點運算）計算並構建在商業元件上。整個系統由“可伸縮單元”組成，這些“可伸縮單元”可以劃分成適合不同目的（計算、磁碟 I/O、網路 I/O、服務管理）。群集中的每個節點都是一個 Linux 系統，帶有專門開發的、提供分割槽服務的核心級模組。每個分割槽的功能可以透過裝入和解除安裝核心級模組來修改。

專案分三個階段完成，開始階段是原型，有 128 個基於 433-MHz DEC Alpha 21164 的系統，其中每個都有 192 MB RAM 和 2 GB 驅動器，相互之間用 Myrinet 網路卡和 8-埠的 SAN 交換機連線。第 1 階段將它擴充為 400 個基於 21164 的工作站，這些工作站的執行速度為 500 MHz，有 192 MB RAM，沒有儲存器，用 16-埠的 SAN 交換機以超立方體結構連線起來，並且執行 Red Hat 5.1。當前的第 2 階段有 592 臺基於 DEC 21264 的機器，它們的執行速度為 500 MHz，有 256 MB RAM，沒有驅動器。每個節點都使用 64-位，33-MHz PCI Myrinet 網路卡，並且仍使用 16-埠交換機以超立方體結構連線。

在 Cplant 上執行的應用程式包括解決稀疏線性系統、流體力學和結構力學中計算系統的最佳化、分子力學的模擬、線性結構力學的有限元分析，以及並行應用程式的動態負載均衡庫。

JESSICA 2

香港大學的系統研究小組有一個基於 Java 的群集，叫做支援 Java 的單系統映像計算體系結構 (JESSICA)，它作為一箇中介軟體層以完成單系統映像的幻想。該層是每個使用分散式共享記憶體 (DSM) 系統進行通訊的節點上執行的所有執行緒的一個全域性執行緒空間。該專案使用 ThreadMark DSM，但最終將用他們自己建立的 JiaJia Using Migrating-home Protocol (JUMP)。他們使用定製的基於 Java 的 ClusterProbe 軟體來管理群集的 50 個節點。

PARIS

法國的 IRISA 研究所的“大規模數字模擬應用程式的程式設計並行和分散式系統”(PARIS) 專案提供了幾種用於建立 Linux 伺服器群集的工具。該專案由三部分組成：群集的資源管理軟體、並行程式語言的執行時環境，以及分散式數字模擬的軟體工具。

資源管理軟體包括用於共享記憶體、磁碟和處理器資源的 Globelins 分散式系統，及其 Dupleix 和 Mome 分散式共享記憶體系統。

負載均衡群集

負載均衡群集在多節點之間分發網路或計算處理負載。在這種情況下，區別在於缺少跨節點執行的單並行程式。大多數情況下，那種群集中的每個節點都是執行單獨軟體的獨立系統。但是，不管是在節點之間進行直接通訊，還是透過中央負載均衡伺服器來控制每個節點的負載，在節點之間都有一種公共關係。通常，使用特定的演算法來分發該負載。

網路流量負載均衡是一個過程，它檢查到某個群集的入網流量，然後將流量分發到各個節點以進行適當處理。它最適合大型網路應用程式，如 Web 或 FTP 伺服器。負載均衡網路應用服務要求群集軟體檢查每個節點的當前負載，並確定哪些節點可以接受新的作業。這最適合執行如資料分析等序列和批處理作業。那些系統還可以配置成關注某特定節點的硬體或作業系統功能：這樣，群集中的節點就沒有必要是一致的。

Linux 虛擬伺服器

“Linux 虛擬伺服器”專案已經實現了許多核心補丁，它們為入網 TCP/IP 流量建立了負載均衡系統。LVS 軟體檢查入網流量，然後根據負載均衡演算法，將流量重定向到一組充當群集的伺服器。這允許網路應用程式，如 Web 伺服器，在節點群集上執行以支援大量使用者。
LVS 支援作為負載均衡伺服器直接連線到同一個 LAN 的群集節點，但它還能夠以通道傳送 IP 包的方式連線到遠端伺服器。後一種方法包括壓縮 IP 包中的均衡請求，這些 IP 資訊包從負載均衡伺服器直接傳送到遠端群集節點。儘管 LVS 可以遠端支援網站的負載均衡，但它使用的負載均衡演算法現在對於虛擬群集中的廣域 Web 伺服器仍無效。因此，如果 Web 伺服器都在同一個 LAN 中，LVS 最好當作負載均衡伺服器使用。

負載均衡系統的幾種硬體實現比在通用作業系統，如 Linux，上執行得更快。它們包括來自 Alteon 和 Foundry 的硬體，其硬體邏輯和最少作業系統可以在硬體中執行流量管理，並且速度比純軟體快。它們的價格也很高，通常都在 $10,000 以上。如果需要簡單和便宜的解決方案，一個有很多記憶體 (256 MB) 的中等 Linux 系統將會是一個好的負載均衡系統。

TurboLinux TurboCluster 和 enFuzion

TurboLinux 有一個產品叫 TurboCluster，它最初以“Linux 虛擬伺服器”專案開發的核心補丁為基礎。因此，它可以得到大部分優點，但它的缺點也與原來的專案一樣。TurboLinux 為此還開發了一些工具，用於監控增加產品實用性的群集行為。一家主要供應商的商業支援也使它對於大型網站更具吸引力。

EnFuzion 支援在節點之間實現自動負載均衡和資源共享，而且可以自動重新安排失敗的作業。

EnFuzion 是 TurboLinux 即將推出的科學群集產品，它並不基於 Beowulf。但是，它可以支援上百個節點以及許多不同的非 Linux 平臺，包括 Solaris、Windows NT、HP-UX、IBM AIX、SGI Irix 和 Tru64。EnFuzion 非常有趣，因為它執行所有現有軟體，並且不需要為環境編寫定製的並行應用程式。它支援在節點間實現自動負載均衡和資源共享，而且可以自動重新安排失敗的作業。

Platform Computing 的 LSF 批處理

Platform Computing 是群集計算領域的老手，現在提供了 Linux 平臺上的“負載均衡設施 (LSF) 批處理”軟體。LSF 批處理允許中央控制器安排作業在群集中任意數量的節點上執行。在概念上，它類似於 TurboLinux enFuzion 軟體，並且支援在節點上執行任何型別的應用程式。

這種方法對於群集大小是非常靈活的，因為可以明確選擇節點的數量，甚至是執行應用程式的節點。於是，可以將 64 個節點的群集分成更小的邏輯群集，每個邏輯群集都執行自己的批處理應用程式。而且，如果應用程式或節點失敗，它可以在其它伺服器上重新安排作業。

Platform 的產品在主要 Unix 系統和 Windows NT 上執行。目前，只有它們的 LSF 批處理產品已經移植到 Linux 上。最終，LSF Suite 元件的其餘部分也將緊隨其後移植到 Linux 上。

Resonate Dispatch 系列

Resonate 有一種基於軟體的負載均衡方法，類似於 Linux 虛擬伺服器。但是，它支援更多特性，以及一些更好的負載均衡演算法。例如，使用 Resonate，可以在每個群集節點裝入一個代理，以確定該節點當前的系統負載。然後，負載均衡伺服器檢查每個節點的代理，以確定哪個節點的負載最少，並且將新的流量傳送給它。另外，Resonate 還可以使用它的 Global Dispatch 產品更有效地支援地區性分散式伺服器。

Resonate 已經在 Red Hat Linux 上徹底測試了該軟體，相信它也可以在其它發行版上執行。Resonate 的軟體還可以在其它各種平臺上執行，包括 Solaris、AIX、Windows NT，並且它還可以在混合環境中進行負載均衡。

MOSIX

MOSIX 使用 Linux 核心新版本來實現程式負載均衡叢集系統。該群集中，任何伺服器或工作站可以按指定加入或離開，即新增到群集的總處理能力，或從中除去。根據其文件，MOSIX 使用自適應程式負載均衡和記憶體引導演算法使整體效能最大化。應用程式程式可以在節點之間搶先遷移，以利用最好的資源，這類似於對稱多處理器系統可以在各個處理器之間切換應用程式。

MOSIX 在應用層是完全透明的，並且不需要重新編譯或者重新連結到新的庫，因為所有一切都發生在核心級上。可以有幾種方法將它配置成多使用者共享環境群集。所有伺服器可以共享一個池，系統可以是群集的一部分，或者群集可以動態地分成幾個子群集，每種方法都有不同的用途。Linux 工作站還可以是群集的一部分，可以是固定的，也可以是臨時的，或者只是作為批處理作業提交者。作為臨時群集節點，工作站可以在其空閒時用於增加群集處理能力。也允許只以批處理方式使用群集，在這種方式中，群集被配置成透過佇列接受批處理作業。然後，守護程式取走作業並將它們傳送到群集節點進行處理。

MOSIX 的不利之處是它更改 Linux 核心行為的一些核心部分，於是系統級應用程式將不會按期望執行。

除了高效能科學計算，MOSIX 提供了一個有趣的選項，用於以共同設定建立叢集環境。透過使用伺服器和工作站上的閒置資源，它可以更快更有效地建立和執行應用程式。由於訪問了多臺伺服器，並且可以動態調整群集大小和更改負載均衡規則，它還可以提供高度的伺服器可用性。MOSIX 的不利之處是它更改 Linux 核心行為的一些核心部分，於是系統級應用程式將不會按期望執行。要使用網路應用程式時，而該程式使用基於單個伺服器地址的套接字連線，MOSIX 通常也會受到限制。這意味著網路應用程式在一個伺服器節點上開始執行時，如果 IP 地址與套接字繫結，那麼它必須繼續在該節點上執行。顯然，MOSIX 還正在開始遷移套接字，因此這很快就變成了爭論的焦點。

高可用性群集

高可用性 (HA) 群集致力於使伺服器系統的執行速度和響應速度儘可能快。它們經常使用在多臺機器上執行的冗餘節點和服務，用來相互跟蹤。如果某個節點失敗，它的替補將在幾秒鐘或更短時間內接管它的職責。因此，對於使用者而言，群集永遠不會停機。

某些 HA 群集也可以維護節點間冗餘應用程式。因此，使用者的應用程式將繼續執行，即使他或她使用的節點出了故障。正在執行的應用程式會在幾秒之內遷移到另一個節點，而所有使用者只會察覺到響應稍微慢了一點。但是，這種應用程式級冗餘要求將軟體設計成具有群集意識的，並且知道節點失敗時應該做什麼。但對於 Linux，大多數現在還做不到。因為 Linux 系統沒有 HA 叢集標準，並且也沒有公共 API 可供應用程式開發者構建有群集意識的軟體。

HA 群集可以執行負載均衡，但通常主伺服器執行作業，而系統使輔助伺服器保持閒置。輔助伺服器通常是主伺服器作業系統設定的映象，儘管硬體本身稍有不同。輔助節點對主伺服器進行活動監控或心跳觀察，以檢視它是否仍在執行。如果心跳計時器沒有接收到主伺服器的響應，則輔助節點將接管網路和系統身份（如果是 Linux 系統，則是 IP 主機名和地址）。

但是，Linux 在這一領域仍有一點忽略。好訊息是有一家著名的供應商正在努力盡快研製高可用性群集，因為它是企業級伺服器都必需的功能。

Linux-HA 專案

高可用性 Linux 專案，根據其目標宣告，旨在為 Linux 提供高可用性解決方案，以透過社群開發成果提高可靠性、可用性和服務能力。Linux 達到高可用性叢集時，這是一種試圖給予 Linux 與先進的 Unix 系統，如 Solaris、AIX 和 HP/UX，一樣具有競爭力的特性。因此，專案的目標是在 2001 年之前達到 Unix 叢集比較報告 ( 中分析專家組 D. H. Brown 特定功能性級別。

專案中有可以維護節點間心跳並接管失敗節點的 IP 地址的軟體。如果一個節點失敗，它使用“偽造冗餘 IP”軟體包將失敗節點的地址新增到工作節點以承擔它的職責。於是，可以在幾毫秒時間內自動替換失敗的節點。實際使用中，心跳通常在幾秒範圍內，除非在節點之間有專用網路連結。因此，失敗系統中的使用者應用程式仍需要在新的節點上重新啟動。

無處不在的叢集

對於 Linux，有許多叢集系統可供選用。同時，那些專案中有幾個是非商業性的，甚至是實驗性質的。雖然對學術界和某些組織這也沒有形成問題，但大公司通常首選著名供應商的商業支援平臺。供應商，如 IBM、SGI、HP 和 Sun，提供了用於在 Linux 中構建科學群集的產品和服務，因為群集很流行，並且可以銷售大量的伺服器裝置。一旦商業機構認為其它形式的叢集是可靠的，那些相同的伺服器供應商或許會圍繞著開放原始碼叢集解決方案建立自己的產品。

Linux 作為伺服器平臺的重要性依賴於支援大型伺服器和伺服器群集的能力。這就使它可以與 Sun、HP、IBM 和其它公司的 UNIX 伺服器在更高層面上競爭。雖然 Windows NT 和 2000 不支援 Linux 能夠支援的叢集範圍，但是 HA 叢集正規方法的可用性以及用於構建有群集意識的 API 也使它能夠參與競爭。

如果正在考慮構建一個群集，那麼您應當仔細檢查那些可能性，並將它們與您的需求做比較。您也許會發現想要實現的目標還不能成為一個完整的解決方案，或許會發現已經有了現成的解決方案。不管是哪種情況，請相信許多現有公司將他們的應用程式託付給進行深度計算並提供大量網頁的 Linux 系統群集。叢集是一種企業系統服務，已經在 Linux 下成功測試過。儘管新的叢集將出現，但選擇的多樣性正是 Linux 超過其它系統，如 Windows NT，的優勢。