繼Lustre和GPFS之後，HPC又迎來那個新檔案系統接盤？

      檔案系統從來都沒成為IT領域中最閃光的那部分，這或許可以解釋在大型變革和新進入該領域的人，為什麼沒有注意到它。但在HPC領域，情況可能有所不同(點選閱讀: 從高效能運算(HPC)技術演變解析方案、生態和行業發展趨勢)。

      HPC供應商主要基於GPFS或Lustre的產品提供HPC解決方案，而且企業和HPC組織已經接受了這些產品。然而，近年來IT環境的變化已經說服一些公司和供應商重新考慮檔案系統。諸如大規模分析和機器學習的興起，HPC向主流企業應用的擴張以及雲端儲存的發展等都給檔案伺服器帶來了新的挑戰，使得這些檔案伺服器變得日益複雜和難以管理。

      並行檔案系統的業務環境變化也更加關注GPFS和Lustre。特別是英特爾在2017年4月停止了銷售Lustre企業版本的維護和發行，這樣一個備受矚目的Lustre支持者的決定引發了大眾對Lustre未來的質疑。

 

      與此同時，又有一個平行檔案系統BeeGFS興起，其目標就是HPC領域。2005年，德國Fraunhofer高效能運算中心在該機構的一個計算機叢集內部開始實施，該技術開始迅速攀升，2007年第一個測試版釋出，一年後正式版首次釋出。並在2009年商業化。在2014年，Fraunhofer拆出一家新公司ThinkParQ，以擴大其在HPC商業市場的覆蓋面。最初被稱為FhGFS的檔案系統被命名為BeeGFS。

 

      ThinkParQ的目標是為各種規模的組織提供開放原始碼和免費軟體Bee GFS，並提供從支援、諮詢到系統整合商的合作伙伴關係等服務，開發包括BeeGFS在內的解決方案。並行檔案系統軟體的大部分開發仍在Fraunhofer中進行開發。

      在2017年，ThinkParQ和BeeGFS開發人員在多個領域取得了進展，包括與叢集管理軟體製造商Bright Computing，HPC解決方案提供商Penguin  Computing以及硬體製造商Ace Computers和QuantaCloud Computing等公司擴大合作關係，擴充套件到歐洲以外的俄羅斯和日本等地區，並在SC17超級計算展會上釋出的BeeGFS v7.0版本，包括新的儲存池設計，SSD和HDD混合磁碟支援，資料存放策略控制。

      在日本，富士通宣佈其即將推出的人工智慧橋接雲基礎架構(ABCI)超級計算機將使用BeeGFS onDemand(BeeOND)實現加速，類似於HewlettPackard Enterprise上線的Tsubame3.0系統。據ThinkParQ稱，該系統在計算節點採用1PB  NVMe高速緩衝BeeOND，可實現1TB/s效能。

      根據ThinkParQ執行長和BeeGFS執行長Sven Bruener的介紹，該公司對BeeGFS的興趣有所增加，其中主要原因是BeeGFS對市場需求滿足以及對Lustre及其未來發展的擔憂。BeeGFS幫助公司在一個市場中獲得競爭力，而這些市場競爭來源於提供經過市場考驗的並行檔案系統產品的知名供應商。

      Intel放棄其Lustre商業化努力的決定導致合作伙伴將BeeGFS用於Lustre替代計劃，因為與Lustre不同，BeeGFS起源於HPC世界。當大家使用BeeGFS時，他們得到的東西並非依靠Intel針對大量功能進行了優化，而主要是針對效能，這對許多使用者而言非常重要。

      由於效能問題和底層體系結構，各種組織傾向於使用BeeGFS替代GPFS和Lustre系統的，他們注意到從一開始，他們的檔案系統表現相當好，但過了一段時間其表現就不再那麼好了。BeeGFS更易於使用並且需要更少的維護。大多數使用者實際上是從Lustre和GPFS等其他系統切換出來的，因為他們遇到了各方面的問題，然後他們開始嘗試其他系統，然而在嘗試的過程中，他們對BeeGFS開箱即用設定的容易程度和效能感到驚訝。 

      根據ThinkParQ全球銷售諮詢總監的說法，可擴充套件性也是BeeGFS一個差異化因素，BeeGFS的靈活性很好，以至於真的可以從兩臺伺服器開始即時新增元件擴充套件。它可以與Panasas的PanFS檔案系統進行比較，就連IBM這樣的供應商也認可BeeGFS的市場表現。

      IBM認為他們可以通過新增BeeGFS來銷售更多的伺服器硬體和儲存控制器，因為GPFS相對來說非常複雜並且可能更昂貴。對於解決方案來，BeeGFS在各種環境下的體現出很好的靈活性。通過BeeGFS，可以使用較少的元件構建小規模系統，但如果系統需要增長，則只需按容量或效能要求新增元件即可(BeeGFS可以擴充套件到ExaByte規模)，沒有技術限制。

 

      雖然BeeGFS使用者主要集中在歐洲，但ThinkParQ在其他地區如俄羅斯、美國和日本也在迅速增長，像Oak Ridge這樣的國家實驗室大約有二十個多個。ThinkParQ擁有部署容量約在10PB範圍的客戶也遍佈多個行業，包括生物資訊學領域，維也納大學等，擁有數千個部署節點。

      當BeeGFS出現時，其他大型廠商正在支援其他老牌檔案系統(如Lustre、GPFS、StorNext等)，一些開發自己的檔案系統的公司正在努力增長，實際上，BeeGFS可以滿足不斷變化的市場需求。

      縱觀歷史，GPFS將在25年前就已經出現，並更關注於資料管理。而Lustre在17年前作為一個試驗性專案開發出來。15年前，固態硬碟尚不存在，他們也不知道未來的儲存環境會有什麼樣的需求。如今，BeeGFS開發人員瞭解了這些限制，他們也看到了市場的動向和市場的需求，他們的客戶確實需要獨立於硬體的軟體解決方案，從而充分利用元件的全部優勢，通過易用性簡化運維管理，無需專業人員。

 

      BeeGFS系統背後的魔力在於它坐落在本地檔案系統之上的Linux系統的使用者空間中，這使得它非常非常靈活，因為通常如果您要設定HPC環境，需要一個專用的後設資料伺服器、儲存伺服器元件。然而BeeGFS具有很好的靈活性，可以將BeeGFS元件安裝連線到儲存節點，也可以設定檔案系統例項。HPC非常流行的BurstBuffer技術，在BeeGFS稱之為BeeGFS on Demand，它有效緩解現有HPC環境中令人討厭的浪湧IO模式，通過快閃記憶體介質保障系統在任何時候的效能要求。

      實際上，Bright Computing已經與BeeGFS合作了幾年了，努力如何簡單在Bright叢集之上部署這個BeeGFS，並在健康檢查BeeGFS和監測BeeGFS方面做出更多努力。實際上，Bright是可以整合GPFS和Lustre並行檔案系統使用，在Bright Computing看來，他們對GPFS，Lustre和BeeGFS都有豐富經驗，但發現BeeGFS是最輕量的，即使沒有與BeeGFS整合，也不像Lustre和GPFS那麼難以安裝部署。

      今天分享到此為止，關於BeeGFS檔案系統架構、技術和生態分析文章，請大家搜尋歷史文章查閱。此外，前期詳細分享過整個<從高效能運算(HPC)技術演變解析方案、生態和行業發展趨勢>分析，並整理成電子書，請大家點選底部“原文連結”查閱詳情。

強相關閱讀

• 從高效能運算(HPC)技術演變解析方案、生態和行業發展趨勢

溫馨提示：
請搜尋“ICT_Architect”或“掃一掃”二維碼關注公眾號，點選原文連結獲取更多技術資料。

求知若渴, 虛心若愚—Stay hungry, Stay foolish