OpenStack和Ceph在Genomic Era的應用

danny_2018發表於2022-05-27

FishOS支援基因組研究,為埃伯哈德·卡爾斯大學的雲端計算提供動力,透過蒂賓根的大學計算中心為生物資訊學家提供雲環境。

生命科學和資訊科技的發展對生物資訊學的跨學科性質產生了深遠的影響;生物資訊學正在經歷從內部計算基礎設施到雲端計算的新飛躍,以處理高通量實驗技術產生的大量生物資料。高通量技術的可用性以及基因組學和藥物基因組學在大群體研究中的應用正在產生越來越多的實驗和臨床資料,以及分佈在網際網路上的專門資料庫。

德國生物資訊學基礎設施網路(簡稱“de.NBI”)是一個國家研究基礎設施,為生命科學研究、生物醫學和相關領域的使用者提供生物資訊學服務。

雲技術如何支撐臨床基因組研究?

德國人類基因組計劃推動的技術和資源正在開始對生物醫學研究產生深遠影響,並有望在更廣泛的生物學研究和臨床醫學領域掀起革命。越來越詳細的基因組圖譜幫助研究人員尋找與數十種遺傳條件相關的基因。

這一新領域出現的實際後果是顯而易見的。對人類孟德爾病相關基因的鑑定曾經是一項艱鉅的任務,需要大型研究團隊、多年的艱苦工作和不確定的結果,現在可以由一名研究科學家在幾周內完成,該科學家可以獲得DNA樣本和相關表型,輕鬆連線到私人基因組資料庫、熱迴圈儀和DNA測序機。

de.NBI為德國人類基因組計劃提供資料。由於系統處理人類基因組資料的性質,對可靠性和彈性的要求是對整個雲系統的真正考驗。

透過雲聯盟概念,所有五個de.NBI站點,比勒費爾德大學、弗萊堡大學、圖賓根大學、海德堡大學和吉森大學,都整合到一個單一的雲平臺中。儲存量的增長、實驗資料的預處理和分析正成為分析管道的主要瓶頸。

因此,使用者將透過中央de.NBI雲門戶被引導到所設想的服務和合適的雲。

Sardina FishOS形成了de.NBI雲的主幹,以促進歐洲的先進科學發現。基於OpenStack和Ceph的高度可靠的平臺能夠實現資料的綜合分析和高效使用,以實現科學突破。

突破性雲技術解決科學問題

de.NBI的多系統結合了FishOS OpenStack和Ceph,為傳統研究和下一代應用提供了超可靠的平臺,並提供了資料安全和保護。為實現de.NBI的目的,Ceph儲存的關鍵要求包括:多個站點上的地理冗餘、靜態加密、非同步映象,以及選擇單向或雙向映象。這些系統支援針對映象的快照和日誌模式以及設定為在計劃時間獲取它們的快照的多個儲存和單池配置。

為了加速計算,雲平臺採用先進的Nvidia GPU加速。

由於多個基於OpenStack和基於Ceph的雲跨越多個位置和地區,系統的日常操作變得簡單而靈活,雲平臺的預整合操作工具、智慧預測分析和智慧資源管理。

來自FishOS

Sardina基於FishOS的運維架構實施了一項解決方案設計,允許de.NBI透過全自動、靈活、可靠和可擴充套件的運維以及市場獨有的零停機升級來管理多個系統。如今,de.NBI使用基於OpenStack、Kubernetes和Ceph的FishOS解決方案執行四個系統。Sardina還從Ubuntu OpenStack遷移了其中一個系統。

為圖賓根的de.NBI計算中心提供雲環境,FishOS首先實施的專案包括基礎設施、構建管道的各種工作流解決方案,以及特別關注高通量資料分析(基因組學、蛋白質組學、代謝組學等)的工具。

其次,位於圖賓根的de.NBI雲站點的一個主要目標是提供涵蓋不同科學研究領域的軟體,如質譜分析、NGS分析管道,以及透過整合到Galaxy工作流中的Ball進行分子對接。由於其針對雲平臺的預整合操作工具,FishOS簡化了de.NBI系統的日常操作,使其變得簡單靈活。系統使用者受益於智慧預測分析和智慧資源管理。

現在,FishOS執行雲基礎設施,以研究海量資料,進行科學發現,並幫助向不同地區的人們提供高水平的醫療服務,可以說,像FishOS這樣的IT技術對人類基因組研究發展產生了影響。

原文連結:

https://mp.weixin.qq.com/s/Xa1EsOZOzWq0OrZkXV4o-Q

來自 “ 開源雲中文社群 ”, 原文作者:開源雲中文社群;原文連結:https://mp.weixin.qq.com/s/Xa1EsOZOzWq0OrZkXV4o-Q,如有侵權,請聯絡管理員刪除。

相關文章