便捷、高效、智慧—從運維視角看星環科技大資料基礎平臺TDH

日前，星環科技釋出了大資料基礎平臺TDH8.1.0，新版本圍繞頁面佈局重構，叢集升級和超大叢集管理能力等方面進行了全新升級，極大程度地提升了使用者資料開發管理體驗。那今天這篇文章將帶領大家從運維視角來進一步瞭解星環科技TDH。

數字化轉型中的攔路虎——資料平臺的運維難

隨著數字化轉型的深入和企業的快速發展，企業在資料融合創新過程中，通常會針對不同的專案場景配備不同的資料模型，例如時序資料、點邊圖資料、訊息佇列等。雖然引入不同的資料模型可以解決不同場景的問題，但 使用多種單模型資料庫將會導致資料冗餘、資料一致性治理難、資源配置難等一系列問題。同時， 多產品的語言與介面不統一，極大地增加了運維壓力與運維成本。

近年來，越來越多的企業逐漸意識到：未來的大資料平臺，既要為不同的專案場景配置不同的資料模型以保障其高效能，又要讓資料操作和運維更便捷、更統一。因此在一個統一平臺中多種資料模型並用變得越來越流行。早期的多模型資料平臺實現路徑，僅僅簡單地將多個單一模型資料庫組合在一個軟體系統中，但這僅僅是介面的統一， 底層多個資料庫開發語言不一致，運維起來較困難，排障的效率較低，成本較高。

此外，針對資料平臺的運維通常會出現如下幾種情況：

●沒有統一運維入口，傳統的查詢運維難以完成指標資料的視覺化， 易缺乏或遺漏關鍵監測指標；

●由於日誌格式非結構化，海量日誌的處理十分複雜， 急需強大的搜尋能力和聚合能力；

●動態排程、彈性擴容：資料碎片化、監控物件粒度龐大的情況下，自動化監控實現渺茫，從而導致 故障發現滯後，實時性無法保障。

原創多模型架構——從根本上解決運維難的問題

星環科技大資料基礎平臺TDH採用領先的多模型技術架構，其原創的分層架構設計提供統一的介面層，統一的計算引擎層，統一的分散式儲存管理層，統一的資源排程層，以及支援10種資料儲存模型的異構儲存引擎層。 一站式多模型資料管理架構實現了對海量資料的統一管理與叢集服務的統一運維，大幅降低了綜合成本，從根本上解決了資料平臺運維難的問題。

基於統一的SQL編譯器Transwarp Quark，我們只需要簡單的SQL語句即可完成各種複合跨模型資料查詢，無需訪問不同介面即可操作不同的資料模型。對於 場景切換、資料庫切換而造成介面、開發語言切換的問題就不存在了，技術對接更加容易，運維更加簡單。

統一的分散式計算引擎Transwarp Nucleon根據不同的儲存引擎自動匹配高效能演算法，不再需要手工干預，可以快速實現垮庫關聯， 避免資料匯入匯出的麻煩。

異構儲存引擎層透過8種獨立的儲存引擎支援10種儲存模型，滿足多變，高階的資料分析需求，使用者可以根據業務的發展隨時按需增減儲存引擎， 避免重新設計開發增加後續運維和排障難度。

統一的分散式儲存管理系統為不同儲存引擎提供公共的儲存管理服務，保障資料一致性， 實現資料統一管理運維和高可用。

統一的資源排程層TCOS是星環科技自主研發的雲原生作業系統，提供統一的資源排程框架，透過容器化編排，能夠統一排程計算、儲存、網路等各基礎資源。其 適配了多種主流的CPU架構和多種作業系統，支援不同硬體、不同作業系統的伺服器混合部署，使用者不用擔心新舊裝置相容性問題。此外，TCOS還支援靈活、按需的異構硬體（X86，ARM混合部署）、異構作業系統的水平擴充套件，支援單獨擴充套件計算或儲存資源的水平擴充套件， 避免因業務資料增長帶來的資源緊張而需進行繁瑣的擴容、遷移等工作。

星環科技大資料基礎平臺TDH的多模型技術架構實現了以上 五個統一，簡化了資料平臺架構，降低企業運維成本，在架構設計方面就從根本上解決了資料平臺運維難的問題。

全套大資料管理元件——讓運維更高效、更便捷、更智慧

多模型技術架構帶來運維便利性的同時，星環科技大資料基礎平臺TDH還配置強大的全套大資料管理元件，讓 系統的資源維護管理，全場景監控和告警，問題識別和定位，安全防衛等工作變得更統一、更便捷，幫助使用者實現高效運維、便捷運維和智慧運維的生效目標。

一站式資源維護管理

Transwarp Manager是TDH8.1.0 的大資料管理平臺，支援叢集的圖形化安裝、管理與升級等服務，讓資源維護管理工作更加便捷高效。

一鍵圖形化安裝—Transwarp Manager支援圖形化介面，使用者只需幾個手動步驟就可以在x86、ARM、MIPS等各架構伺服器或基於Docker的雲端平臺上完成叢集一鍵部署。

圖形化安裝

視覺化叢集管理—TDH 8.1.0支援對節點/叢集/服務進行視覺化管理，監控和最佳化，使用者可以按需新增、刪除節點、停止或啟動角色服務等，讓大資料叢集管理工作更加便捷。

為已有服務新增角色

不間斷平滑升級—TDH 8.1.0 基於TCOS容器化叢集作業系統，支援在不停服、不中斷業務的情況下完成平臺的平滑升級。除此之外，TDH 8.1.0還提供平臺補丁功能，相對於整體升級，做到了更輕量級、對業務無感知的線上維護。其提供平臺及產品升級維護統一操作入口，全流程一鍵完成。同時，TDH 8.1.0支援版本升級回溯，讓系統更加安全可控。

平臺補丁

此外，Transwarp Manager還提供 使用者和賬號管理，許可證管理，高可用性管理，叢集巡檢等功能，使使用者日常運維和安全運維更加便捷。

全場景運維應用覆蓋

TDH8.1.0 的智慧運維分析平臺Transwarp Aquila擁有強大的運維資料採集能力，可以支援全棧運維資料採集，實現全場景運維應用覆蓋，幫助運維人員更全面的瞭解大資料各個維度的執行情況。

全棧運維資料採集—Transwarp Aquila支援全棧運維資料採集，包括作業系統層面的CPU、記憶體等硬體資源資料，排程器、閘道器等系統元件相關資料，資料庫的指標資料以及例如業務彙報系統，工單系統等應用的資料。

全場景覆蓋—透過Transwarp Aquila可以實現全場景運維應用覆蓋，運維人員可以從不同的視角對叢集，租戶，服務等進行大盤監控，同時也能對資料庫，大資料元件，雲原生應用的執行效能和穩定性進行監控，瞭解其健康狀態，及時發現問題並進行相關的操作。此外，運維人員還可以自定義運維儀表盤, 告警規則，自定義運維大盤，拓撲等，靈活地滿足一些個性化運維需求。

完整的大資料運維體系

Transwarp Aquila實現大資料各個維度的運維監控，在流程上覆蓋了事前預警，事中告警，事後分析處理，同時結合運維知識庫實現一套完整的大資料運維體系，讓運維更高效、更便捷、更智慧。

預置大量運維規則—Transwarp Aquila預置大資料和資料庫產品、作業系統硬體和kubernetes平臺等的儀表盤和告警規則，無須繁瑣配置，開箱即用。

規則設定

多維視覺化監控—Transwarp Aquila預置豐富的視覺化儀表盤來支援不同場景下的運維資料展示，讓使用者對叢集和服務的資源情況、執行情況即刻了如指掌。

視覺化監控

及時預警和精確告警—Transwarp Aquila預置110+運維告警規則，運維人員可以透過預置的告警模板迅速按需建立多條告警規則，極大地提升了告警功能的易用性。同時，Aquila支援使用者基於指標資料以及日誌的告警自定義告警規則，透過 設定閾值告警可以及時發現資料指標異常情況並及時準備應對措施，透過設定不同等級的告警可以幫助使用者更高效的識別異常問題。使用者可以 按告警規則分組，將各類的告警資訊發給對應的處理人員進行快速問題處理。此外，Aquila還支援郵件通知、webhook通知等， 方便對接第三方告警處理服務，使用者可以第一時間收到告警通知並及時進行告警處理。

告警查詢

日誌管理與問題分析—Transwarp Aquila預置平臺、租戶級別的日誌搜尋規則，提高使用者日誌搜尋效率。同時， 其支援日誌上下文展開，幫助運維人員追溯故障發生的上下文， 迅速定位故障原因。運維人員可以 直接根據日誌搜尋結果設定告警，與告警功能聯動，快速識別系統和資料異常。

日誌上下文展開

在運維叢集的過程中, 我們經常發現一個服務不正常的根本原因往往是它所依賴的上下游服務不正常，而不同的服務，如果橫跨了各個系統, 就需要不同領域的技術專家一起定位。Transwarp Aquila基於日誌，k8s事件，告警以及異常指標, 結合根因分析規則, 自動定位異常發生的可能原因，幫助運維人員 快速發現和定位根因，提高排障效率，大大降低MTTR。

根因分析

Transwarp Aquila還支援 運維資料跨叢集以及多租戶場景。基於Aquila，運維人員可以對多個叢集集中式統一運維，大大降低多叢集運維的難度，提高運維的效率。同時，運維資料支援租戶隔離，不同租戶只能檢視本租戶資料，儀表盤，告警規則，線上運維任務等。

此外，星環科技大資料基礎平臺TDH還提供 大資料平臺安全審計和大資料安全管理工具，讓安全防衛，許可權管理等工作更加便捷。Transwarp Audit面向TDH中對資料的操作和許可權進行合理布控和監測，實現對資料訪問和操作的集中監控、檢視和管理的智慧化、視覺化審計。Transwarp Guardian為TDH提供集中的安全和資源管理服務，例如其多租戶資源管理模組可以按照租戶的方式管理資源，並透過一個圖形化工具為使用者提供許可權配置以及資源配置介面。

星環科技大資料基礎平臺TDH採用 領先的多模型技術架構，實現了五個統一，從根本上解決了運維難的問題。同時， 結合全套大資料管理元件實現了一站式叢集資源維護管理和全場景運維應用覆蓋，提供完整的大資料運維體系，幫助運維人員對各種場景的執行情況進行全面監控，快速發現異常和精準定位問題，並透過日誌分析和根因定位等技術幫助運維人員快速排障， 讓運維更加高效，更加便捷和更加智慧。

以上就是從運維視角看星環科技大資料基礎平臺 TDH 的整體介紹，TDH致力於幫助使用者 實現資料全生命週期的管理。