蛟分承影,雁落忘歸 —— 袋鼠雲一站式全自動化運維管家 ChengYing(承影)正式開源

數棧DTinsight發表於2022-06-01

 原文地址:

交流蛟分承影,雁落忘歸——袋鼠雲一站式全自動化運維管家ChengYing(承影)正式開源

技術交流:30537511(釘釘群)

我們興奮的向大家宣佈一個好訊息

DTstackCon新成員

袋鼠雲一站式全自動化全生命週期運維管家

ChengYing(承影)

正式開源

專案地址

Github開源地址:

Gitee開源地址:

https://gitee.com/dtstack_dev_0/chengying

官方文件:

這是繼ChunJun(純鈞)、Taier(太阿)後,袋鼠雲數棧大資料名劍家族開源的第三支名劍,是袋鼠雲開源專案史上又一里程碑事件,代表著數棧開源技術團隊對於開源的決心與努力。

一、蛟 分 承 影

ChengYing(承影)——承襲於袋鼠雲開源專案名劍家族的概念,取自十大名劍之承影劍。


ChengYing logo

承影鑄於商朝,其出爐時兩道劍光飛出,猶如蛟龍,有 “蛟分承影,雁落忘歸”之言,故名承影。承影為商天子佩劍,後由春秋時衛國藏劍名家孔周收藏,相傳其有影無形,為氣隨機而動,代表著如影隨形時刻守護的意義,正如ChengYing作為袋鼠雲數棧的 運維管家,提供大資料產品的 一站式部署、運維、監控服務,為客戶提供安全穩定的產品部署與監控。

二、緣 啟 承 影

ChengYing脫胎於袋鼠雲數棧自主研發的一站式運維管家 EasyManager,在ChengYing正式開源之前,開源技術團隊於去年先開源了一款為遠端統一管理主機端Agent生命週期而設計的系統—— EasyAgent,作為EasyManager的關鍵元件,可以實現數棧服務的安裝、升級、解除安裝、啟停和配置管理。

在EasyAgent開源後,受到了社群同學的廣泛支援,與此同時社群對於EasyManager開源的呼聲越發高昂,秉持著袋鼠技術人“源於開源,回饋開源”的一貫初心,數棧開源技術團隊經過決定將EasyManager也就是ChengYing開源,而EasyAgent作為ChengYing Agent 重新與大家見面。

經過不懈的努力,曾經的設想終於在今天實現。 ChengYing(承影)作為一站式全自動化全生命週期運維管家,提供大資料產品的一站式部署、運維、監控服務,其可實現產品部署、產品升級、版本回滾、擴縮節點、日誌診斷、叢集監控、實時告警等功能,致力於最大化節省運維成本,降低線上故障率與運維難度,為客戶提供安全穩定的產品部署與監控。


三、形 自 承 影

ChengYing的logo設計沿襲十大名劍的概念,結合專案本身特性,以字母“Y”為設計主元素,融合進劍的鋒利與尖銳進行設計,利用堅固的三角形去體現產品“穩定”的特性,而倒三角又體現著產品“支撐”的特性,而選擇比較暗的藍色也體現著我們“幕後”的特點。


LOGO主體以字母“Y”與六邊形的幾何圖形組成,有完整、有組合、有分佈、傳達出本專案核心觀念是一個全自動化生命週期的運維管家,其功能具有多樣性與穩定性。


四、鋒 出 承 影

ChengYing作為一站式全自動化全生命週期的運維管家,具備以下六大特性:

1自動化部署

ChengYing通過規範化的步驟和引數約定製作出產品安裝包,釋出包中的Schema檔案中配置了安裝包中所有的服務,包含各服務的配置引數、健康檢查引數,服務之間的依賴關係等。產品部署時可根據Schema中的相關配置實現一鍵全自動化部署。

2介面化叢集運維

Hadoop叢集、大資料平臺在日常運維中涉及到的節點擴容縮容、元件停止啟動、服務滾動重啟、服務引數修改、版本升級與回滾等多種運維操作,通過邏輯化、流程化的產品介面展現,方便運維人員操作和監控,提高運維效率。

3儀表盤叢集監控

通過整合開源的prometheus和grafana,實現對叢集、服務、節點的核心引數監控,並通過靈活形象的儀表盤進行資料展現。包含CPU佔用率,RAM使用率、磁碟空間、I/O讀寫速率等核心引數進行監控,實時掌握叢集、服務、節點的執行狀態,降低運維故障率。同時,支援使用者自建儀表盤及監控項,實現自定義監控項。

4實時告警

支援實時監控叢集中各元件服務的執行指標,如CPU、記憶體、磁碟、讀寫IO等,並支援簡訊、釘釘、郵件告警通道配置,整合多種第三方訊息外掛。當叢集服務出現異常時,可觸發告警條件,系統將及時通知接收人。

5強擴充性

通過自研的ChengYing Agent Server抽象出七大REST介面,安裝、啟動、停止、更新、配置修改、解除安裝、執行等與上層應用進行互動,可使agent類別和功能可輕鬆無限擴充套件。

6安全穩定

資料安全、產品安全是大資料產品需要重點考慮的問題。ChengYing在產品設計中過濾掉rm、drop等命令列,防止對資料庫的誤操作,通過更加安全的方式執行相關命令。同時提供服務的滾動重啟、產品的斷電重啟,解決運維時服務不停止執行的場景並節省運維時間。

ChengYing操作頁面




四、承 影 迭 代

ChengYing是一個用於大資料產品的一站式部署、運維、監控的標準產品,可以用於企業快速搭建企業內部的大資料平臺,基於現有版本已經實現的功能,未來ChengYing將會計劃:

1)服務編排:支援基於主機角色與服務型別自動編排,減少人工操作成本;

2)部署方式:支援自定義部署產品包流水線順序;

3)安全認證:支援叢集開啟Kerberos認證,資料生成與下載;

4)監控告警:支援基於PromQL的自定義告警設定,豐富告警型別;

5)對接外部:支援對接外部LDAP連線;

6)作業系統:支援ubuntu系統主機接入。

六、雁 落 忘 歸

今天我們開源了ChengYing,我們知道開源不是結束,而恰恰是開始。從2018年我們開源了第一個專案開始,4年間我們先後開源了ChunJun(原FlinkX)、FlinkStreamSQL、jlogstash、EasyAgent、Doraemon、Molecule、Taier等專案,這段時間裡我們不斷探索技術上的突破,將最新的技術成果與大家共享,也從許多社群同學中獲得頗多助益,在互助共享的氛圍中與大家一同成長。

未來,我們將持續秉持“源於開源 回饋開源”的初心,繼續推出ChengYing後續版本,同時我們歡迎更多的公司和個人參與到開發者隊伍中來,讓ChengYing社群更加健壯、健康的發展,讓更多人享受開源帶來的技術紅利!


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2898350/,如需轉載,請註明出處,否則將追究法律責任。

相關文章