“雲邊+端”三管齊下,“有蓉”資料庫助力四川氣象進入天擎時代

naojiti發表於2021-06-21

《華陽國志巴志》中曾記載:蜀國“山林澤魚,苑囿瓜果,世代節熟,靡不有焉”,適宜的氣候孕育了豐富的物產,滋養了擅長調製百味的巴蜀人民,也鍛煉出了駕馭自然、明辨天時的能力。

諸葛亮“夜觀天象,知天下大事”的本領,讓人讚歎不已。而今天,四川正在用尖端的計算科學來把握風雲變幻。

國內老牌資料庫廠商虛谷偉業基於開源資料庫openGauss,研發的商業發行版資料庫——有蓉,就被應用於四川氣象局,助力氣象服務。兩者結合,將會炮製出怎樣的川味氣象體驗?又能為四川人民的生活帶來怎樣的新氣象?

資料這份“食材”的時代挑戰

一個好的氣象系統能帶來什麼,答案可能是:為農林牧副漁等產業提供安全生產的有力支援,把惡劣天氣和極端事件可能帶來的負面影響降到最低;對氣候和環境的監測與瞭解,也能為當地的可持續發展提供指導。

目前,已有多個省市將“完善氣象基礎設施”納入地方“十四五”規劃綱要,為防汛、防火提供氣象技術服務,確保人民生命財產安全。

這樣一盤利國利民的好菜,資料“食材”自然也要跟得上。而這,就給IT基礎設施中的基礎——資料庫提出了諸多挑戰。比如說:

氣象資料的來源多維,既有模式資料,也有氣象站、衛星、感測器獲取的實況資料,傳統資料庫架構面臨的挑戰越來越大;

時空精度要求的提升,也對氣象資料計算量級、儲存容量、吞吐量等提出了新的需求;

氣象涉及到公共服務的重要資料,因此資料安全,資料可控和資料主權是氣象資料庫的關鍵需求。

這一背景下,2019年7月,國家級氣象大資料雲平臺“天擎”上線,就具備海量資料儲存、全業務貫通、資料高效應用的能力,成為氣象關鍵IT基礎設施,支撐各類氣象業務應用的雲化,四川的氣象資料也透過“天擎”省級資料庫來承載。

“有蓉”調製出川味氣象基建特別滋味

精準的氣象服務,依賴於豐富龐雜的天氣資料和實時高效的計算量級。天擎“雲+端”的標準架構,原理是把所有資料集中在雲端,也意味著全網任何一個業務操作,均需要雲端資料庫配合,這對雲端的效能,資料吞吐能力和資料安全性提出了前所未有挑戰。

因此,四川氣象基於“天擎”得“雲邊+端”方案,賦予了“有蓉”資料庫獨特的味道。

首先,專門調製的“雲邊+端”方案,打造極致效能、業務吞吐與資料安全的業務架構鐵三角。

一方面,端側集中提供本地應用服務,邊側資料中心也能提供匯聚資料服務並按需與雲上保持一致,解決了資料統一集中在雲端而導致資料吞吐量過大的問題。

另一方面,邊與端直面向區域使用者提供服務,可以做到資料隔離,降低資料安全風險。這樣服務下沉,分散到各點後,效能壓力分散,減輕雲上的業務效能壓力。

此外,多項獨家“配的方”的應用,讓“有蓉”可以更安心地應對氣象大資料挑戰。

作為“天擎”系統核心TP資料庫的產品服務商,虛谷公司十分重視核心技術創新,虛谷資料庫原始碼自有率達到了99.5%。全套國產化軟硬體,可以避免基礎軟體層面的不確定性,安心承載重要資料。

“有蓉”的出現,讓雲時代的氣象資料和服務,被賦予更多新的風味與可能。

支撐數字山河,憑藉先進的資料庫產品構築創新底座

更深一步,搞清楚“有蓉”背後的創新因果與邏輯,能幫助我們更清晰地理解,數字變局需要怎樣的資料底座?具體表現為四個特徵:

第一,邊側資料庫的引入,為資料服務搭建了“高速通道”。

以“有蓉”資料庫為例,資料可以被快速彙總,各種氣象感測器的資料來源以更短路徑傳送到端側資料庫中;資料快速儲存,集中在雲、邊的訪問量被分散在邊側,可以快速把資料入庫;基於鯤鵬全棧的方案(鯤鵬伺服器+openEuler作業系統+有蓉資料庫〈openGauss〉)提供強大的資料處理服務,操作響應更快,綜合提升氣象資料的服務體驗。

資料顯示,依託鯤鵬計算平臺的多核高效能,結合有蓉自身領先的高效能核心,可讓資料匯聚速度提升約30%,從而保障前端業務的實時響應。

第二,“雲邊端”的高效協同,資料分級同步提升效率。

在資料同步上,一是按特徵同步,時效資料會被實時同步到雲端彙總;二是按需求同步,對資料進行分類,只同步雲端需要資料,其餘資料本地留存;三是跨區域同步,沒有及時同步到雲端的資料,可以跨區域點對點端側同步。按照架構的特點,端側資料庫熱資料提供本地實時氣象服務,全省資料分析彙總和精確預報則在雲端完成。

“雲邊端”協同分工,是四川氣象邁向智慧化氣象服務的關鍵。

第三,IT基礎設施的穩定,決定了氣象服務的業務連續性與可靠性。

氣象服務之於國計民生的重要性,也對資料庫的可靠性提出了挑戰。為此,有蓉資料庫基於鯤鵬多核高NUMA-Aware能力,加上資料庫核心的無鎖化設計等一系列技術,在氣象資料高併發、高頻資料寫入和查詢的同時,即使系統資源佔用近80%,仍能穩定提供服務。

此外,有蓉資料庫還具有金融級的、多地多中心的容災能力,在部分資料節點當機後,其他資料庫節點迅速接管業務,保證業務連續性,降低資料丟失風險。

最後,則是降低整套系統的部署和運維成本。

氣象業務每天會產生數GB甚至TB的時序資料,給運維帶來很大的困難。為了讓氣象這一“大國重器”更具經濟效益和社會價值,“有蓉”資料庫高度支援HTAP混合負載能力,可以一份資料輸出兩種業務模型結果,減輕高吞吐壓力的同時,極大的節省了業務改造和運維成本。

資料庫是IT行業的重要基礎軟體,越是基礎,要翻越技術大山就越難,對產業生態的要求也更高。虛谷偉業公司秉承著“虛懷若谷,有容乃大”的理念,不僅僅自研出了自主可控的虛谷資料庫,也完美的吸納高效能高安全的openGauss核心,研製出具有巨大優勢的有蓉資料庫,在國產資料庫在市場上突破技術壁壘、走向應用,並擔負國家公共基礎服務走向數字化、智慧化,更好服務社會的重任。

隨著一道道“中國味”的基礎軟體加入資料經濟的盛宴,深入變革氣象服務等基礎民生領域,改變著每一個人息息相關的日常生活,才讓數字山河間飄蕩出科技的人間煙的火味。

縱然無法像諸葛孔明一般神機妙算,亦能借助資料的力量,洞察氣象萬千、風雲變幻。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2777688/,如需轉載,請註明出處,否則將追究法律責任。

相關文章