“雲邊+端”三管齊下,“有蓉”資料庫助力四川氣象進入天擎時代
《華陽國志巴志》中曾記載:蜀國“山林澤魚,苑囿瓜果,世代節熟,靡不有焉”,適宜的氣候孕育了豐富的物產,滋養了擅長調製百味的巴蜀人民,也鍛煉出了駕馭自然、明辨天時的能力。
諸葛亮“夜觀天象,知天下大事”的本領,讓人讚歎不已。而今天,四川正在用尖端的計算科學來把握風雲變幻。
國內老牌資料庫廠商虛谷偉業基於開源資料庫openGauss,研發的商業發行版資料庫——有蓉,就被應用於四川氣象局,助力氣象服務。兩者結合,將會炮製出怎樣的川味氣象體驗?又能為四川人民的生活帶來怎樣的新氣象?
資料這份“食材”的時代挑戰
一個好的氣象系統能帶來什麼,答案可能是:為農林牧副漁等產業提供安全生產的有力支援,把惡劣天氣和極端事件可能帶來的負面影響降到最低;對氣候和環境的監測與瞭解,也能為當地的可持續發展提供指導。
目前,已有多個省市將“完善氣象基礎設施”納入地方“十四五”規劃綱要,為防汛、防火提供氣象技術服務,確保人民生命財產安全。
這樣一盤利國利民的好菜,資料“食材”自然也要跟得上。而這,就給IT基礎設施中的基礎——資料庫提出了諸多挑戰。比如說:
氣象資料的來源多維,既有模式資料,也有氣象站、衛星、感測器獲取的實況資料,傳統資料庫架構面臨的挑戰越來越大;
時空精度要求的提升,也對氣象資料計算量級、儲存容量、吞吐量等提出了新的需求;
氣象涉及到公共服務的重要資料,因此資料安全,資料可控和資料主權是氣象資料庫的關鍵需求。
這一背景下,2019年7月,國家級氣象大資料雲平臺“天擎”上線,就具備海量資料儲存、全業務貫通、資料高效應用的能力,成為氣象關鍵IT基礎設施,支撐各類氣象業務應用的雲化,四川的氣象資料也透過“天擎”省級資料庫來承載。
“有蓉”調製出川味氣象基建特別滋味
精準的氣象服務,依賴於豐富龐雜的天氣資料和實時高效的計算量級。天擎“雲+端”的標準架構,原理是把所有資料集中在雲端,也意味著全網任何一個業務操作,均需要雲端資料庫配合,這對雲端的效能,資料吞吐能力和資料安全性提出了前所未有挑戰。
因此,四川氣象基於“天擎”得“雲邊+端”方案,賦予了“有蓉”資料庫獨特的味道。
首先,專門調製的“雲邊+端”方案,打造極致效能、業務吞吐與資料安全的業務架構鐵三角。
一方面,端側集中提供本地應用服務,邊側資料中心也能提供匯聚資料服務並按需與雲上保持一致,解決了資料統一集中在雲端而導致資料吞吐量過大的問題。
另一方面,邊與端直面向區域使用者提供服務,可以做到資料隔離,降低資料安全風險。這樣服務下沉,分散到各點後,效能壓力分散,減輕雲上的業務效能壓力。
此外,多項獨家“配的方”的應用,讓“有蓉”可以更安心地應對氣象大資料挑戰。
作為“天擎”系統核心TP資料庫的產品服務商,虛谷公司十分重視核心技術創新,虛谷資料庫原始碼自有率達到了99.5%。全套國產化軟硬體,可以避免基礎軟體層面的不確定性,安心承載重要資料。
“有蓉”的出現,讓雲時代的氣象資料和服務,被賦予更多新的風味與可能。
支撐數字山河,憑藉先進的資料庫產品構築創新底座
更深一步,搞清楚“有蓉”背後的創新因果與邏輯,能幫助我們更清晰地理解,數字變局需要怎樣的資料底座?具體表現為四個特徵:
第一,邊側資料庫的引入,為資料服務搭建了“高速通道”。
以“有蓉”資料庫為例,資料可以被快速彙總,各種氣象感測器的資料來源以更短路徑傳送到端側資料庫中;資料快速儲存,集中在雲、邊的訪問量被分散在邊側,可以快速把資料入庫;基於鯤鵬全棧的方案(鯤鵬伺服器+openEuler作業系統+有蓉資料庫〈openGauss〉)提供強大的資料處理服務,操作響應更快,綜合提升氣象資料的服務體驗。
資料顯示,依託鯤鵬計算平臺的多核高效能,結合有蓉自身領先的高效能核心,可讓資料匯聚速度提升約30%,從而保障前端業務的實時響應。
第二,“雲邊端”的高效協同,資料分級同步提升效率。
在資料同步上,一是按特徵同步,時效資料會被實時同步到雲端彙總;二是按需求同步,對資料進行分類,只同步雲端需要資料,其餘資料本地留存;三是跨區域同步,沒有及時同步到雲端的資料,可以跨區域點對點端側同步。按照架構的特點,端側資料庫熱資料提供本地實時氣象服務,全省資料分析彙總和精確預報則在雲端完成。
“雲邊端”協同分工,是四川氣象邁向智慧化氣象服務的關鍵。
第三,IT基礎設施的穩定,決定了氣象服務的業務連續性與可靠性。
氣象服務之於國計民生的重要性,也對資料庫的可靠性提出了挑戰。為此,有蓉資料庫基於鯤鵬多核高NUMA-Aware能力,加上資料庫核心的無鎖化設計等一系列技術,在氣象資料高併發、高頻資料寫入和查詢的同時,即使系統資源佔用近80%,仍能穩定提供服務。
此外,有蓉資料庫還具有金融級的、多地多中心的容災能力,在部分資料節點當機後,其他資料庫節點迅速接管業務,保證業務連續性,降低資料丟失風險。
最後,則是降低整套系統的部署和運維成本。
氣象業務每天會產生數GB甚至TB的時序資料,給運維帶來很大的困難。為了讓氣象這一“大國重器”更具經濟效益和社會價值,“有蓉”資料庫高度支援HTAP混合負載能力,可以一份資料輸出兩種業務模型結果,減輕高吞吐壓力的同時,極大的節省了業務改造和運維成本。
資料庫是IT行業的重要基礎軟體,越是基礎,要翻越技術大山就越難,對產業生態的要求也更高。虛谷偉業公司秉承著“虛懷若谷,有容乃大”的理念,不僅僅自研出了自主可控的虛谷資料庫,也完美的吸納高效能高安全的openGauss核心,研製出具有巨大優勢的有蓉資料庫,在國產資料庫在市場上突破技術壁壘、走向應用,並擔負國家公共基礎服務走向數字化、智慧化,更好服務社會的重任。
隨著一道道“中國味”的基礎軟體加入資料經濟的盛宴,深入變革氣象服務等基礎民生領域,改變著每一個人息息相關的日常生活,才讓數字山河間飄蕩出科技的人間煙的火味。
縱然無法像諸葛孔明一般神機妙算,亦能借助資料的力量,洞察氣象萬千、風雲變幻。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2777688/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 雲資料庫將進入企業級百萬IOPS時代資料庫
- 雲端計算時代,資料庫架構設計有哪些改變?資料庫架構
- 氣象資料隨時隨地:讓天氣預報API為您的應用提供精準的天氣資訊API
- 墨天輪訪談 | Pika資料庫陳磊:雲時代下,鍵值資料庫是否會被替代?資料庫
- 雲原生時代資料庫運維體系演進資料庫運維
- 阿里李飛飛:資料庫將全面進入雲原生分散式時代阿里資料庫分散式
- 雲時代的資料庫客戶端 —— CloudQuery最佳實踐資料庫客戶端Cloud
- 淺談雲端計算時代的資料庫執行資料庫
- 分久必合?資料庫進入“超”融合時代 | 愛分析調研資料庫
- 阿里資料庫進入全網秒級實時監控時代阿里資料庫
- 如何遠端管理天翼雲RDS資料庫資料庫
- 分散式雲時代,天翼雲4.0如何護衛邊緣安全?分散式
- 小切口支撐大變革 華為擎雲助力金融創新定製時代
- 氣象資料實時自動更新(CIMSS - West Pacific)
- 全球氣象資料ERA5的下載方法
- 雲資料庫安全管控資料庫
- GIS資料獲取:氣象資料免費下載網站網站
- 進入雲端儲存時代 摩杜雲的堅守與創新
- IT巨頭押注雲端計算,全球雲端計算進入寡頭競爭時代
- 從歷史天氣預報 API 看氣象大資料的商業價值API大資料
- 雲資料庫時代,誰能夠執牛耳?資料庫
- 求助 | 天氣預報資料採集,更新入庫的問題!
- 玩轉雲端 | 提升邊緣應用交付效率,天翼雲Serverless邊緣容器有妙招Server
- 新基建時代,騰訊雲資料庫沿主賽道加速演進資料庫
- 國家氣象局天氣 API 引數解析API
- LoRa氣象墒情遠端監測,助力智慧農業管理升效
- 大資料下一代變革之必研究資料湖技術Hudi原理實戰雙管齊下-下大資料
- 東方國信:CirroData行走在資料庫百花齊放時代資料庫
- 雲原生時代,資料庫該何去何從?資料庫
- 雲端計算時代邊緣計算正蓬勃發展
- 工業物聯網解決方案:風沙氣象資料實時上雲監控
- 物件代理資料庫:大資料時代下的應需之作物件資料庫大資料
- 阿里雲資料庫李飛飛:雲端計算推動資料庫向雲原生快速演進阿里資料庫
- 2024年WAIC·雲帆獎啟航:擎啟AGI時代,集結超越邊界的探索者AI
- 華為雲大資料BI,助力零售企業邁入數智化新時代大資料
- 天翼雲:加速推進雲網融合 共贏算力時代
- 海康威視科技助力氣象智慧觀測
- "端-邊-雲-數-智"共同守護 智慧管水有了海南正規化