實時資料庫與時序資料庫

qwer1030274531發表於2020-11-28

1、概述

在工業大資料資料庫儲存領域,除了傳統的關係型資料庫和分散式資料庫以外,還有一種型別的資料庫是非常常用,而且是非常有必要的,就是實時資料庫,以及時序資料庫。
但是,大家可能會有疑問,都是專門處理時序資料的,這是兩種資料庫嗎?他們之間有什麼聯絡?

1.1發展歷史

實時資料庫是資料庫系統的一個分支,它適用於處理 不斷更新快速變化的資料及具有 時間限制的事務處理。實時資料庫技術是 實時系統和資料庫技術相結合的產物。實時資料庫最起初是基於先進控制和最佳化控制而出現的,對資料的 實時性要求比較高,因而實時、高效、穩定是實時資料庫關鍵的指標。
實時資料庫的研究設計始於20世紀80年代中期。當時的美國隨著流程工業和航天工業的發展,大量的 測量資料需要整合和儲存,採用關聯式資料庫難以滿足 速度和容量的要求,而且介面訪問複雜,不適合科研和監控的需要,因此誕生了以 工業監控為目的的實時資料庫。實時資料庫系統一般是商業企業資訊化建設和工業控制智慧化的基礎,在商業化的實時資料庫產品開發上,國外有不少著名公司在原有自營業務的基礎上推出了相應的實時資料庫產品。

到了90年代,實時資料庫在流程工業全世界範圍內大行其道,源於乙太網的逐步普及;主要應用於工業監控、控制和公用工程。
國內的實時資料庫研究開始得晚一些。隨著國內工業界對分散式控制系統(Distributed Control System,DCS)的廣泛引進和應用,教育科技界率先進行研究實時資料庫理論的研究。目前對實時資料庫系統(Real Time Database System,RTDBS)的研究主要來解決實時系統中的 資料管理問題或為RTDBS提供 時間驅動排程資源分配演算法

目前實時資料庫已經應用到眾多領域,它的應用範圍還在不斷擴充套件,業界的工程師在不斷創造出實時資料庫的應用模式。實時資料庫還可用於會計、銀行、法律、醫療記錄、多媒體、過程控制、預定系統和科學資料分析等領域。
整體來看,以監控為目的的實時資料庫只是 狹義上的實時資料庫,廣義上講,只要一個資料庫具備實時處理過程,即以足夠快的速度處理事務來返回結果並及時響應,且處理的工作事務的狀態不斷變化,那它就是實時資料庫。而以監控為目的的實時資料庫滿足這些條件,它處理的是感測器或裝置不斷產生的時序資料,可以快速處理、及時響應。其“時序資料”作為重要特徵區別於其他各類資料庫,於是就有了另外一個名字:時序資料庫。

時序資料庫在維基百科上的解釋:A time series database (TSDB) is a software system that is optimized for handling time series data, arrays of numbers indexed by time (a datetime or a datetime range). 翻譯過來就是“時序列資料庫用來儲存時間序列(time-series)資料並以時間(點或區間)建立索引的軟體系統。”

所以,實時資料庫的概念包含時序資料庫,也就是說可以處理時序資料的實時資料庫就是大家所說的時序資料庫,實時資料庫還可以處理時序資料以外的資料。網上流傳的各種定義和觀點大多沒有抓住其本質,把各種表象、形態、架構、甚至某個產品的功能當作實時資料庫的特徵給下定義,不具有參考價值。

1.2發展未來

在國家層面,“實時資料庫”被看作是與作業系統統一級別的基礎軟體。2015年12月14日,工業和資訊化部發布貫徹落實《國務院關於積極推進“網際網路+”行動的指導意見》行動計劃(2015-2018年),明確了2018年“網際網路+”總體目標。文中關於實時資料庫有如下內容:
“發展軟體和資訊科技服務業。推動 基礎軟體核心關鍵技術突破,加快新興領域基礎控制及應用軟體發展。支援高階工業軟體、新型工業APP的研發和應用,發展 自主可控工業作業系統及 實時資料庫等基礎軟體,提升設計、模擬、管理、控制類工業軟體的國產化率和應用水平。”

1.3小結 /guizhou/

工業監控領域的實時資料庫其實並不單單只是一個資料庫,而是一個系統,包括對各類工業介面的資料採集,海量監測資料的壓縮、儲存及檢索,基於監測資料的反饋及控制功能等。它主要是為了解決當時關係型資料庫不太擅長的領域,包括:
       1、 海量時序資料的實時 讀寫操作

2、 大容量時序資料的 儲存

3、 整合了工業介面的時序資料 採集

4、 整合控制功能,可實現實時 控制

但是,“海量”、“大容量”是相對意義上的,十年前幾百GB可能就已經算是“海量”了,但隨著大資料技術的飛速發展,資料量朝著TB、PB一路高歌猛進,測點規模動則百萬、千萬起步,部分起步早的實時資料庫由於跟不上時代變化而逐步落伍,大浪淘沙篩選出真正的“金子”,它們在新的時代、新的領域將繼續解決實時資料處理領域面臨的各種問題。
於此同時,隨著Hadoop的普及,基於各種開源元件出現了許多新興的時序資料庫,它們繼承了Hadoop的“大資料”基因,為處理海量時序資料而生,他們正在網際網路領域快速成長,優秀的基因賦予它們光明的未來,但也正在或即將面臨大浪淘沙,以及實時資料庫的挑戰。

新的實時資料庫或時序資料庫也許正在誕生,還有那些已經長大的, 有的依然健壯成長,有的走向衰落,在這段生命裡,大家研究同一個問題,並以解決問題為使命,所不同的只是技術手段,但真正能長久的只是因為使用了某種技術嗎?真正重要的是把握住生產發展的需求、跟隨問題變化而不斷迭代技術。
       

下面將以實時資料庫中的代表:庚頓實時資料庫,和時序資料庫的代表OpenTSDB,進行全面分析對比。

2、實時資料庫&時序資料庫基本情況對比

基本情況對比
序號 比較專案 OpenTSDB Golden
1 是否開源
2 公司名稱 北京庚頓資料科技有限公司
3 公司性質 中國民營企業
4 公司成立時間 2010年(產品釋出年份) 2007年
5 業務開展時間 2010年 2003年
6 價格水平 免費 適中
7 授權協議 LGPL(允許私有使用) 廠商授權
8 公司資質 --

海淀區創新企業

中關村高新技術企業

國家高新技術企業

武器裝備質量管理體系認證企業等

9 產品資質 -- 滿足實時資料庫安全評價規範標準要求
10 技術服務能力

使用需專業運維團隊

有問題可以社群提問或聯作者

開發團隊在中國,有專門的售後服務團隊
11 縱向管理能力 -- 支援集團級應用和多級部署
12 主要應用行業 物聯網 電力(電網、發電 )、新能源、石油化工、物聯網等
13 服務模式 線上 線上+線下
14 知名使用者 Zenoss(企業網路/系統管理應用程式) 國家電網、南方電網、華能集團、華電集團、金風科技、中船 重工、CEC電子等
15 典型案例 資料中心機房運維監控系統 在民用領域,廣泛應用於 國家電網、南方電網、神華集團、華能集團、華潤集團等世界五百強企業中,以及 金風科技、廣東明陽、大唐華創風能、湖北能源集團、華能新能源等風電領軍企業中;在軍用領域,與 中船重工七〇一所、七〇三所、CEC中國電子、中電科十所、十四所上海核工業研究院、海軍工程大學等軍工企業和研究機構共同解決海量資料實時處理問題

 

3、成本對比 shijiazhuang/

雙方的成本構成
序號 比較專案 OpenTSDB Golden
1 軟體成本 受LGPL協議限制 有(由裝機容量而定)
2 部署方式 需要大量的伺服器組成叢集 單機/雙機/叢集
3 硬體成本
4 依賴軟體 Hbase
5 運維團隊 需有專業運維團隊,熟悉linux叢集運維,HBase運維和OpenTSDB運維 無,工程人員經過短期培訓掌握安裝部署即可,執行中的運維工作量很少
6 開發團隊 基本的業務能力、客戶端等都需要軟體開發工程師開發 產品配套功能強大的計算引擎和組態軟體,工程人員經過短期培訓就可組出想要的工程介面和實現業務邏輯
7 使用者體驗 要達到較高的使用者滿意度需要投入較高的人財物力 成熟產品,使用者體驗好,節省宣傳推銷成本和時間成本

 

OpenTSDB的成本主要是硬體和人力成本,Golden的成本主要是軟體成本。由於不同使用者的情況、需求、資源都不盡相同,可根據實際情況選擇最合適的。OpenTSDB多個節點的服務能力相當於Golden一個節點的服務能力。

4、安全可控性對比

安全可控性對比
序號 比較專案 OpenTSDB Golden
1

公司地點

開源,社群維護,美國 中國.北京
2 研發團隊 美國,各地開源貢獻者 中國.北京
3 總部直屬支援團隊 有(國內團隊支援全國市場)
4 大陸分公司或核心分銷商支援 有(北京總部直接派團隊進行技術支援)
5 程式碼可控性 開源,可私有到自己產品中 國內掌控
6 資料安全性 不安全 安全

 

5、結束語

以上是依據產品現有的功能的基礎上進行比對,產品更新迭代,會各自沿著自己的產品規劃進行發展,使用者根據自己的使用場景和實際情況進行選擇。 /epilepsy/

產品未來可期!


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/30239065/viewspace-2737854/,如需轉載,請註明出處,否則將追究法律責任。

相關文章