報告下載:新增199IT微信公眾號【i199it】,回覆關鍵詞【2022年資料庫專題報告】即可
1 資料庫——資訊化時代的基石產品
1.1 資料庫簡介
資料庫(Database):資料庫是通過資料管理系統(DBMS)按照特定的資料結構,對資料進行組織、儲存及管理的倉庫。通 過資料庫可以到達資料的統一維護、共享和利用,從而保證資料的完整性、一致性和安全性。
資料庫管理系統(DatabaseManagementSystem):資料庫管理系統是對資料庫進行操作和管理的電腦軟體系統,一般具有 儲存、擷取、安全保障、備份等基礎功能。資料庫管理系統是資料庫系統的核心組成部分,實現資料庫物件的建立、資料庫儲存 資料的查詢、新增、修改與刪除操作和資料庫的使用者管理、許可權管理等。
資料庫系統(DatabaseSystem):由資料庫及其管理軟體組成的資料處理系統。也是一個為實際可執行的儲存、維護和應用 系統提供資料的軟體系統,是儲存介質、處理物件和管理系統的集合體。一般由資料庫、資料庫管理系統(DBMS)、應用系統、 資料庫管理員和使用者構成。DBMS是資料庫系統的基礎和核心。
1.2 資料庫的分類
按資料結構分類
關係型資料庫:又稱SQL資料庫,利用簡單的二元關係模型來組織資料的資料庫。在關係型資料庫中,以行和列的形式儲存資料, 以便於使用者理解,一系列的行和列被稱為表。對資料的操作幾乎全部建立在一個或多個關係表格上,通過對這些關聯的表格分類、 合併、連線或選取等運算來實現資料庫的管理。目前流行的Oracle和MySQL等資料庫均為關係型資料庫。
非關係型資料庫:又稱為NoSQL資料庫,意味著其將不僅僅限於傳統的SQL二元模式,而是進行更廣泛的擴充。是對傳統關係型數 據庫的有效補充。根據具體的儲存方式,非關係型資料庫可進一步分為鍵值儲存資料庫、列儲存資料庫、面向文件資料庫、圖形數 據庫。
按應用型別分類
OLTP:(On-LineTransactionProcessing,操作型資料庫,又稱聯機事務處理)主要關注一段時間內的實時資料,基本特徵是接收 的使用者資料可以立即傳送到計算中心進行處理,並在很短的時間內給出處理結果,是對使用者操作快速響應的方式之一。伴隨企業資訊 系統大量業務資料的產生,從不同型別的資料中提取出對企業決策分析有用的資訊這一需求日漸顯現。分析型資料庫技術就是在這樣 的背景下發展起來的。
OLAP:(On-LineAnalysisProcessing,分析型資料庫,又稱聯機分析處理)主要是分析長期資料的規律走勢,多應用於決策。操 作型資料庫的優勢在於線上實時業務的處理,分析型資料庫則擅長複雜的分析操作並給決策提供支援,兩者的側重點不同,因此可以 相互補充。
1.3 資料庫的發展歷程及趨勢
資料庫發展的三個階段
首款企業級資料庫產品誕生於上世紀 60 年代,六十餘年發展過程中,資料庫共經歷前關係型、關係型和後關係型三大階段。
前關係型階段資料庫的資料模型主要基於網狀模型和層次模型,代表產品為IDS 和 IMS,該類產品在當時較好地解決了資料集中存 儲和共享的問題,但在資料抽象程度和獨立性上存在明顯不足。
關係型階段以 IBM公司研究員 E.F.Codd 提出關係模型概念,論述正規化理論作為開啟標誌,期間誕生了一批以DB2、Sybase、 Oracle、SQL Server、MySQL、PostgreSQL 等為代表的廣泛應用的關係型資料庫,該階段技術脈絡逐步清晰、市場格局趨於穩 定。
谷歌的三篇論文了開啟後關係型資料庫階段,該階段由於資料規模爆炸增長、資料型別不斷豐富、資料應用不斷深化,技術路線呈 現多樣化發展。隨著各行業數字化轉型不斷深入,5G、雲端計算等新興技術快速發展,傳統資料庫的應用系統紛紛優化升級。全球市 場格局劇烈變革,我國資料庫產業進入重大發展機遇期。
資料庫行業未來發展趨勢
趨勢一:DBaaS
隨著企業業務規模的擴張,數字化轉型的推進,其對資料庫系統也提出了新的要求:傳統建設模式專案週期長,難以匹配業務進度;企 業部署多套資料庫系統,缺少統一的管理平臺;資源採購和體系規劃按現有規模建設,難以隨業務的變化而彈性伸縮等。鑑於這些情況, 將IT基礎資源以服務化的方式提供給資料庫,並以多租戶和動態調整來解決成本和響應問題的DBaaS(Database as a Service)模式將 得到進一步的推廣。部分對資料自主性和安全性要求較高的大型企業,可以選擇以私有云或者專有云的方式進行資料庫的雲化改造。(報告來源:未來智庫)
趨勢二:HTAP
HTAP解決了面對海量資料庫下的儲存與併發處理的擴充套件性問題,實現線上高 併發OLTP及OLAP海量資料分析。
低成本,底層資料可快速複製,並且同時滿足高併發的實時更新。
塊連續儲存,行儲存頻繁被修改的熱資料,列儲存需要查詢和分析的冷數 據。大規模多級並行處理能力MPP,以無共享架構叢集具備線性擴充套件能力。
資源隔離,提供AP、TP資源鏈隔離機制,避免相互影響。
趨勢三:開源
從產業發展角度來,開源模式既提高了資料庫產品開發的“效率”(避免基礎程式重複開發),又有助於產品的技術“創新”(加速靈 感誕生)。儘管從表面上看,企業部署開源並不能獲得直接的利益,但在這個過程中,它們卻可以佈局產品的生態建設(包括人才培養、 市場教育、實踐反饋等),從而為自己獲得有利的戰略地位。在當今移動網際網路向產業網際網路發展的轉折點,開源模式未嘗不是各雲廠 商、傳統廠商、新興廠商擴充套件市場的破局之刃。
2 資料庫市場增長迅速,國產替代空間大
2.1 全球資料庫市場規模 –整體規模
全球資料庫進入快速發展期。2019年全球資料庫市場規模已達584億美元,2020年在經營管理資訊化、辦公模式自動化推動下,市場 規模達到665億美元。隨著未來資料爆發式增長,預計2025年全球大資料儲量將達到175ZB,2026年全球大資料儲量將達到223ZB。資料大爆發必將促進全球資料庫行業的穩健發展,2026年全球資料庫行業市場規模有望突破2000億美元,預計未來五年資料庫市場 保持21%左右的複合增速。
關係型資料庫盛行,市場集中度較高。資料庫市場參與者眾多,但市場份額較為集中。2020年全球資料庫市場中份額佔比超過5%的 廠商包括Microsoft、Oracle、AWS和IBM,市場份額分別為25%、24%、20%和7%,合計市場份額近80%。
2.2 中國資料庫市場規模 – 整體規模
未來五年,我國資料庫市場空間巨大。據中國信通院測算,2020年全球資料庫市場規模為671億美元,中國資料庫市場規模為35億美 元,約為241億元人民幣,佔全球市場規模的5.2%。預計2025年,全球資料庫市場規模將達1920億美元,其中,中國資料庫市場規 模將達688億元人民幣,預測期間年複合增長率為23.4%。
關係型資料庫仍為主要產品,非關係型資料庫發展勢頭良好。截至2021年6月,我國資料庫產品共有134款,其中關係型資料庫有81 個,非關係型資料庫有54個,分別佔總量的60%和40%,我國資料庫產品分佈呈現以關係型為主,非關係型及混合型為輔狀態。非關 系型資料庫中,鍵值型資料庫有5個,列存資料庫有3個,文件資料庫4個,圖資料庫13個,全文檢索資料庫1個,在非關係型資料庫 中分別佔9.3%、5.6%、7.4%、24.1%和1.9%。
2.3 全球資料庫競爭格局 – 整體情況
全球資料庫市場中,傳統資料庫三大龍頭廠商為 Oracle、IBM和Mircrosoft,雲資料庫廠商前景廣 闊。Oracle是全球最大,應用範圍最廣的資料庫廠商, 穩居行業第一,在中國曾一度佔據40%以上的市場份 額。然而隨著開源式與分散式資料庫不斷髮展,傳統數 據庫地位受到衝擊。2018年全球資料庫市場規模為493 億美元,同比增長18.4%,其中雲資料庫市場規模為 111億美元,佔全球資料庫市場的22.6%。在此背景 下,以AWS為首的雲資料庫廠商發展迅猛,2018年全 球資料庫規模排名中,Oracle穩居第一,Microsoft位 居第二,AWS首次登上前三名。其中中國雲資料庫廠 商也表現良好,阿里巴巴位居第九,華為位列第十一, 騰訊位列第十三,全球資料庫市場在雲端計算迅猛發展的 背景下,競爭格局正迎來局面重塑,優秀廠商有機會實 現彎道超車。
2.4 中國資料庫競爭格局 – 整體情況
國產資料庫廠商市場份額逐年提升。在政策推動下,國內企業陸續進行資料庫國產化替代,此外,國產資料庫廠商技術日趨成熟,推 動國產資料庫廠商市場份額逐漸增加。國產傳統資料庫陣營中,武漢達夢、人大金倉、南大通用與神舟通用為行業代表,在黨政軍領 域均有良好表現,同時也向能源電力、電信、交通、金融等行業快速擴充。除傳統資料庫外,初創廠商、雲廠商、ICT廠商等廠商也 處於快速成長期。相比之下,國外資料庫廠商雖然仍佔據較高市佔率,但其市場份額正逐漸被國產資料庫廠商侵蝕。
我國公有云資料庫過去三年增長迅速,未來有一定滲透空間。我國公有云部署模式資料庫市場份額逐年提升,2020年佔據32.7%的市 場份額,預計2025年公有云市佔率將達47.2%,未來公有云增速會略有放緩,但發展空間仍舊廣闊。現階段雲資料庫主要應用於互聯 網行業以及傳統行業場景,隨著未來廠商的不斷創新,雲資料庫將應用於更多行業,進一步推動了雲資料庫的發展。
3 資料庫行業思考及考量因素
3.1 資料庫行業思考——為什麼去IOE很難?
什麼是IOE?I是以IBM p系列為代表的小型機,操 作系統為AIX,O是以Oracle代表的資料庫,E是以 EMC為代表的中高階集中式儲存。IOE最大特點就是 將一切資料集中在單一資料庫中,依託高階裝置來拓 展,用以增強處理能力。其增強擴充性的途徑為向上 擴充,通過增加記憶體容量、磁碟規格、CPU數量等途 徑來提高計算能力,在大資料時代提升成本很大。
“去IOE”的含義:(1)“去I”是指去除小型機設 備和集中式技術架構,改用X86平臺和分散式架構;(2)“去O”是指去除以Oracle甲骨文代表的商業 資料庫,替代為以MySQL為代表的開源資料庫;(3)“去E”是指不再使用以EMC易安信為代表的 集中式儲存,改用X86伺服器本地儲存或開放通用的 儲存。相較於傳統IOE的資料庫架構,去IOE能大幅 節省商業授權的成本,且X86架構PC伺服器的功耗 小於小型機,有助於節能減排。去IOE最大的改變是 由原先的集中式變為分散式,這使資料庫平臺穩定性 大幅提升,部署更加靈活,大範圍推廣能顯著減少運 營維護成本。
“去IOE”的趨勢:當前資訊保安問題已經上升到國家安全的高度。如果國家 的機密資料、戰略資源、商業敏感資料等資訊經由國外軟體一覽無餘,那麼 國家的利益和地位將受到嚴重的影響。因此,建立自主可控的資訊保安體系 勢在必行,資訊產品、裝置的採購應當儘量採購國產軟體、裝置。稜鏡門的 發酵使資訊保安受到普遍關注,加上國內IT廠商急需破除國外IT巨頭的壟斷獲 得自己的市場空間,今年以來IT系統“去IOE”和國產化替代進入加速期。“ 去IOE”並不是簡單地棄用國外裝置,而是在同等可替代條件下,優先選用國 產裝置和服務,從而促進國內IT產業的發展。
為什麼去IOE很難?
1. 成本並不低。去IOE所投入的成本並不低於購買昂貴的IOE 2. 網際網路和銀行在it建設上的最大區別不是技術能力和人才數 量,而是開始建設的時間點和需求不同。銀行開始進行it建 設的時候,有錢、有準確的業務需求、業務形式變化慢。當 時市面上可以選擇的產品較少,只有IBM的大型機和Oracle 資料庫。網際網路企業開始it建設的時候,沒錢、沒有準確的 業務需求、業務形式變化很快。而當時市面上的產品很多, 因而選擇了開源產品來進行二次開發。3. IOE象徵著穩定和規避風險,做這麼大的調整,沒有人願意 承擔責任。4. 軟硬體採購背後各種利益關係。5. 技術人員匱乏。對國企的業務系統和非IOE技術都精通的人 才在國企、銀行中很匱乏。6. 國貨實力還有待考驗,涉及資料機密,不敢重用BAT的產品。
3.2 資料庫行業思考——Oracle為何這麼成功?
(1)Oracle 佔據先發優勢,客戶粘性強
成功祕訣: Oracle起步時間早,已多年佔領資料庫領先地位。通過梳理全球資料庫巨頭企業的起步時間,我們發現Oracle起步時間最早,在 1978年就率先發布了Oracle資料庫的第一個版本Oracle1。在隨後的十幾年中,其他廠商才陸續推出自己的第一款資料庫產品。由 於起步時間早,Oracle獲得了大量的時間進行產品優化和搶佔市場份額。根據Gartner的資料,早在2004年,Oracle在全球資料庫 市場中就已經以62.34億美元佔據了48.9%的市場份額。第二名IBM僅為Oracle的一半,而這樣的市場格局一直持續到了今天。
( 2) Oracle順應時代潮流更替,產品不斷更新迭代
成功祕訣: Oracle團隊商業嗅覺敏銳,能準確抓住 時代熱點,並不斷改良打磨產品。Oracle的領導團隊擁有極強的商業嗅 覺,當初僅僅憑藉一篇IBM的論文,根據 市場需求就能創立Oracle。Oracle成立 以來的四十多年中,IT架構、終端裝置形 態在不斷的推陳出新,Oracle大致經歷 了小型機與大型機、客戶機與伺服器、互 聯網架構、雲資料庫與大資料四個時代。可是不管時代潮流如何變化,Oracle總 是能夠緊緊跟上時代的熱點,然後通過不 斷的改良優化產品,調整市場策略,以適 應時代的快速發展。
( 3) Oracle通過不斷的收購合併,完善產業佈局
成功祕訣:大量的收購兼併,形成商業閉環
作用1:Oracle產品種類繁多,功能完善得益於大量的收購合併
通過將全球計算機軟硬體巨頭企業進行比較,Oracle的產品線佈局明顯比其他幾家廠商廣泛不少。而Oracle如此完備的產品佈局 得益於它不斷的收購合併相關公司。同時,Oracle的產品在OLTP和OLAP中也都有佈局,且功能十分強大。OLTP主要是指能執 行基本日常的事務處理(資料庫記錄的增刪查改)的資料庫型別。OLAP是指能支援複雜的分析操作,並且提供直觀易懂的查詢 結果的資料庫。典型的應用就是複雜的動態報表系統。
作用2:Oracle通過大量的收購合併不斷在資料庫上下游佈局,形成完整的商業生態圈
在資料庫軟體產業鏈中,上游多是以伺服器廠商、晶片廠商組成的網路和硬體廠商;中游由資料庫、作業系統和中間 件等基礎軟體廠商組成;下游主要是各行業的應用開發商。Oracle在資料庫軟體的上下游均有佈局,影響力非常大。同時,因為他已經形成了一個屬於自己的完整的生態圈,所以即使在某一個節點出現了策略失誤,競爭對手也很難趁 虛而入(突破整個生態體系需要大量的時間與財力)。
4 資料庫廠商梳理
4.1 國外資料庫廠商—Oracle
公司簡介
資料庫作為計算機架構中的核心部署,發展到今天已 經有50年曆史了。資料庫產品發展至今,中間經歷了 計算架構和計算載體的各種變化,但是資料庫的重要 地位一直沒有改變。同時,在資料庫軟體行業中, Oracle的領導地位也從未發生變化。Oracle公司(甲骨文)成立於1977年,總部位於美國 加州Redwood shore,是全球最大的資訊管理軟體 及服務供應商。Oracle由Larry Ellison、Bob Miner和 Ed Oates於1977年6月創立,已經有四十多年曆史了 ,期間Oracle資料庫也前後更迭了十幾個版本。四十 年的漫長歲月中,Oracle經歷過輝煌也體驗過低谷, 但是最終通過持久的創新與靈活的商業策略在市場上 存活了下來,並在2013年成功超越了IBM,成為了僅 次於微軟的全球第二大軟體巨頭。
資料庫產品體系
Oracle資料庫產品為客戶提供經過成本優化的 高效能Oracle資料庫、先進的融合多模型資料 庫管理系統以及記憶體中資料庫、NoSQL資料庫 和MySQL資料庫。客戶可以在本地部署環境 中通過Oracle公有云本地化解決方案使用 Oracle自治資料庫,也可以在Oracle雲基礎設 施中使用Oracle自治資料庫,從而簡化關係數 據庫環境並減少管理工作量。(報告來源:未來智庫)
4.2 國外資料庫廠商—IBM
公司簡介
IBM公司成立於1911年,是全球最大的資訊科技和業務解 決方案公司。其主營業務部門包括全球技術服務部(GTS) ,全球商務服務部(GBS),系統與技術部,軟體部和全球 金融部。作為關聯式資料庫領域的開拓者和領航人,IBM 公司的研究員 E.F.Codd 發表了業界第一篇關於關聯式資料庫理論的論文”A Relational Model of Data for Large Shared Data Banks” ,首次提出了關係模型的概念。
IBM在1973年完成了 System R系統的原型,1980年開始提供整合的資料庫服務 器——System/38,隨後是SQL/DS for VSE和VM,其初始 版本與System R研究原型密切相關。DB2 for MVSV1在 1983年推出。該版本的目標是提供這一新方案所承諾的簡單 性,資料不相關性和使用者生產率。1988年DB2 for MVS提 供了強大的線上事務處理(OLTP)支援,1989年和1993年 分別以遠端工作單元和分散式工作單元實現了分散式資料庫 支援。DB2 Universal Database 6.1則是通用資料庫的典 範,是第一個具備網上功能的多媒體關聯式資料庫管理系統, 支援包括Linux在內的一系列平臺。
資料庫產品體系
BM Db2是一個資料管理產品系列,包括Db2關 係資料庫。Db2結合AI,並基於Red Hat Openshift構建的整合式多雲資料平臺,可幫助用 戶跨本地和多雲環境實現結構化資料和非結構化 資料管理現代化。同時提供優化的效能,可用性 ,更高的生產力,並降低成本保持安全性,完整 性和使用者資料的私密性。它的設計在Microsoft Windows,UNIX和Linux作業系統上執行。
報告下載:新增199IT微信公眾號【i199it】,回覆關鍵詞【2022年資料庫專題報告】即可