ACOUG 聯合創始人蓋國強：永珍更新，資料庫技術和生態的發展演進

以下內容根據蓋國強先生演講速記稿以及PPT整理而成。

關注公眾號“資料和雲”，回覆：2019dtc ，更多精彩ppt等你下載！（PPT還在不斷更新當中，請持續關注）

2019資料技術嘉年華 蓋國強先生現場演講

今天上午演講的嘉賓都或多或少談到了 資料庫的發展趨勢，諸如：資料庫要朝著什麼方向去發展，未來是什麼樣子的...我也不例外，我今天帶來的主題，總結為四個字： 永珍更新。下面，我會帶來我的一些觀點，還有一些技術細節。

首先，回顧一下去年我的一個觀點分享。我以為， 近代資料庫技術的發展可以劃分為三個階段，分別是：

商業資料庫時代 ：以Oracle、DB2、Sybase、SQL Server 等產品為代表，開創了一個企業級軟體時代；

開源資料庫時代 ：以MySQL、PostgreSQL、MongoDB、Redis 等產品為代表，推動了網際網路時代；

雲資料庫時代 ：以Oracle的自治資料庫、AWS 的 Aurora、阿里雲的POLARDB等產品為代表，開創了雲時代；雲資料庫時代，我把它稍微修正一下，我認為其是商業和開源的混合時代，它既用了開源資料庫，同時吸納商業資料庫，在雲上重新構築了資料庫的新形式，只不過是說今天Oracle在雲上的發展還不夠快，還沒有來到中國，但這個趨勢不可逆轉。

我們今天看到的AWS亞馬遜一度成為全球市值最高的企業，包括今天的阿里雲成為雲市場的絕對領導者。雲輕而快的特點，使得很多初創的企業借鑑雲數字化優勢快速成長起來。接下來的一步會是什麼？我繪製了一張圖，我們今天資料庫生態變得百花齊放，在資料庫流行排行榜上有接近400種資料庫。從縱向來看，資料庫分成關係型資料庫和非關係型資料庫。如果從橫向上再切分一下，又分成了分析型和事務型，這是整體框架。我們驚喜發現，今天的資料庫時代裡，有很多中國資料庫產品的身影，所以我說這是屬於“資料庫人”最好的時代。

資料庫經過這樣的百花齊放的發展、演進，未來向何處去？第一個趨勢， 資料庫是雲上的終極之戰，這是AWS領導說的，他說雲上的終極之戰是資料庫，因為資料庫下邊是基礎設施IaaS，頂上是應用，中間是資料庫。終極之戰早已經打響，我引用兩件歷史事件，第一個是大家知道阿里巴巴提出的去IOE的理念，最早在2013年把小型機逐漸替換到商業資料庫。另一個是AWS10月16日宣佈的，它把7500個Oracle中的75PB內部資料轉移到多個AWS資料庫雲上資料環境中。

我前面寫一篇文章，我說大家在逃離商業資料庫，其根本的原因是什麼？我引用AWS這篇文章當中的一句話，他說多年以來，我們意識到我們花了太多的時間來管理和擴充套件數千箇舊的資料庫，他說我們的DBA不再專注於高價值的差異化工作，而是花費大量時間應對高的事務率，應對儲存的上升等基礎性的工作，而忽視了真正有價值的，有創造性的工作，他說這是根本原因。

今天參會的大多數都是商業企業或者中大型商業企業，而發展雲資料庫必須到To B市場檢驗，所以首先我提出的觀點是：得到To B市場認同，才是一個資料庫成敗的關鍵。包括雲廠商今天在做的是將雲上資料庫帶到雲下，雲上、雲下融合也是大勢所趨。

其次，To C跟To B天然具有巨大的差異性，To C注重極致使用者體驗，但是To B不一樣，To B根本上重視的是組織的績效和效率的提升，所以雲上跟雲下是完全不同的。我引用了一個來自於美國的分析機構總結的報告，我非常贊同它提出的一個觀點，它說長期的趨勢不是去讓所有企業把它所有資料庫遷移上雲，長期的趨勢應該是將雲的體驗轉移到資料上來。大家可以看到，越來越多的雲資料庫會轉移到私有云市場上來。以上，是我對資料庫發展的一些展望。

我們再回顧一下，在資料庫變革的浪潮裡，資料庫技術發生了哪些本質上的變化？這張PPT是我很早前畫的，四字總結：“分分合合”。我們說所有的企業可能都經歷過這樣的IT建設歷程：系統建好以後，資料量不斷增加，負載越來越高，越來越慢，怎麼辦？企業可能要去分庫、分表、分散式，成本高了我還要開源，所以這是企業的變化。可是所有這些變化、經歷和其商業目標不一定是吻合的，分散式就真的好嗎？如果它帶來管理上的複雜性、故障率的提高，不見得就是最佳的選擇。

我們再看資料庫軟體，它本身在發生什麼樣的變化，還是那四個字“分分合合”。當我們說很多使用者在進行資料分析的時候，還有很多使用者在做整合。在資料庫軟體內部，正在經歷的變化又是什麼？我們在做分割槽、分表、Sharding等等，以及最近的機器學習，自治智慧等，這就是資料庫的變化。

前面幾位嘉賓都從宏觀方面談起，下面，我把其中的技術細節展開一下，跟大家一起回顧一下整個行業裡的變化。

最早阿里巴巴淘寶去IOE的時候，它的動因是什麼？我引用了兩張圖，最早它完全是IOE架構，透過Oracle來支撐淘寶核心交易，在核心做了同城雙中心，透過跨資料中心的複製保證資料零流失。這個架構在應對大規模高併發交易的時候，出現了承載能力的問題，資料庫上出現了嚴重的瓶頸。針對此情況，阿里做的第一步應對措施是混合資料庫，將Oracle資料庫高頻查詢的表拆解到MySQL上進行讀寫分離。後來又換成MySQL主從，把商業資料庫替掉了，這時必然要加一層中間層，是阿里的路由層。這個歷程還在向前發展...

我認為POLARDB是雲資料庫，它做計算儲存分離，做讀寫分離儲存擴充套件，可以把儲存擴充套件，還可以做到16個節點讀寫分離（1寫、15讀）。基於此，絕大多數企業就不需要再去做分散式了。 

阿里雙十一有四大殺手鐧，第一是自研伺服器做的虛擬化服務，第二是自研雲原生資料庫，第三是計算與儲存分離，第四是RDMA網路。在9月阿里的雲棲大會上，他們釋出了POLARDB  BOX一體機。POLARDB BOX內建相容Oracle語法的資料庫引擎；雲平臺內建於BOX一體機中；將資料庫之間、雲上雲下之間的壁壘逐漸消除。在私有云環境下,它可以自由在雲上、雲下自由遷移，這是阿里雲，這是POLARDB。

如今，開源資料庫在企業的應用和推廣也是風起雲湧，我們知道中國電信企業正在透過以MySQL為基礎的自研平臺去替換商業資料庫。這是電信的TeleDB，它透過MySQL的一主多從分散式進行替換，在這裡我列舉了一些關鍵的技術點：第一，為了提升安全性，它引用了增強的半同步機制，它要保證落地後才讓事務成功，確保資料不丟失。第二，使用執行緒池技術來解決最大連線數限制問題，以及過多執行緒帶來的系統開銷。第三，通常採用一主兩從的部署架構，引入 Flashback 閃回功能。

前一段時間，我寫過一篇文章。我認為，2019年一定是國產資料庫的元年。我們看到很多國產資料庫已經在企業級應用落地，譬如，騰訊的TDSQL，它從農商行到傳統銀行核心業務，它替換的是核心交易：交易子系統、會計子系統；遷移的核心繫統的資料量在 TB 級，包括了賬戶、賬目、流水、賬單、日誌等資料；採用的是“一主三備”的模式；其核心思想是複製、分片，複製解決安全性問題，分片解決彈性擴充套件問題。

還有一點，TDSQL提供兩個元件，一個是“赤兔”，一個是“扁鵲”，“赤兔”跑得快，要對系統進行全面採集和監控。“扁鵲”是治未病，智慧化的分析。TDSQL提供的“赤兔”和“扁鵲”系統為資料庫實現自動化運維提供了豐富的工具。

還有GaussDB，GaussDB  OLTP事務型資料庫設計是什麼理念？它是縱向的極致擴充套件，它和POLARDB目前現階段的設計是類似的，縱向上把資料庫擴充套件到極致，可以擴充套件到PB級，讓你透過這種擴充套件就可以解決絕大多數問題。目前GaussDB 100僅有單機，據說明年會有叢集版本，可以分片，做成叢集的資料庫。

當資料庫從原來的集中式變成上千個資料庫，我們必須在運維上對它做出極大的簡化，才可能讓它的過度是平滑的。這是招行在運維上的一個實踐，我把它分為標準化、自動化、智慧化的發展歷程，標準化是將運維的工作梳理清楚，自動化是支援自動化工作，智慧化是可以使某些工作變成智慧判斷，自主決策。我今年年初與他們交流的時候，他們談到，希望工具化和平臺化讓普通人透過簡單的培訓就可以完成複雜資料庫的運維，所以把所有功能變成一鍵式的，讓運維工作、讓資料庫的運維工作簡單化，我覺得這是一個正確的方向。

我還想花一點時間，再談一談Oracle的資料庫。在今天Oracle資料庫仍然是這個領域最佳的資料庫產品，它也是大家共同學習和超越的物件。我和大家一起回顧一下Oracle在做什麼？而Oracle做什麼很大程度意味著未來資料庫向哪個方向發展。

在12.2版本中，第一，Sharding在做分散式；第二，多租戶；第三，AHF，資質的健康診斷；第四，NMF；第五，Onlien  Encryption。

在18C版本中，包括Sharding  RAC，多租戶增強，還有IOT海量資料的增強特性。

在19C版本中，Oracle主要特性包括自動的ADG  DML，自動化縮印，混合分割槽表，JSON增強。這裡看到了智慧化、機器學習技術，自動化的索引技術。

再看看20C版本，明年將要釋出，引用區塊連結串列、多模，所以我們說多模是個趨勢。Oracle是多模堅定支持者，把所有能加入的特性全部加入，然後有AutoML機器學習，還有最後一項叫Persistent持久化記憶體支援，Oracle將硬體的提升利用到了極致，它在這個方向上走得是最快的。

所以我們看到資料庫趨勢是分散式、Sharding、人工智慧、自動化索引，有對硬體的支援，有多模，這是我認為資料庫發展的未來方向。

下面，我將展示一組來自Bethune 平臺的資料，其中包括6127套資料庫。第一，雖然20C快要來了，11g仍然是主流版本，有將近5000套資料庫落在這個版本上。第二，在叢集模式上，2節點叢集為主，大家可以看到叢集和非叢集差不多各佔一半第三，硬體在快速地進步，計算資源的分佈從1到1024CPU。第四，從10G到兩個TB，今天很多資料庫記憶體是TB級的，動輒便是幾個TB級的。

旁邊還有三個資料。第一組資料，叢集資料庫和非叢集資料庫，叢集佔到了52%，第二組資料，是說備庫，大家看到備庫佔21%。第三組資料，歸檔和非歸檔模式，歸檔資料庫佔72%。這是今天使用者採用Oracle資料的現狀。

資料庫有這麼多變革，有這麼多新的產品出現，對於企業來說是真正的挑戰。我們如何從這麼複雜的資料庫找出最適合自己的？一方面，在基礎設施層面，有大量的技術出現，就像剛才汪總說容器是未來一體機、超融合、虛擬化等等，我們到底該選擇什麼？另一方面，應用這一端。集中式、分散式還是微服務，國內還是國外？如今，我見到很多使用者被這些問題所困擾。

如何解答這些困惑？我個人認為資料庫的發展，它一定不是重走一次長征路，我們在原有路線上已經建了十幾年生態，高可用、自動化、安全、穩定...我們換一個資料庫還要重新經歷這樣的歷程嗎？一定不是這樣的，它一定不是功能和體驗的降級，而是迴圈上升變革的歷程，應該是更好的開發運維體驗，故障自愈，甚至免運維，一定應該是這樣的變革。

下面，我詳細解釋一下，我認為資料庫的發展應該有以下幾個趨勢：

第一，分散式。分散式解決的是彈性伸縮，故障自愈。

第二，智慧。智慧最佳化，智慧運維。

第三，平臺化。我們不再需要一個個半成品的毛坯資料庫，而是要自己去建所有的東西，進行統一管理。

第四，軟硬一體。軟硬一體是將所有東西整合在一起，讓使用者能夠獲得極致的效能、便利性、平臺化。

第五，雲化融合。未來一定是雲化融合的大未來。雲上和雲下將來會越來越趨於統一，不管是今天雲資料庫走向線下，還是線下的很多技術在跟雲走向融合，總之這兩者一定會越來越趨於一致。

很多人說，DBA是不是沒有未來了？顯然，資料庫的趨勢一定是智慧化的，一定是要機器自主解決問題的，不再靠人手工的完成，過渡到戰略性工作。可是這句話也有一個潛臺詞沒有人講，我引用一句話把它講出來，這是我前天看到的一個正在競選美國總統的人：楊安澤，他提出一項政策，是給每個人每個月發1000美金，政策受到了很多人的歡迎。每個人每個月發1000美金，他為什麼提出這樣一個政策？據研究表明，製造業工人失業後進行再就業培訓，成功率非常低，未來的三十年，自動化和人工智慧將佔據美國一半的就業崗位。那些沒有技能的勞工，很難在市場上找到自己的位置。

當資料庫變得智慧上，一定會消滅掉很多工作崗位，這個真相是很殘酷的。其實換個角度思考，在座的有很多是OracleDB的，我們在過去積累的這些經驗，將來都可以在國產資料庫上落地，這就是未來之路。

替換國外的產品，其中有巨大鴻溝，這是不能忽視的。用Oracle作為例子來展示這個鴻溝，Oracle在做自動化、智慧化的故障分析上，可以看到它有一個自適應能力，它可以把整個監控平臺、運維平臺和Oracle結合起來，讓它自動幫你發現問題，推薦解決方案，這裡是巨大的鴻溝。我們那麼多的國產資料庫，那麼多的開源資料庫，沒有一個這麼龐大的支援體系，怎麼樣去解決這件事情？如果能夠建立一個統一的生態標準，這件事情才有可能是可為的。

今天雲和恩墨一直在探索，我們做了一些有意思的事兒。比如說我們構建了墨天輪的技術平臺。我們對社群具有非常深厚的感情，社群時代過去了，但是一定要有新的形態，我們在探索，它要承載技術人的成長，構建一個有溫度的技術社群和全新的社群聚合體，大家以樂知樂享的心態去同心共濟。

我們打造這個平臺完全是免費的。現在承載有線上問答、影片、知識庫等。未來我們將透過API的方式，將這個平臺開放出來。如果我們的國產資料庫在上面形成了熱烈的互動，給使用者提供反饋、諮詢、交流，打造成為一個集中式的、標準化的平臺，聚合國產資料人的力量，加快國產資料庫前進的步伐。未來應該是生態融合的時代，不能建立孤島，要開放，要融合。

新時代資料庫的建設原則是雲化融合的，將來雲上雲下一定會走向融合統一。雲和恩墨自己研發一個產品叫zCloud，我們正在從雲下走向雲上，幫助客戶建立統一管理平臺，融合一體。

新時代資料庫的應用原則是資料融通的。在過去，建立了很多資料孤島，將來不要再建孤島了。我非常讚賞李飛飛老師提到的，他說大家要統一，不要鎖定，大家統一建立標準，讓遷移和變化自由，讓資料可以自由流通。大家都說資料是血液，是石油，是未來重要的武器，如果把它鎖住了該怎麼辦？所以未來資料平臺要資料融通，要讓它流動。

新時代資料庫核心未來是智慧最佳化的。在SQL層面如何構建最佳索引，去自動最佳化，去自適應調解執行計劃，這些技術誰把它解決好，誰就能幫助使用者獲得競爭的先機。

最後給大家介紹一下雲和恩墨，雲和恩墨一直希望圍繞資料架構，幫助企業解決在這個時代中面臨的痛點。透過我們的zCloud雲化統一平臺，軟硬一體的一體機，智慧最佳化平臺，結合資料智慧探索，希望幫助企業在變革過程中少走彎路。

謝謝大家，這就是我的分享！