TDSQL助力建設數字政務

騰訊雲資料庫發表於2021-10-25


近年來,從國家到地方都在積極探索政府數字化轉型之路。當前,數字政府改革建設任務已經從“從無到有”的探索時期,逐漸轉變為“量變帶來質變”的優化時期。 從建設內容看,一體化政務服務平臺相關建設目前已進入了平臺互聯互通和提質增效的深化建設階段。


本文是騰訊雲資料庫高階工程師餘超在《騰訊數字政務雲端系列直播》的演講實錄,將帶大家共同探索數字政務行業發展趨勢、前沿技術和TDSQL技術實踐,感受分散式資料庫的技術之美。


# 數字政務行業發展趨勢


大家好,我是騰訊雲國產資料庫產品中心的餘超,目前主要負責政務行業、國大行等重大專案資料庫方案設計和產品交付工作。


我們先來分析政務行業的發展趨勢。先看一組資料,截至2019年12月,31個省級政府構建了覆蓋省、市、縣三級以上政務服務平臺。29個省級政務服務平臺開通了“一件事”整合服務專區。中國線上政務服務,使用者規模正在不斷擴大,使用者規模達到6.96億,佔整個網民比例的76.8%。


目前,全國已開通29個省級小程式,12+部委開通官方小程式,全國範圍政務小程式已有6萬個。其中,在省級行政許可事項中,98%事項實現網上可查,82%事項實現網上受理和“最多跑一次”。


# 當前主要業務需求挑戰


上面的資料表明我們的政府正在全面進行以人民為中心的發展理念,所有的職能法規都圍繞兩個重心:一是民生,進一步提高人民群眾的獲得感和幸福感;二是效率,加快建設服務型政府,提高政府的辦事效率。我們在“十四五”的規劃裡面,也可以看到這些關鍵字,比如一網通辦、異地可辦、跨區通辦、全國一本賬、自主可控。


為了實現這些目標我們政府部門提出了新的業務需求,首先通過建設“一體化政務服務平臺”,從業務角度整合跨部門的業務流程和資料,連通不同的應用系統,實現一網通辦。通過提供“線上政務服務”,儘可能的把線下服務搬到線上,讓企業和個人足不出戶,通過一系列的線上服務來辦理各種手續。通過“業務向省、市或者部級集中”的方式,來實現跨區域辦理。建設全國性或部級統籌平臺,建立覆蓋全民、城鄉統籌、公平高效的資源規劃體系。最後採用國產化軟硬體替換核心應用的方式,真正實現業務系統的自主可控。


為了滿足這些業務需求,也對資訊系統提出了更高的技術要求,不管是一體化平臺還是業務集中,都需要把我們的業務進行整合,把資料進行集中,但是這樣帶來的結果是大量的資料和業務壓力,而傳統的集中式採購在應對這些高併發資料場景,要麼採用比較昂貴以及封閉的小機,要麼垂直擴容,擴CP、擴記憶體,但是單機的擴存能力有限。


所以在做架構設計和系統開發的時候也會遇到一些挑戰,比如相比集中式資料庫,分散式資料庫在使用中有哪些最佳實踐?在什麼樣的情況下要採用分散式資料庫,每個分庫能放多少資料、能處理多少業務?作為系統核心的資料庫,我們要怎麼做高可靠設計?同時如何保證資料同步的實時性以及異構系統之間怎麼遷移應用和資料?這都是我們需要面對的問題。


# TDSQL行業解決方案


國產化的大趨勢下,也湧現出很多優秀的國產分散式資料庫,在面對眾多資料庫產品的時候,客戶怎樣選擇一款適合自己的資料庫產品呢?


以往傳統的集中式資料庫都是技術來支撐業務,常常都是傳統廠商引領技術方向,但在網際網路時代,海量資料高併發的訪問需求,集中式已經無法滿足這個需求。反而往往因為業務而驅動對分散式資料庫的需求,我們會發現分散式技術用得最好的地方往往是網際網路企業,尤其是中國網際網路發展比較好的地方。


而如果要全面實現“一網通辦”和異地可辦,順應政府數字化轉型,還需考慮網上政務服務平臺具有使用者訪問彈性大、峰值訪問併發高、讀寫資料量大、系統可用性要求高等特點。 騰訊雲企業級分散式資料庫TDSQL因其良好的彈性擴充套件能力、超高的效能、超大資料量、5個9以上可用性等特點,也贏得了各地政府資訊中心的青睞和使用。


關於資料庫的高可用,政務行業有些業務對高可用有更多的需求,在資料庫的高可用方面,TDSQL具備以下能力:


提供多項不同維度的監控指標,全方位監控不同元件的執行狀態,同時還能根據業務情況,自定義監控規則,儘早發現高可用隱患,及時處理。


同時也提供自動化處理能力,比如自動檢測異常,能主動發現異常,確定故障後,TDSQL能自動化的處理,能快速實現主動切換,而且能夠自動更新路由,整個過程不需要人為干預。


另外TDSQL能夠在每個部件裡面都有冗餘設計,避免任何單點故障。擁有多層級的高可用設計,比如程式級保護,軟體程式異常中斷後,有守護程式檢測,並嘗試拉起。磁碟RAID+資料多副本,確保資料的可靠;一主多從多副本,部署在不同機架的不同伺服器上,應對伺服器和機架機故障;多地多中心部署,可以應對機房級事故,以及區域級的災難事件,如地震、水災等。


特別是對於提供公共服務的業務,面向一個省,甚至全國的公眾,提供7*24小時服務,要求業務在1小時內恢復服務,資料庫的RTO需要控制分鐘級。而對於一些計費類的金融服務,如醫療保險、養老保險等,要求同城RPO為0,資料0丟失。TDSQL能保證在1分鐘之內完成故障切換,確保RTO在分鐘級,另外採用強同步複製之類的技術,來保證主從資料完全一致。


# 政務行業創新實踐案例


**接下來分享TDSQL在政務行業的幾個典型案例:**


**第七次全國人口普查**


第七次全國人口普查採取電子化方式開展普查登記,實現了5個首次: 首次全面採用電子化,實時及時上報資料、首次實現普查物件通過網際網路自主填報、首次利用行政大資料進行比對核查、首次實現利用網際網路雲端計算雲服務實時處理工作、首次用資訊化系統對700多萬普查員進行線上管理。


在整個統計過程中,700萬普查員使用企業微信小程式進行資料採集,約一億人使用微信自主填報小程式進行資訊錄入,海量資料全部實時入庫。與此同時,為了便於應對資料採集出現問題能夠在第二天及時補充採集、修正,系統同時需要快速完成對入庫資料的實時查詢分析。


據新華網統計報導,電子採集的方式將登記時間縮小到了20分鐘以內,很大程度上降低了後期資料錄入、處理的難度。700多萬G端混合負載業務、億級C端OLTP業務、海量的資料分析任務...本次全國人口普查專案,TDSQL提供了“OLTP+OLAP”雙引擎融合的企業級分散式資料庫管理系統TDSQL,平穩、高效支撐第七次全國人口普查工作順利完成。


在這些龐大的資料中,不乏多張超級大表關聯高併發統計查詢,其每張表中存放超過20億+條記錄。如果把其中存放一張超級表的空間用來存放平均50萬字的書籍,可以放下超過1000萬本,一個人終其一生也讀不完。


規模浩瀚的人口普查工作,系統業務架構複雜、併發度高,在災備設計、高可用能力保障上,整個資料庫採用了一主三從、強同步複製和異地災備的備份方案,在某個資料節點出現故障時,都能保證資料的完整和一致。哪怕出現大規模的突發情況,通過異地災備,也能夠進行資料恢復。


**數字廣東**


數字廣東是在2017年廣東省在全國率先啟動數字政府的改革,所以數字廣東是在2017年7月開始建設和運營,到現在是一個兩地三中心的省級政務平臺和資料庫應用平臺。


整個規模非常龐大,整個資料裡面用到騰訊多個資料庫場景,關聯式資料庫主要為TDSQL、事務性和分析型,而MySQL和TDSQL有超過一萬個核,資料的儲存量已經超過1.3TB,分析型的CPU也是超過了兩萬七千核,資料的儲存量已經超過了420T。裡面覆蓋了多種政務場景,比如基於高併發應用的粵省事,基於分析型應用的政務大資料中心,workflow應用廣東政務服務網,綜合型應用粵商通、粵政易。


江蘇人社一體化資訊平臺江蘇省是人口大省,江蘇省人力資源和社會保障廳(下文簡稱“江蘇人社”)要服務近8000萬常住人口、近300萬家企事業單位。在資訊一體化程式上,江蘇選擇了騰訊雲資料庫TDSQL為底座,打造“智慧人社”的標杆案例。江蘇人社一體化資訊平臺,是人力資源和社會保障部首個leaf6.2框架省級試點。


平臺採用騰訊開放技術框架建設,結合雲底座、技術中臺和資料庫等近30項產品,打造了服務全省的業務經辦、行政審批和公共服務平臺。還涵蓋就業創業、社會保險、人才人事、勞動關係四大業務板塊,為人民群眾提供全面且便捷的暖心服務。


這是江蘇省首個全省一體化專案,不僅縱貫全省、市、縣、鄉、村五級人社部門,還涵蓋多個業務類別。不同於常規理解的政府系統,人社系統中因為有一部分涉及社會保險、賬目和養老金髮放的問題,該系統被定義為一個“金融級”系統,所以對系統的穩定性、一致性、效能要求特別高,複雜程度超出一般的政務系統。


騰訊云為江蘇人社提供了集中部署、統一管理、分層維護的大資料平臺,並基於企業級分散式資料庫TDSQL為人事系統、排程指揮、公共服務小程式、一體化檔案系統等關鍵業務系統構建高效能可擴充套件、易運維的系統應用創新。


為確保資料安全和系統穩定可靠,TDSQL提供了高可用多活的災備服務。通過對TB級系統資料的管理,大資料分析、開放共享、資料應用開發等,為省人社資訊化建設提供多維度的資料服務支撐,實現金融級標準要求,極大提升了江蘇省人社政務辦公和服務的水平,為公眾辦理相關社保業務提供極大的便利。


**再介紹幾個非政務行業的典型案例:**


**張家港農商行**


張家港農商行新一代核心系統的國產化替換,張家港農商行的核心業務最開始跑在IBM的小型機上,是一個集中式架構。隨著業務的發展,原來的系統在效能和可用上已經沒辦法滿足業務需求,所以他們當時要做改造,應用層和資料庫要改造。資料庫選用的時候最開始是在Oracle 和國產分散式資料庫做選擇,經過多番對比測試最終選擇了TDSQL。在上線的時候為了穩健,設計師用TDSQL支撐業務的同時,還搭了Oracle 的環境做備用,通過同步工具將TDSQL的資料同步到Oracle 裡面去。


**平安銀行**


2020年10月30日,平安銀行的信用卡“A+”新核心系統成功投產,它的底層是基於TDSQL、X86的雲架構,這個核心系統的活躍的卡數量已經超過六千萬,A+新核心系統是業界第一個將金融機構核心業務系統由大型機集中式架構遷移到PC伺服器分散式架構的成功案例。以TDSQL為核心的新一代信用卡“A+”系統,它的處理能力相比以前來說提升了10倍,它的成本也降為原來的1/3。


目前,TDSQL已經在政務行業多個領域應用實踐,而在未來,TDSQL也將持續助力各地各部門數字化轉型。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69940575/viewspace-2839110/,如需轉載,請註明出處,否則將追究法律責任。

相關文章