資料共享交換平臺的實踐分享

　　本文主要是介紹如何透過資料共享交換平臺解決橫縱各部門、各系統之間的“資訊孤島”、資料煙囪、重複建設等問題，打破各部門間的資訊壁壘，降低各部門資料共享門檻，建設部門間的資料高速公路，實現各部門的資料融合、業務協同、資料資產化，進而推動整個資訊化建設程式飛速發展。

　　 1 電子政務發展趨勢

　　隨著我國資訊化建設的深入發展，推進橫縱各部門間的資料交換，實現跨層級、跨區域、跨部門、跨系統資料共享與業務協同，已經成為當前電子政務建設的重點。我國新一代的政務服務模式“網際網路+政務服務”正在形成，保障各部門資料的使用安全性和遷移安全性,已經成為政企使用共享交換平臺的基本前提。

　　在“一網統管”、“一網通辦”、“網際網路+政務服務”的發展趨勢下，資料實時共享和業務協同的需求越來越多，但是由於政務資料來源分散、資料相對割裂、應用及服務碎片化，使得資料開放共享工作中，需要上級單位透過行政命令方式統籌下屬各委辦局，協調各單位資訊部門和職能部門，並需要系統開發廠家的高度配合，協調難度大、成本高、耗時耗力。但是，經過十多年的發展，在資料共享的切實需求驅動下，目前各個部門對政務資料資源的態度已經由原來的“不願共享”變成了“願意共享卻不知怎麼共享”的問題。

　　為了解決資料共享的三難，“不願”，“不敢”，“不會”問題，國家陸續出臺多項資訊化建設指導檔案，如國務院印發《促進大資料發展行動綱要》、《政務資訊資源共享管理暫行辦法》、《“十三五”國家資訊化規劃》、《國務院關於加快推進“網際網路+政務服務” 工作的指導意見》、《政務資訊系統整合共享實施方案》，以及今年印發的《加強數字政府建設的指導意見》和《全國一體化政務大資料體系建設指南》。這些檔案中都明確要求打破資訊壁壘和孤島，採取授權使用等機制解決資訊保安問題，構建統一高效、互聯互通、安全可靠的國家資訊資源體系，打通各部門資訊系統，推動資訊資源跨部門跨層級共享共用等。而建設安全、高效、精細分工的共享交換平臺，形成政務資訊資源共享交換體系，為以上問題找到了出路。

　　 2 資料共享交換體系的概念

　　政務資訊資源共享交換體系包含兩部分，政務資訊資源目錄體系和資料交換體系，兩者都是為電子政務應用提供跨部門跨層級服務的基礎設施，他們相互獨立，互為支撐。各級部門單位可以根據實際應用需要，利用目錄體系發現和定位資訊資源，利用資料交換體系享受資料共享交換服務。

　　那什麼是政務資源目錄，政務資源目錄包含什麼呢？

　　政務資訊資源目錄，是透過對政務資訊資源依據規範的後設資料描述，按照一定的分類方法進行排序和編碼的一組資訊,用以描述各個政務資訊資源的特徵,以便於對政務資訊資源的檢索、定位與獲取。政務資訊資源則是指政務部門在履行職責過程中製作或獲取的，以一定形式記錄、儲存的檔案、資料、圖表和資料等各類資訊資源，包括政務部門直接或透過第三方依法採集的、依法授權管理的和因履行職責需要依託政務資訊系統形成的資訊資源等。

　　政務資訊資源共享交換就類比用餐一樣，資訊資源相當於是食材，資料交換相當於是獲取食材和分食的途徑。魚肉靠狩獵，瓜果蔬菜靠種植；分食同理，肉類用刀，湯類用勺，不同型別的資訊資源也決定著不同的交換方式。結構化和半結構化的資料透過庫表交換，非結構化的資料透過檔案交換，交換時效性強且高頻度的資料透過API交換。資料交換平臺需提供不同的資料交換方式，滿足於不同型別的資料共享需求。

　　 3 資料共享交換平臺的常見要素　　

圖1 資料共享交換平臺-總體架構圖

　　結合國標《GB/T 38664-2020資訊科技 大資料 政務資料開放共享》和龍石資料共享交換平臺的建設經驗，政務資料共享交換平臺主要包含資訊資源門戶、資源目錄管理平臺、資料交換平臺、API平臺和API服務底座，如上圖所示。

　　1）資訊資源門戶為使用者提供便利的資料資源應用功能，包括資料資源的檢索、申請、審批、評價的全流程管理，以及基於資源目錄的資料線上查詢和線上下載，為資料資源的共享和應用提供便利的載體。

　　2）資源目錄管理平臺以《政務資訊資源目錄編制指南》和相關政務資訊資源共享政策為依據，提供政務資訊資源的編目、釋出、稽核、資源掛載、下架的全流程管理，為資訊資源門戶提供配套的管理支撐功能，同時支援跨層級目錄級聯的功能。

　　3）資料交換平臺為跨層級、跨部門、跨區域資料交換服務提供能力支撐，實現資料資源的排程和共享交換，資料交換平臺可透過資訊資源門戶驅動自動化的資料庫交換、檔案交換以及API服務共享，實現資料資源的自動化共享交換。資料交換平臺遵循政務資訊資源共享交換體系，包括資料交換前置節點和資料交換中心節點，是城市級資料交換和資料共享應用的中樞。同時，面對資料交換量快速增加和資料安全要求逐步增高的要求，提供可擴充套件的叢集管理能力和資料安全管理能力。

　　4）API平臺提供API開發、測試、釋出、維護、執行到下線的全生命週期管理，實現資料的實時交換、可信交換和應用程式程式設計介面閘道器管理。透過疊加授權鑑權、流量控制、併發控制、質量監測、黑白名單安全管理等功能，提供全生命週期的API閘道器管理能力。同時，實現與資訊資源門戶的無縫整合，方便需求部門的API申請和呼叫。

　　5）API服務底座為API提供彈性計算、資源隔離、資源共享和高效能併發的能力，是API的底層支撐平臺，為API服務提供安全、高效、穩定的執行環境和智慧化運維能力，透過動態的叢集與負載均衡機制，有效保證了API的高效能、高穩定性執行。

　　6）使用者許可權中心提供全域性的使用者管理與許可權管理，保證資料安全，實現統一認證，為多系統整合和許可權管理提供統一支撐，同時支援與其它平臺的無縫整合管理。

　　 4 資料資源目錄建設的重點和新要求

　　經過十多年的演化和發展，新時期的資源目錄平臺對資源目錄分類、資源目錄編制、申請稽核機制、資料資源應用、資料資源管理等方面提出了新的要求。　　

圖2 資料資源目錄平臺示例

　　1）資源目錄編制自動化：資源目錄就是全域性資料的“一本總賬”，好的賬簿要有明確的分類，才能方便檢索、定位。編制的要求不僅是按照資源屬性、涉密屬性、共享型別、層級等屬性進行基礎分類，還要在基礎分類之上按照行業、領域、使用場景等進行精細劃分，合理精確的分類是資訊資源高效實用的基礎，也是資料安全分級分類的基礎。電子應用高速發展的時代，部門業務系統繁多，形成的資訊資源更是數不勝數，後設資料是資源目錄編制的核心內容，純粹的線上人工編制耗時耗力且準確性低，因此，支援自動化的EXCEL批次匯入，（非）結構化後設資料的自動採集，已成為必要手段。

　　2）線上審批與流程自動化：完備的資料申請、稽核、授權和訂閱機制是資源目錄建設的重要組成部分。不僅是部門業務流轉過程的重要體現，也是遵循“誰提供、誰負責，誰流轉、誰負責，誰使用、誰負責”基本權責原則。資源目錄平臺提供線上、線下訊息通知提醒、自動交換，根據有效期自動啟停資料交換流程等功能。在日常辦公過程中，很容易因為短時間內工作任務量大，導致某些審批擱置時間過長，產生忘記審批和忘記推送資料的情況，而訊息通知、自動交換、自動啟停等功能無疑又是為此類問題上了一道保險，從而避免不必要的績效影響。

　　3）資料線上應用：傳統的資源目錄平臺，資源目錄主要是透過文字或者後設資料來描述資源屬性，無法實時直觀看到這個資源背後真正的資料情況，更不可進行資料批次比對工作。經過一兩天的申請稽核流程，申請下來的資料不是預期想要的，更有相差甚遠的情況，重新協調又需花費大量時間，往往迫於工作緊急性，只能先“有什麼，用什麼”，後續再協調改進，資料應用效率低下。考慮到這一因素，資源目錄平臺對已經稽核透過的資源應當提供線上查詢比對、自動生成資料API的功能，避開了這類“資料資源瞎子”的問題。

　　4）資料資源深化管理：資料資源目錄建設的主要目標是打通部門壁壘，實現部門間資料資源的高效安全共享。那麼，高質量的資料資源是實現有效資料共享交換的前提，資料質量、資料標準和資料安全屬性也是資料資源目錄的重要組成部分，也是各部門資料管理工作的重要成果。因此，需要在資源目錄上展示資料資源的資料標準引用和貫徹情況，資料質量的監測規則和質量指標情況，以及資料安全分級分類情況，為資料資源應用方提供量化參考依據，促進資料資源有效利用，從而透過資料應用需求倒逼源頭資料治理和資料質量的提升。

　　5）一體化目錄級聯：資源目錄平臺應當支援橫向各部門資源歸集、整合，向上支援目錄級聯，向下支援目錄同步，致力於構建橫縱一體、跨層級跨部門的城市級政務資訊資源體系，加速一體化政務大資料體系的實現。　　

圖3 全國一體化政務大資料體系總體架構圖

　　 5 資料交換平臺建設的重點和新要求

　　資料交換平臺是集庫表交換、檔案交換、API交換於一體的交換全流程管理平臺，包括增量交換和全量交換，資料採集、傳輸、加工、清洗以及整合，主要解決跨區域、跨層級、跨部門、跨系統、跨網路的實時資料交換傳輸以及落地資料中心的需求，構建資料中心和資料倉儲，打造星型和網狀相容的資料交換體系。　　

圖 4 資料交換平臺示例

　　在疫情防控的背景下，資料交換平臺已經成為城市中不可或缺的資料交換樞紐，同時對資料交換吞吐量、資料交換及時性以及平臺穩定性都提出了更高的要求，因此，根據我們的實踐經驗，分享下幾個關注要點：

　　1）資料交換的技術保障：資料交換平臺是多部門資料交換的樞紐，資料交換平臺（前置機）的主要使用者是各個職能部門，因此，從職責分工上來看，資料管理部門應當負責交換節點接入和資料交換培訓，職能部門應當基於統一的資料交換平臺負責資料傳送、資料接受和資料交換流程設計。但是，鑑於部分職能部門技術力量薄弱的情況，不但資料交換平臺應當透過一些視覺化的方式降低平臺的使用門檻，而且，資料管理部門應當為職能部門配套必要的技術支撐服務。從我們的實踐經驗來看，這是資料交換平臺得以順利應用的一個重要條件，也是資料交換平臺不斷收集職能部門需求和升級最佳化的重要途徑。

　　2）資料安全三重保障：資料作為當下重要的生產要素之一，其中涉及到的價值不言而喻，保障資料安全是資料共享交換最基本的前提。一是引入部門前置機保護資料安全，前置機將各部門業務系統隔離開來，防止生產環境被滲透攻擊，並且與以往點對點的交換模式不同，依託中心統管的交換模式，各部門只能管理和使用本部門前置機，部門間的資料交換工作由交換平臺完成，有效的保護各部門的資料隱私安全。二是使用資料加密傳輸，對資料交換通道提供自動化加解密功能，交換過程即使受到攔截和攻擊也無法獲取明文資料。三是提供資料安全管控機制，透過資料安全管理模組，自定義識別敏感資料的策略，對資訊資源後設資料分級分類，取得部門授權後，自動化清除各部門前置機週期內全量資料。

　　3）資料交換主題管理：隨著業務的不斷髮展，業務環境越來越複雜，資料量增長趨勢一路攀升，面對各式各樣的資料，如果不能進行分門別類管理，會極大加重日常的資料統計、分析和總結工作。交換平臺應當能夠按主題劃分資料交換通道，按主題接入部門前置機，實現一部門多節點、一主題一節點、專項資料專用前置機等多種管理模式。例如按主題劃分資料交換通道，能夠支援按疫情防控統計各類疫情資料交換情況，為疫情研判、流調溯源、人員管控等分析工作提供資料支撐。

　　4）視覺化交換流程設計：資料交換平臺透過視覺化流程設計器降低職能部門的使用門檻，無需準備任何開發環境，線上拖拽就能完成業務庫資料到部門前置庫的雙向採集、加工、清洗等工作，輕鬆實現庫到檔案、檔案到庫、跨資料庫轉換過程，同時提供各類業務資料處理模板，支援對同類業務流程的可複製性，更低成本的輔助部門完成簡易或複雜的資料交換流程設計工作。　　

圖5 視覺化交換流程示例

　　5）資料交換全流程管理：資料交換平臺應當提供資料對賬、交換監控、訊息通知、預警提醒等功能，貫穿整個資料交換流程，解決交換過程中使用者所有的疑慮和擔心。例如遇到資料遺漏、丟失、失敗、滯後時需要第一時間告知交換雙方，以往都是透過運維人員手工發現問題，如果運維巡檢不及時，就會出現業務停滯，嚴重還會產生業務事故。為改善以上情況，降低業務風險，交換平臺應當支援業務庫與前置庫和源頭前置庫與目標前置庫的全流程對賬，掃清資料遺漏、滯後甚至當機故障，方便問題溯源排查；同時，應當支援節點故障的簡訊、郵箱預警，交換任務失敗的簡訊、郵箱預警，減輕運維壓力；甚至，為了實現重要資料交換成功後的及時感知，應當支援資料交換成功後訊息通知運維人員、資料提供方和資料接收方，降低三方資料交換的感知延遲。

　　6）實時資料交換：在“一網通辦”、“網際網路+政務服務”的發展趨勢下，資料實時共享需求越來越多，最大化減輕辦理人員壓力，讓客戶現場來，現場辦，最多跑一次，已是當下共享交換的新課題。資料交換平臺應當支援實時交換，透過讀取資料庫日誌的方式，實時獲取前置庫內資料的變化（增刪改），並實時將資料變化更新到目標庫，根據我們的實踐經驗來看，普通的交換前置機也可以實現分鐘內百萬條資料的同步。例如，在沒有實時交換之前，辦理生育登記和津貼領取、身後一件事、企業開辦一件事等業務，最短也是隔天才能完成，如今只是喝一盞茶的功夫，這無疑是共享交換實踐階梯式的跨越。

　　7）高穩定、高效能、高擴充套件：鑑於資料交換平臺在城市業務協同中的重要支撐作用，平臺的穩定性、效能和擴充套件性已經成為不得不慎重考量的重要話題。因此，資料交換平臺應當實現中心叢集能力，包括對中心資料庫、中心檔案伺服器、資料交換中心節點，實現負載均衡，搭建主備雙活交換中心，主中心當機後可自動切換至備中心，保持平臺穩定執行。交換平臺應當同時支援節點端叢集，實行多節點協同工作，一節點管理、監控，多節點支撐交換呼叫請求。交換平臺應當無縫對接資源目錄平臺，自動化接收資料交換請求，自動化建立交換任務；同時，對外提供可擴充套件統計介面，實現交換成果上屏等功能。

　　 6 API平臺建設的重點

　　當今複雜的數字生態系統由許多相互關聯的部分組成。API平臺作為看門人和聯結器在其中發揮著關鍵作用——提供了許多終端使用者甚至沒有注意到的自動化機會和效率。API平臺的主要目標是（1）基於資料中心的建設成果，建立自己的API，提供給各個職能部門呼叫；（2）接入各個職能部門的API，實現全市API的統一授權鑑權、流量控制、併發控制、質量監測、黑白名單安全管理等。

圖6 API平臺架構圖

　　目前，職能部門基於資料安全的考慮，越來越多地透過API實現資料共享交換，各職能部門也對資料共享交換平臺提出新的要求，包括接入便利性、資料安全性、平臺可靠性等。因此，根據我們的實踐經驗，分享下幾個關注要點：

　　1）API全生命週期管理：API平臺應當支援API全生命週期管理，保障介面服務正常執行、降低系統性風險、降低開發和管理成本、提高管理維護效率，助力快速、安全、低成本地將能力、服務、資料以API的形式接入、開放和治理，構建健康的API生態系統，全面支援資料開放共享的建設要求，為資料應用提供可靠的技術支撐。支援每個API從開發、測試、釋出、維護、執行到下線的完整生命週期管理，提供實時交換的閘道器服務支撐能力。支援API呼叫安全審計功能，精準識別使用者的身份。支援從多種維度分析和監控API，包括：可用性、正確性、響應時效等指標，並形成健康分析報告，便於全面瞭解平臺API的健康情況。提供統一的API管理和資料整合解決方案，方便與業務系統進行整合。

　　2）API自助式開發：在資料共享交換和資料中心建設成果的基礎上，資料管理部門需要將資料透過API的方式提供的職能部門使用，傳統模式下，需要開發人員開發API服務，並經過一系列的安裝部署工作，才能將API提供給資料需求部門。為了改變這一現狀，API平臺應當支援透過視覺化配置的方式將資料轉換為介面服務，無需編碼，快速實現資料介面服務的開發，降低資料提供方的API開發成本，減少API呼叫方的等待時間。

　　3）API安全：API平臺應當支援授權鑑權功能，每個資料申請部門都持有自己的公私鑰，公鑰用於請求傳送和資料傳輸，私鑰用於請求籤名和身份識別，平臺用於保證秘鑰安全不洩露，從而保證資料共享交換的安全性；同時，可結合業務應用場景，分配不同鑑權碼，方便後期透過鑑權碼對資料應用的追溯、管理和統計；支援透過訪問限流保障資料不被惡意抓取，透過併發限制保障API服務的穩定，透過黑白名單限制惡意訪問，透過訪問日誌保障安全事故可被追溯，從而全方位保證API安全與穩定。

　　4）API監控：API管理包括對外部接入API的管理和自有API的管理，外部API或自有API的當機將會造成API申請方的業務系統當機，因此，API需要在第一時間感知API的故障或潛在風險。因此，API平臺應當對API的可用性、準確性與響應時間等指標進行監控，一旦發現API不可訪問，或API響應時間超過設定的閾值，應當以簡訊和郵件等方式通知相關運維人員，在對業務產生影響之前快速解決問題。同時，可用性、準確性和響應時間等監測結果也是對API提供方的重要評價依據。

　　5）高穩定、高效能、高擴充套件：與資料交換平臺一樣，API平臺在城市業務協同中具有同樣重要的支撐作用，API平臺是所有API服務的統一出入口，平臺的穩定性、效能和擴充套件性也是必須考量的重要因素。因此，API平臺應當支援叢集部署架構，具備彈性水平擴充套件能力，透過平臺負載均衡、流量控制以及API服務底座的資源管理，保證資料實時共享，保障API服務和API平臺的穩定高效能執行。同時，API平臺應當支援與資料資源目錄平臺整合，將API文件資訊對接到資料資源目錄平臺；資料資源上架稽核透過後，API平臺自動為資料資源建立對應的API；資料資源需求部門申請使用資源請求稽核透過後，API平臺自動為資料資源需求部門建立API鑑權碼。

　　 總結

　　資料共享交換平臺是實現政務資料目錄統一管理、資料資源統一發布、共享需求統一受理、資料供需統一對接、資料異議統一處理的基礎支撐平臺，是實現數字政府高質量發展的前提條件，因此，資料共享交換平臺的建設應當適應新時期的高標準要求，實現政務資料實時交換，支援海量資料高速傳輸，實現資料分鐘級共享，形成安全穩定、執行高效的資料供應鏈。