原文連結: 走好資料中臺最後一公里,資料服務 API 是資料中臺的標配
影片回顧:
課件獲取:
一、資料服務 API 建設背景
在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“網際網路化、數字化” 程式的不斷深入,越來越多的業務被遷移到網際網路上,產生大量的業務互動和對外服務需求,對 API 介面的需求與日俱增,如何快速提升企業資料開放共享能力,是企業面臨數字化轉型的關鍵命題。
傳統的方式如後端開發人員透過 Java 或 Python 等語言進行編寫來生成 API 介面,開發週期過長,運維成本太高,已經不能滿足企業的需求。企業在數字化轉型過程往往面臨諸多難題:
為了更多的解決這些問題,我們在企業開放、共享資料過程中需要確定以下目標:
-
快速構建 API
-
系統穩定、資料安全
-
易於整合使用
-
授權交付
-
低成本運維
二、資料服務平臺建設方法論
在分享資料服務平臺建設方法論之前,我們先了解一下常見的資料中臺應用架構:
資料服務層作為資料中臺整體應用架構中處於中間地位,將資料計算層的結果透過資料 API 的形式對外共享給資料應用層。資料服務層主要有 3 個作用:
1、當資料已被整合和計算好之後,需要提供給產品和應用進行資料消費;
2、為了有更好的效能和體驗,構建資料服務層,透過介面服務化方式對外提供資料服務;
3、滿足應用各種複雜的資料服務需求(簡單資料查詢服務、複雜資料查詢服務、實時資料推送)
而在資料服務層對外提供服務的過程中,經歷了從 “DWSOA” 到 “OneService” 的演變過程。
從 “OneService” 資料服務本身來說,主要是解決異構資料來源、重複建設、審計運維困難、理解困難這 4 個問題,透過 “OneService” 服務,實現主題式資料服務、統一且多樣化資料服務、跨源資料服務的服務目標。
因此,若想構建一個完整的資料服務平臺,需要具備以下 6 個要素:
-
便捷開發,具備低程式碼化的開發能力
-
易於管理,API 管理操作視覺化查詢 API
-
易於使用,具備規範化的文件描述資訊
-
安全穩定,服務呼叫追蹤監控、服務使用審計、鑑權等
-
易於運維,測試、糾查、問題規則配置
-
效能,負載均衡、高併發
三、基於 OneService 構建資料體系
瞭解完 “OneService” 理論,接下來為大家分享如何基於 OneService 構建資料體系,主要遵循以下步驟:
● 第一步:API 定義
API 的定義包括:快速配置引數、選擇排序欄位、API 型別多樣性、資料預覽、複製欄位等方面。
API 的型別又包括生成 API、註冊 API、服務分組及服務編排這 4 個方面。
● 第二步:API 釋出
API 的釋出包括測試、提交至 API 閘道器、釋出至 API 市場、版本管理這幾個方面。
● 第三步:API 呼叫
API 呼叫包括資料預覽、API 申請、審批、下載介面文件、正式呼叫這幾個方面。
● 第四步:呼叫監控
業務上:對 API 呼叫的統計資料進行深入的分析,進而得出關鍵資訊;
技術上:透過 API 呼叫的統計圖表進行分析可以發現,哪些 API 最受歡迎;而哪些幾乎無人問津,應該被淘汰;
安全上:對呼叫 IP、呼叫次數進行監控,對呼叫者進行溯源。
● 第五步:資料安全
資料安全包括:統一認證鑑權、傳輸加密、安全組、角色分配、行級許可權、呼叫審批等。
上述的資料服務 API 的建設過程,其實正是袋鼠雲自研的數棧資料服務 EasyAPI 產品的落地實踐過程。
資料服務(EasyAPI),高效的企業級資料服務產品,透過雙模式視覺化配置生成與註冊 API,快速構建 OneService 資料共享服務,形成企業級的 API 市場和 API 服務管理平臺,提高資料開放與共享效率。
同時產品具備以下特點:
- 快速構建
配置即開發,支援 0 程式碼、低程式碼快速構建 API
- 安全性高
使用者認證、監控、傳輸加密、API 級別安全策略、行級許可權、角色分配、呼叫申請審批、呼叫週期次數的限制、黑白名單
- 靈活度高
“服務編排 “可對不同的 API 進行組合,支援整合 python 進行資料處理、支援 “條件判斷” 節點,選擇符合條件的分支
- 配置靈活
橫向擴充 API 閘道器、快取
- 低成本運維
採用 Serverless 架構,只需關注 API 本身的業務邏輯,很少考慮執行環境等基礎設施
四、API 實施落地案例
接下來我們分享三個使用客戶的實際案例,為大家介紹 EasyAPI 如何切實的幫助客戶解決問題。
● 金融:某證券公司應用資料服務
● 學校:某大學應用資料服務
● 零售:某網路公司應用資料服務
袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址: