走好資料中臺最後一公里,為什麼說資料服務 API 是資料中臺的標配?

數棧DTinsight發表於2022-06-23

原文連結: 走好資料中臺最後一公里,資料服務 API 是資料中臺的標配

影片回顧:

課件獲取:


一、資料服務 API 建設背景

在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“網際網路化、數字化” 程式的不斷深入,越來越多的業務被遷移到網際網路上,產生大量的業務互動和對外服務需求,對 API 介面的需求與日俱增,如何快速提升企業資料開放共享能力,是企業面臨數字化轉型的關鍵命題。

file

傳統的方式如後端開發人員透過 Java 或 Python 等語言進行編寫來生成 API 介面,開發週期過長,運維成本太高,已經不能滿足企業的需求。企業在數字化轉型過程往往面臨諸多難題:

file

為了更多的解決這些問題,我們在企業開放、共享資料過程中需要確定以下目標:

  • 快速構建 API

  • 系統穩定、資料安全

  • 易於整合使用

  • 授權交付

  • 低成本運維

file

二、資料服務平臺建設方法論

在分享資料服務平臺建設方法論之前,我們先了解一下常見的資料中臺應用架構:

file

資料服務層作為資料中臺整體應用架構中處於中間地位,將資料計算層的結果透過資料 API 的形式對外共享給資料應用層。資料服務層主要有 3 個作用:

1、當資料已被整合和計算好之後,需要提供給產品和應用進行資料消費;

2、為了有更好的效能和體驗,構建資料服務層,透過介面服務化方式對外提供資料服務;

3、滿足應用各種複雜的資料服務需求(簡單資料查詢服務、複雜資料查詢服務、實時資料推送)

而在資料服務層對外提供服務的過程中,經歷了從 “DWSOA” 到 “OneService” 的演變過程。

file

從 “OneService” 資料服務本身來說,主要是解決異構資料來源、重複建設、審計運維困難、理解困難這 4 個問題,透過 “OneService” 服務,實現主題式資料服務、統一且多樣化資料服務、跨源資料服務的服務目標。

因此,若想構建一個完整的資料服務平臺,需要具備以下 6 個要素:

  • 便捷開發,具備低程式碼化的開發能力

  • 易於管理,API 管理操作視覺化查詢 API

  • 易於使用,具備規範化的文件描述資訊

  • 安全穩定,服務呼叫追蹤監控、服務使用審計、鑑權等

  • 易於運維,測試、糾查、問題規則配置

  • 效能,負載均衡、高併發

三、基於 OneService 構建資料體系

瞭解完 “OneService” 理論,接下來為大家分享如何基於 OneService 構建資料體系,主要遵循以下步驟:

file

● 第一步:API 定義

API 的定義包括:快速配置引數、選擇排序欄位、API 型別多樣性、資料預覽、複製欄位等方面。

file

API 的型別又包括生成 API、註冊 API、服務分組及服務編排這 4 個方面。

file

file

● 第二步:API 釋出

API 的釋出包括測試、提交至 API 閘道器、釋出至 API 市場、版本管理這幾個方面。

file

● 第三步:API 呼叫

API 呼叫包括資料預覽、API 申請、審批、下載介面文件、正式呼叫這幾個方面。

file

● 第四步:呼叫監控

業務上:對 API 呼叫的統計資料進行深入的分析,進而得出關鍵資訊;

技術上:透過 API 呼叫的統計圖表進行分析可以發現,哪些 API 最受歡迎;而哪些幾乎無人問津,應該被淘汰;

安全上:對呼叫 IP、呼叫次數進行監控,對呼叫者進行溯源。

file

● 第五步:資料安全

資料安全包括:統一認證鑑權、傳輸加密、安全組、角色分配、行級許可權、呼叫審批等。

file

上述的資料服務 API 的建設過程,其實正是袋鼠雲自研的數棧資料服務 EasyAPI 產品的落地實踐過程。

資料服務(EasyAPI),高效的企業級資料服務產品,透過雙模式視覺化配置生成與註冊 API,快速構建 OneService 資料共享服務,形成企業級的 API 市場和 API 服務管理平臺,提高資料開放與共享效率。

file

同時產品具備以下特點:

  • 快速構建

配置即開發,支援 0 程式碼、低程式碼快速構建 API

  • 安全性高

使用者認證、監控、傳輸加密、API 級別安全策略、行級許可權、角色分配、呼叫申請審批、呼叫週期次數的限制、黑白名單

  • 靈活度高

“服務編排 “可對不同的 API 進行組合,支援整合 python 進行資料處理、支援 “條件判斷” 節點,選擇符合條件的分支

  • 配置靈活

橫向擴充 API 閘道器、快取

  • 低成本運維

採用 Serverless 架構,只需關注 API 本身的業務邏輯,很少考慮執行環境等基礎設施

四、API 實施落地案例

接下來我們分享三個使用客戶的實際案例,為大家介紹 EasyAPI 如何切實的幫助客戶解決問題。

● 金融:某證券公司應用資料服務

file

● 學校:某大學應用資料服務

file

● 零售:某網路公司應用資料服務

file



袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2902439/,如需轉載,請註明出處,否則將追究法律責任。

相關文章