數棧產品分享:簡析資料中臺如何透過DataAPI實現資料共享

數棧DTinsight發表於2021-04-29

如果把企業數字化轉型比作一輛腳踏車,那麼技術與資料便是這輛車的兩個輪子,騎在車上的則是企業戰略、文化以及各種資源,它們決定了轉型將走向哪個方向。不管數字化轉型之路多麼正確、戰/術如何高明,其最終結果還是要透過這兩個輪子落地。

DT時代,“大資料”不是強調量大,是指資料來源多、維度多。現在很多系統的資料沒法給第三方用,只有打破這種壁壘,才會產生新的價值。在數智化轉型過程中,實現資料開放共享,是企業在DT時代實現彎道超車的前提。

一、什麼是資料共享服務

資料共享服務可簡單概括為將資料中臺的資料共享給其他系統,或將某組織的資料共享給其他組織,提供資料的方式也十分多樣,如資料庫讀取、檔案傳輸、API介面服務等。

如何透過資料API,對外提供資料服務,進行資料共享呢?

資料API,透過RestfulAPI的形式對外提供資料服務,適用於資料庫不直接對外開放,透過介面提供高併發快返回的資料服務場景,如企業內部將資料中臺加工的結果資料,透過資料API的方式,提供給上層資料應用、資料門戶,視覺化大屏等;證券公司將股票、債券等行情資料透過資料API的方式提供給外部客戶;新媒體企業將資訊透過API的方式提供給外部客戶等,主要解決資料對外快速共享的場景。

二、怎樣生成資料服務

按照傳統方式,生成API介面,往往需要後端開發人員透過Java或Python等語言進行編寫。從開始生成到對外發布,中間再做一些鑑權、限流等,整個流程較長,且一個介面開發完成後,需要測試人員再進行測試驗證,整個過程下來,投入成本較高。

以下是傳統方式生成資料API的流程:

近幾年,在資料中臺的浪潮中,大資料平臺產品供應也越來越俱全。國內部分優秀的大資料產品供應商,也有標準化的資料共享服務產品,其將資料服務能力進行封裝,大部分功能在平臺產品內部完成,面向使用者的功能只是連線資料來源、編寫查詢邏輯,大幅度縮短API流程,並降低開發成本。

利用標準化產品,一般開發流程如下:

在API生成中,經過以下步驟:

  • API生成:平臺會封裝API建立能力,使用者只需在WEB介面上選庫選表,設定請求引數、返回引數即可;對於複雜的API查詢邏輯,有的平臺也會提供自定義SQL寫查詢邏輯的模式,滿足使用者不同場景。
  • API釋出:平臺會整合API閘道器,無需使用者自己寫閘道器邏輯,API釋出後,會直接釋出在API閘道器上,形成API市場,對外提供資料服務。
  • API申請:有需要的使用者可直接在API申請已釋出的API,管理員進行審批,審批透過後,申請者可拿到API的呼叫地址和請求示例。
  • API授權:對API申請者的申請進行審批;
  • API管理:對企業來講,一款標準化的產品提供了一個企業級資料服務統一管理平臺與企業級的API市場。

在API呼叫流程中,API閘道器可以進行鑑權、限流、資料解密等工作。

(一)較於傳統化的生成方式,標準化產品能帶來什麼?

1. 開發效率的提升:將資料API開發流程縮短,一個API生成只需3分鐘

2. 人力成本的降低:傳統方式需要後端開發寫介面,現在只需更熟悉資料的開發,透過寫SQL,就可完成資料API的開發。

3. API介面服務更多的場景:除了使用者原有需求外,標準化的產品可帶來更多附加功能,如API、使用者限流,API呼叫監控等。

4. 企業級API市場:實現企業API統一管理,統一的API市場開放資料服務。

(二)數棧DTinsight 的DataAPI產品正是面向以上場景,提供資料API的共享服務。

DataAPI,透過雙模式視覺化配置生成與註冊API,快速構建Oneservice資料服務,形成企業級的API市場和API服務管理平臺,提高資料開放與共享效率。

三、DataAPI可以做什麼

DataAPI除以上介紹可解決的場景外,還在第三方資料服務、服務監控、資料服務安全深耕較多,提供給客戶一個優秀的資料服務產品。

  • 雙模式生成API

透過嚮導模式、自定義SQL模式雙模式生成API服務,3分鐘視覺化完成API建立。

  • 第三方服務註冊

除在平臺上生成API服務,支援將原有的API服務註冊至DataAPI,進行統一管理、釋出至API市場,企業所有的API服務統一管理。

  • API呼叫監控

平臺從API管理者、API申請者視角分別提供API呼叫次數、呼叫日誌、錯誤日誌的監控。

  • API使用許可權控制

可控制單個API的使用者使用許可權,呼叫次數是多少,呼叫週期是多長。

四、資料服務安全

資料對外服務過程中,資料安全是非常重要的一部分,DataAPI保障資料安全,主要有三方面:

  • API呼叫

API呼叫中提供2種加密方式,可對使用者資訊、API資訊、資料資訊進行加密,適用於不同安全級別的場景。

  • API限流

針對API單秒呼叫次數、使用者對API的呼叫次數可進行限流,保障資料服務的安全穩定性。

  • 黑白名單IP控制

透過設定黑白名單,從IP級別控制IP的訪問。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2770561/,如需轉載,請註明出處,否則將追究法律責任。

相關文章