數棧產品分享:簡析資料中臺如何透過DataAPI實現資料共享
如果把企業數字化轉型比作一輛腳踏車,那麼技術與資料便是這輛車的兩個輪子,騎在車上的則是企業戰略、文化以及各種資源,它們決定了轉型將走向哪個方向。不管數字化轉型之路多麼正確、戰/術如何高明,其最終結果還是要透過這兩個輪子落地。
DT時代,“大資料”不是強調量大,是指資料來源多、維度多。現在很多系統的資料沒法給第三方用,只有打破這種壁壘,才會產生新的價值。在數智化轉型過程中,實現資料開放共享,是企業在DT時代實現彎道超車的前提。
一、什麼是資料共享服務
資料共享服務可簡單概括為將資料中臺的資料共享給其他系統,或將某組織的資料共享給其他組織,提供資料的方式也十分多樣,如資料庫讀取、檔案傳輸、API介面服務等。
如何透過資料API,對外提供資料服務,進行資料共享呢?
資料API,透過RestfulAPI的形式對外提供資料服務,適用於資料庫不直接對外開放,透過介面提供高併發快返回的資料服務場景,如企業內部將資料中臺加工的結果資料,透過資料API的方式,提供給上層資料應用、資料門戶,視覺化大屏等;證券公司將股票、債券等行情資料透過資料API的方式提供給外部客戶;新媒體企業將資訊透過API的方式提供給外部客戶等,主要解決資料對外快速共享的場景。
二、怎樣生成資料服務
按照傳統方式,生成API介面,往往需要後端開發人員透過Java或Python等語言進行編寫。從開始生成到對外發布,中間再做一些鑑權、限流等,整個流程較長,且一個介面開發完成後,需要測試人員再進行測試驗證,整個過程下來,投入成本較高。
以下是傳統方式生成資料API的流程:
近幾年,在資料中臺的浪潮中,大資料平臺產品供應也越來越俱全。國內部分優秀的大資料產品供應商,也有標準化的資料共享服務產品,其將資料服務能力進行封裝,大部分功能在平臺產品內部完成,面向使用者的功能只是連線資料來源、編寫查詢邏輯,大幅度縮短API流程,並降低開發成本。
利用標準化產品,一般開發流程如下:
在API生成中,經過以下步驟:
- API生成:平臺會封裝API建立能力,使用者只需在WEB介面上選庫選表,設定請求引數、返回引數即可;對於複雜的API查詢邏輯,有的平臺也會提供自定義SQL寫查詢邏輯的模式,滿足使用者不同場景。
- API釋出:平臺會整合API閘道器,無需使用者自己寫閘道器邏輯,API釋出後,會直接釋出在API閘道器上,形成API市場,對外提供資料服務。
- API申請:有需要的使用者可直接在API申請已釋出的API,管理員進行審批,審批透過後,申請者可拿到API的呼叫地址和請求示例。
- API授權:對API申請者的申請進行審批;
- API管理:對企業來講,一款標準化的產品提供了一個企業級資料服務統一管理平臺與企業級的API市場。
在API呼叫流程中,API閘道器可以進行鑑權、限流、資料解密等工作。
(一)較於傳統化的生成方式,標準化產品能帶來什麼?
1. 開發效率的提升:將資料API開發流程縮短,一個API生成只需3分鐘
2. 人力成本的降低:傳統方式需要後端開發寫介面,現在只需更熟悉資料的開發,透過寫SQL,就可完成資料API的開發。
3. API介面服務更多的場景:除了使用者原有需求外,標準化的產品可帶來更多附加功能,如API、使用者限流,API呼叫監控等。
4. 企業級API市場:實現企業API統一管理,統一的API市場開放資料服務。
(二)數棧DTinsight 的DataAPI產品正是面向以上場景,提供資料API的共享服務。
DataAPI,透過雙模式視覺化配置生成與註冊API,快速構建Oneservice資料服務,形成企業級的API市場和API服務管理平臺,提高資料開放與共享效率。
三、DataAPI可以做什麼
DataAPI除以上介紹可解決的場景外,還在第三方資料服務、服務監控、資料服務安全深耕較多,提供給客戶一個優秀的資料服務產品。
- 雙模式生成API
透過嚮導模式、自定義SQL模式雙模式生成API服務,3分鐘視覺化完成API建立。
- 第三方服務註冊
除在平臺上生成API服務,支援將原有的API服務註冊至DataAPI,進行統一管理、釋出至API市場,企業所有的API服務統一管理。
- API呼叫監控
平臺從API管理者、API申請者視角分別提供API呼叫次數、呼叫日誌、錯誤日誌的監控。
- API使用許可權控制
可控制單個API的使用者使用許可權,呼叫次數是多少,呼叫週期是多長。
四、資料服務安全
資料對外服務過程中,資料安全是非常重要的一部分,DataAPI保障資料安全,主要有三方面:
- API呼叫
API呼叫中提供2種加密方式,可對使用者資訊、API資訊、資料資訊進行加密,適用於不同安全級別的場景。
- API限流
針對API單秒呼叫次數、使用者對API的呼叫次數可進行限流,保障資料服務的安全穩定性。
- 黑白名單IP控制
透過設定黑白名單,從IP級別控制IP的訪問。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2770561/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 數棧產品分享:乾貨解讀資料中臺產品「模組化」設計思路
- 數棧產品分享:基於StreamWorks構建實時大資料處理平臺大資料
- 企業如何透過智慧產品實現人力資源數字化轉型
- 談談如何透過構建資料產品釋放資料價值
- 流程簡化!資料中臺+BI平臺輕鬆實現資料整合
- 資料中臺產品,如何進行聯合專案推動?
- 資料共享交換平臺的實踐分享
- Vuex如何實現資料共享Vue
- 阿里雲產品之資料中臺架構阿里架構
- 透過資料結構實現簡易通訊錄資料結構
- 數棧技術分享:到底什麼是資料中臺?終於有人說清楚了!
- 透過API介面實現資料探勘?API
- 數棧技術分享:數棧如何保障企業資料安全和隱私?
- 資料產品:CDP(客戶資料平臺)必備的產品能力
- 阿里雲資料中臺2021產品年鑑阿里
- 阿里巴巴資料中臺實踐分享阿里
- 天雲資料Hubble資料庫透過信通院首批HTAP資料庫產品評測資料庫
- 數棧產品分享:Kafka—實時離不開的那個TAKafka
- 宜信資料中臺全揭祕(一)資料中臺整體介紹|分享實錄
- 阿里雲資料中臺產品設計邏輯:體系化矩陣類資料產品的設計構思阿里矩陣
- 如何透過華為分析提升產品留存率?
- 資料時代的產品經理,透過這些能力站上C位!
- 數棧技術分享:產品經理線上官方解答數棧小知識
- 資料中臺是什麼意思?如何建設資料中臺?
- 如何打破資料孤島,實現資料流動與共享?
- Windows下批處理分享:透過WinSCP實現SFTP傳輸資料WindowsFTP
- 阿里大資料產品Dataphin上線公共雲,將助力更多企業構建資料中臺阿里大資料
- 銀行資料中心雙活實現方式淺析
- 友盟:如何通過資料優化產品設計?優化
- 如何透過API獲取實時商品資料API
- 資料中臺:宜信敏捷資料中臺建設實踐敏捷
- 【資料中臺商業化】資料中臺微前端實踐前端
- 資料中臺(資料整合篇)
- Slack如何透過產品思維打造內部Devops平臺?dev
- 通過 Swoole\Table 實現 Swoole 多程式資料共享
- 資料中臺的終局是將資料變現
- 談談如何使用資料產品畫布構建高價值資料產品
- oracle透過expdp的remap_data實現簡單的資料脫敏OracleREM