袋鼠雲產品功能更新報告10期|智慧進化,近百項功能升級加速數智化轉型

袋鼠云数栈發表於2024-06-07

歡迎查閱袋鼠雲第10期產品功能更新報告。本期,我們精心推出了72項新增和最佳化功能,致力於在數字化浪潮中為您提供更高效、更智慧的服務。我們相信,這些新特性將為您的業務注入新活力,確保您在數字化轉型的每一步都堅實而有力。

以下為袋鼠雲產品功能更新報告第10期內容,更多探索,請繼續閱讀。

離線開發平臺

新增功能更新

1.排程週期為自定義排程日期時,支援在任務中靈活設定天、時、分鐘三種排程模式

背景:目前任務選擇自定義排程週期時,僅可設定天排程例項的執行時間,無法根據自定義排程日曆再去設定小時、分鐘排程,沒辦法靈活地滿足客戶的使用場景。

新增功能說明:當選擇的自定義排程週期為天日曆時,可以進行例項批次的選擇。選擇“單批次”代表計劃日期內僅可指定一個計劃時間執行例項,選擇“多批次”代表計劃日期內可以指定多個計劃時間執行例項。

例如,上傳自定義排程日曆,2023-12-21,2023-12-22,2023-12-24等日期為自定義排程日期。選擇單批次並指定具體時間為00時00分,則代表2023-12-21 00:00 , 2023-12-22 00:00,2023-12-24 00:00為排程計劃時間。

file

選擇多批次並填寫時間,08:23,15:00,19:47,則代表2023-12-21 08:23 , 2023-12-21 15:00,2023-12-21 19:47,2023-12-22 08:23,2023-12-22 15:00,2023-12-22 19:47,2023-12-23 08:23, 2023-12-23 15:00,2023-12-23 19:47,為排程計劃時間。

file

2.專案級 Kerberos 生效範圍變更

背景:當前的許可權管控方法主要是將每個專案作為一個單元進行許可權控制,透過專案級 Kerberos 認證去和底層的 Linux 賬號做關聯。這樣專案層面在表查詢資料預覽是有缺陷的,專案級 Kerberos 認證無法管控到表查詢資料預覽的內容。

新增功能說明:資料同步、資料預覽、SQL 任務執行提交、本地資料上傳,以上場景涉及到的 Hadoop meta 資料來源,若在專案中和叢集中都上傳了 Kerberos 票據資訊,將會使用專案級 Kerberos 票據資訊進行校驗。

file

3.支援任務回收站

背景:當前任務被刪除後,使用者無法恢復,為提升容錯機制,產品新增了回收站功能。使用者可在回收站中檢視已刪除的週期任務、手動任務和臨時查詢,並選擇恢復。

新增功能說明:新增【回收站】模組,在刪除任務時可以選擇「徹底刪除」或「移至回收站」。「徹底刪除」的任務將直接刪除且不在回收站展示,「移至回收站」的任務可以在【回收站】中進行檢視。

file

支援對回收站中的任務進行「還原」和「清空」操作。

file

4.上游任務存在下游依賴時禁止下線

背景:上游任務存在依賴時,不應該被允許下線,會影響下游任務執行。此前需要讓使用者自己手動取消依賴關係後,再進行下線操作。

新增功能說明:在下線時進行提示,隱藏下線入口。新增「複製」按鈕,便於使用者貼上到文字框後依次取消依賴。

file

5.後設資料庫 DMDB 8 適配 MySQL,WEB 中介軟體東風通 tongweb 替換 tomcat

信創全流程適配,適應國產替代化浪潮。

6.SQL 基礎功能補全

臨時執行、系統函式、自定義函式、執行計劃等功能各計算引擎補全(除了極少數不常用引擎)。

7.支援物化檢視

背景:物化檢視是將表連線或者聚合等耗時較多的結果進行預計算並將計算結果儲存下來,在對複雜 SQL 進行查詢的時候,直接基於上一步預計算的結果進行計算,從而避免耗時的操作,更快的得到結果。

新增功能說明:在 Spark3.2.2 版本建立的 Spark SQL 任務支援物化檢視相關語法。

8.資料同步

• 支援 Iceberg0.13 資料同步

StarRocks 3.x 版本適配,支援作為計算引擎,支援資料同步讀寫

功能最佳化

1.建立專案時,專案支援不對接並且不建立 Schema

背景:此前離線建立專案必須對接或者建立一個 schema。但在很多應用場景中,使用者的 SQL 開發任務都是在同一個 Schema 下,他們不想在自己的庫裡去建立很多無意義的 Schema

體驗最佳化說明:在建立專案時,支援選擇「不建立或對接 Schema」。

file

建立專案成功後,在編輯任務時,需要指定 Schema。

file

2.快捷鍵最佳化

快捷鍵選擇欄支援中文。

file

3.Hive 脫敏改造,複雜查詢生效

原脫敏功能存在問題,複雜查詢不生效。現最佳化調整後,複雜查詢的結果也會生效脫敏規則

4.Flink 任務型別改名為 Flink Batch 任務型別

Flink 任務通常是指實時 Flink 任務,實際上該任務是進行離線批處理,更名後資訊更加準確。

5.ES 資料同步最佳化

背景:存在多個 Index 同時向目標表進行寫入的場景。

體驗最佳化說明:讀取 ES 資料來源時,支援批次多選 Index,降低了使用者的操作成本。支援地理位置欄位型別,地理標識欄位是 ES 常用的一個欄位,在欄位對映時支援資料轉換。

file

實時開發平臺

新增功能更新

1.資料開發 SQL Query 支援 streaming、batch 模式選擇

背景:此前只支援 streaming 模式。

新增功能說明:針對 FlinkSQL 任務(1.16),任務設定中支援 Query 執行設定,可選擇執行方式為流模式或者批模式。

Stream 模式

• 定義:任務以流模式查資料

• 查詢時長:將任務開始在 Flink 引擎上執行,作為計算起點,當查詢時間達到此處設定上限時自動停止查詢

• 結果最大顯示條數:當查詢到的資料條數滿足設定值時,資料總量不再增加,新的資料覆蓋最早的資料

file

Batch 模式

• 定義:任務以批模式查資料,資料查完後暫存,一次性返回至平臺展示,支援結果下載,下載功能同 stream 模式

• 查詢時長:查詢時間達到此處設定上限時自動停止查詢,若在此時間內資料返回結束則列印結果,否則結果為空

• 結果最大顯示條數:查詢/下載結果上限為此處設定的條數

file

2.資料開發 kafka 格式新增 attunity json

支援基於 Attunity json 的讀取型別採集/輸入樣例資料,自動對映 Flink 表。使用 json 平鋪解析的方式可以透過新增自動對映功能來實現,從而滿足需求。

file

3.實時採集嚮導模式結果端支援 gp

實時採集1.12&1.16版本支援 Greenplum 目標表寫入能力,為使用者提供了更加靈活和高效的資料處理能力。

file

4.FlinkSQL 維表支援 OceanBase

FlinkSQL1.16 版本支援 OceanBase 維表讀取能力,為使用者提供了更加靈活和高效的資料處理能力。

file

5.實時湖倉透過後端檔案配置控制湖表的展示和其他操作

背景:使用者對實時湖倉表管理中表的範圍提出需求,此前實時湖倉不支援展示在其他平臺或底層建立的表,並需要對錶的增刪改查操作設定許可權限制。

新增功能說明:

• 最佳化實時湖倉獲取 HMScatalog 後設資料的方式

• 透過配置項引數,控制 IED 編輯 SQL 和湖倉管理-表展示的範圍、控制表操作的範圍,當前配置項僅針對 HSMCatalog

• 最佳化表管理 Catalog 展示效能問題

6.實時湖倉 HMSCatalog 建立增加 Warehouse 引數

背景:當前不支援在建立 HMSCatalog 時配置 Warehouse 地址,只能使用預設的地址,且不做展示。

新增功能說明:增加必填 Warehouse 項,回填 hive-site 檔案內 Warehouse 地址,湖倉建立 catalog 時可以指定儲存路徑而不是按預設的路徑進行儲存。

file

7.版本適配和支援

• 實時湖倉 Hive 適配 CDH6.2.1 對應的 Hive 2.1 版本

•實時湖倉 FLinkSQL1.12 支援執行 DTCatalog 和 IcebergCatalog

實時計算平臺支援 Hbase2.x 資料來源作為 FLinkSQL 維表且版本支援1.16

file

8.資料開發頁面支援高階檢索方式

背景:此前的搜尋不區分具體的查詢型別,導致查詢效率低下。

新增功能說明:資料開發頁面新增支援高階檢索方式,如支援程式碼檢索等功能,同時增加支援根據程式碼內容搜尋相對應的任務,提高搜尋的實用性。

file

file

9.FlinkSQL&實時採集嚮導模式增加指令碼預覽功能

FlinkSQL&實時採集嚮導模式增加指令碼預覽功能,前端支援功能包含:搜尋、複製、read-only、下載。

file

file

10.欄位自動補全功能

背景:資料開發在編寫 FlinkSQL 時,從當前的拓撲圖編寫中無法得到具體的一些欄位資訊。

新增功能說明:

• 實時計算資料開發眾的 FlinkSQL,支援源表、維表、結果表欄位在 SQL 編輯器 IED 編輯時的欄位自動補全功能,提高開發 SQL 的效率

• 支援嚮導模式和指令碼模式

file

11.適配 kafka3 且支援 kerberos 認證

• 支援 FlinkSQL1.16 版本作為源表、結果表

• 支援實時採集1.16版本作為來源表、目標表

• 支援開啟 kerberos 認證方式

• 支援實時湖倉 DTCatalog 作為源表、結果表

• 支援除錯執行

file

功能最佳化

1.任務運維實時任務並行度修改的熱更新

背景:在修改環境引數中的任務並行度引數後,為保證儘快生效,平臺會自動停止任務後重啟,這讓實時任務有了一個停止時間,重啟耗時會比較久。

體驗最佳化說明:在修改任務並行度引數後,不需要停止任務,提交後可直接生效,需要引擎出方案修改。支援熱更新的引數如下:

• FlinkSQL 外掛引數:維表 all 改為 lru、查詢超時時間

• Flink引數:並行度、checkPoint 引數

file

2.任務運維任務支援跳轉 FlinkUI

背景:Flink Dashboard 展示了一些平臺沒有展示的執行及日誌等資訊,對有經驗的資料開發來說更方便排查問題。

體驗最佳化說明:實時計算所有“執行中”狀態(實際非 application 執行中,需要 job 執行中才能跳轉成功)的任務的運維頁面在下圖位置顯示 FlinkUI 跳轉入口。

file

3.資料開發任務鎖覆蓋邏輯最佳化

背景:目前同一使用者在兩個視窗同時編輯任務時,A視窗先儲存,B視窗再次儲存時,覆蓋邏輯預設A覆蓋B,會導致後儲存版本內容丟失。

體驗最佳化說明:任務鎖覆蓋邏輯最佳化

• 版本記錄增加儲存版本,平臺異常登出時自動儲存任務

• 多人編輯同個任務/同一使用者在多個視窗編輯同個任務並出現儲存衝突時,可讓使用者選擇儲存版本

file

file

4.任務運維血緣節點資訊最佳化

針對 FlinkSQL 和實時採集任務,表級血緣圖中的源表、維表與結果表的節點,點選時顯示資料來源資訊,對互動與任務的詳細浮窗不一致問題進行最佳化。

file

5.實時開發選擇資源時,直接根據任務型別限制能選擇的資源型別範圍

背景:需要透過資源建立的任務型別,在建立時應有校驗資源型別是否選擇正確的功能,而不是在選擇資源時直接根據當前任務型別進行可選資源範圍過濾,導致錯誤提示滯後,增加使用者誤操作成本。

體驗最佳化說明:選擇資源時直接根據任務型別限制可選範圍,其餘不可選的資源型別在下拉時置灰無法選中

• Flink 可選範圍為 jar

• PyFlink 可選範圍為 py 檔案

6.任務資訊清理

背景:

• 某個任務由於業務變更需要修改邏輯或在較長的一段時間內不需要執行時,在任務運維列表中還持續存在會造成資訊干擾,需要進行下線操作,和提交形成逆向的操作閉環

• 任務下線後可能隔斷時間會重新提交,也可能很長一段時間內不會再次提交,目前所有任務的 cp sp 資訊都保留會導致無用檔案的堆積,任務刪除時任務相關的資訊更需要完整刪除

• on k8s 的任務在 jobgraph 建立之前被取消或異常失敗不會被清理,只有在正常結束或者 jobgraph 排程之後再被取消才會正常清理;on yarn 的任務,如果任務 cancel 會刪除資料,但是如果直接 kill application 則不會刪除 zk 資料,同樣會導致無用檔案的堆積

體驗最佳化說明:

實時開發任務下線後可選擇清理 check point、save point 資訊,任務異常狀態時清理 zk 資訊

• 任務下線時可選擇清理運維記錄及日誌資料,任務刪除時自動刪除運維記錄及日誌資料

7.健康分最佳化

專案管理導航欄下新增【健康分管理】子頁面,裡面分為【健康分指標】(預設展示)和【健康分等級】兩個 tab。

file

file

8.前端改造

• 將 React Router 從 v3.x 升級到 v6.x

• 對前端易用性效能進行改造,改進首屏效能,透過易測做量化,改進 FPS 場景任務

9.嚮導模式下 AS 別名隱藏

歷史版本的1.10支援維表 AS 別名,後續在1.12及以上使用 Flink 語法則不支援。為防止使用上出現問題,將嚮導模式下別名隱藏,修改後欄位和型別的顯示跟結果表保持一致。

file

10.實時開發任務熱更新最佳化

背景:此前版本對熱更新未做狀態限制,存在正在熱更新的任務重複提交熱更新的操作。

體驗最佳化說明:

• 透過後端對任務熱更新狀態的判斷,正在熱更新的任務無法重複的提交熱更新操作,將給出提示:當前任務正在進行熱更新操作,請等待熱更新結束後再執行操作

• 排程增加任務執行狀態,可以透過狀態進行判斷

file

11.自定義模版建立任務時取消引擎版本限制

背景:此前的自定義模版,只支援 Flink1.16 版本使用,限制了模版的使用版本,6.0的使用者存在低版本未升級到1.16的情況,就無法使用此功能。

體驗最佳化說明:自定義模版建立任務取消引擎版本的限制,同步支援了低版本也能使用此功能。

file

12.任務開發頁面最佳化

背景:任務開發時,點選儲存,頁面會自動跳回至頂部,打亂開發節奏,無法定位上一次編輯的位置。

體驗最佳化說明:資料開發在使用任務開發頁面編輯 SQL 指令碼不需要從頂部開始往下滑動,可以直接停留在儲存的位置。

file

資料資產平臺

新增功能更新

1.平臺層資料許可權管理,包含表級、行級、列級許可權的授予與申請

• 支援進行資料許可權的配置,可配置資料許可權範圍、生效使用者

• 支援按照庫、表、行、列維度進行資料許可權的配置

• 支援表級許可權的申請(擴充行、列許可權的申請),申請透過後,在許可權配置的頁面,自動為此使用者所在的使用者組,新增這條許可權資訊

file

2.移除使用者時需進行使用者許可權轉讓

背景:當人員離職時,需支援自動交接;在移除產品操作時需要進行使用者資訊校驗;若已經負責了資料治理模組的具體專案,有關聯的待處理問題、通知資訊配置,需要進行提示,並要在進行許可權轉讓後再移除產品。

新增功能說明:在使用者被移除的時候,增加許可權交接功能,包括告警配置、許可權資訊等資訊的交接。

file

3.oushudb/oracle 型別資料來源支援檢視同步

file

4.資料表質量校驗支援質量評分

支援針對單表校驗的表級質量報告分析,包含表質量評分、質量分值變化趨勢、質量評估概覽、近期規則校驗異常明細、近期校驗結果;質量概覽頁面新增針對單表校驗下各個資料表的表級質量分排名。

file

5.對接資料標準自動建立質量規則

背景:當出現資料質量的規範性校驗和資料標準設定規則基本一致時,最佳化資料質量的規範性校驗規則設計邏輯,支援與資料標準對接。

新增功能說明:在建立資料質量的規範性校驗規則時,支援自動對接資料標準來生成質量規則。當【資料質量規則】的【規範性規則】建立時,若識別到選擇的欄位為繫結了標準的欄位,支援選擇是否引用標準規則。若選擇引用標準規則,則會根據標準中定義的長度、精度、列舉個數、是否空值、是否重複,自動生成質量校驗規則。

file

6.後設資料週期同步增加資料庫過濾條件

後設資料週期同步增加資料庫過濾條件

• 新增、編輯週期任務按鈕最佳化,調整為支援「新增」以及「新增並立即執行」兩個操作按鈕

• 後設資料週期同步列表增加資料庫、資料表的展示

7.支援 tbds_hive 型別資料來源

新增支援 tbds_hive 型別資料來源,支援範圍包括後設資料同步、血緣分析、資料地圖、元模型、後設資料管理、後設資料質量、資產盤點、資料安全(資料許可權)。

8.質量任務定時執行可以關聯自定義排程週期

背景:在配置質量規則時,無法關聯自定義排程週期進行質量任務的執行,導致需要個性化配置執行週期時無法滿足;在質量任務執行過程中,存在一個質量任務執行時間過長的情況,中途無法停止導致無法釋放資源。

新增功能說明:

• 質量規則建立時,在配置排程資訊時支援關聯自定義排程週期,修改模組包含新建/編輯單表校驗規則、多表校驗規則、規則集、檢視規則詳情

• 質量規則建立後,在質量任務執行過程中支援中途停止操作

file

file

9.支援記錄每條 SQL 解析出的血緣關係

在【資料地圖】的【離線任務詳情】頁面,支援對解析 SQL 結果進行記錄,包含 SQL 語句、解析結果(成功/失敗)、解析時間。針對解析成功的可檢視此條 SQL 對應的血緣關係圖譜(只展示表級圖譜),針對解析失敗的可檢視日誌。

file

10.資料脫敏支援對識別規則的優先順序配置

• 在配置【脫敏規則】的【識別規則】時,支援擴充匹配符的選擇,新增「正則」、「包含」選項

• 在配置脫敏規則時,支援定義識別規則的優先順序,優先順序高的進行優先匹配,若優先順序衝突,預設按照最新配置的識別規則進行脫敏應用

• 支援進行脫敏白名單的配置,存在於脫敏白名單內的資料表預設不進行脫敏操作

file

11.針對單表每個欄位可以批次生成校驗規則

資料質量管理模組,可以批次配置規則。增加 or 或 and 篩選框,支援使用者配置檢驗規則,新增效果檢驗規則。

file

12.新增後設資料的展示資訊

• 在【資料地圖】的【表詳情】頁面,新增支援在資料表名下方展示表質量評分(若該表無質量評分則不展示),支援點選資料質量評分後跳轉至【該資料表的質量報告】

file

• 表資訊新增熱度統計按鈕,並新增訂閱數、使用次數、檢視次數、影響表數

• 針對操作記錄板塊新增 DML 操作記錄

file

13.資料許可權管理新增許可權回收功能

在資料許可權管理頁面新增一個名為【許可權回收】的標籤頁,列表展示每個使用者自己申請且已經透過的許可權列表。管理員可以透過此功能刪除使用者的許可權資訊,預設情況下,只有管理員具備許可權回收的許可權。

file

14.規範建表的嚮導模式配置內容擴充

• 嚮導模式配置內容擴充:

(1)針對 adb 型別建表支援配置欄位是否為主鍵、是否為空、精度值

(2)針對 inceptor、hive、spark 型別建表支援配置精度值

(3)inceptor 支援配置事務表/非事務表,支援指定 hdfs 儲存路徑

• 當資料標準中配置了長度、精度資訊時,引用標準可自動同步

• 支援 hive3.x(Apache) 型別資料來源的建表,建表邏輯和 hive2.x 保持一致

file

功能最佳化

1.支援配置表生命週期

背景:此前沒有基於資料來源、資料庫維度批次配置資料表生命週期的入口。

體驗最佳化說明:【後設資料管理】頁面展示維度修改為「資料來源」「資料庫」「資料表維度」,支援基於資料來源、資料庫、資料表維度進行生命週期的批次配置。

file

2.錶行數、儲存大小支援顯示更新時間

背景:若錶行數、儲存大小為0,無法區分此表是空表還是沒有同步錶行數/儲存大小,且有可能存在第一次同步了錶行數/儲存大小,第二次沒有同步的情況,故需要記錄下最近的更新時間。

體驗最佳化說明:【資料地圖】的【資料表詳情】中針對錶行數、儲存大小支援顯示更新時間。

file

3.欄位中文名支援修改

背景:目前資料地圖中欄位中文名、欄位描述的取值邏輯是拿的建表語句中的 comment 欄位,欄位描述可修改,欄位中文名也需要對應得調整為可修改。

體驗最佳化說明:【資料地圖】中的【表詳情】頁面針對欄位中文名支援修改操作,支援單個修改/批次操作。

file

4.在編輯表的業務屬性時需提示最大字元長度限制

背景:針對表的業務屬性為 string 型別的預設長度為100,目前在編輯表的業務屬性的時候沒有長度提示,且預設長度較小,會存在某些業務場景長度超限的情況。

體驗最佳化說明:針對業務屬性為 string 型別的,預設值的最大長度為255字元,並且在編輯業務屬性頁面進行最大長度提示。

file

5.「小檔案治理」 週期治理規則配置最佳化

週期治理規則的規則配置頁面進行最佳化,針對分割槽表,設定【檢視分割槽】操作,點選展示每個分割槽表對應的檔案數量。

file

6.後設資料同步(日誌)最佳化

· 同步失敗的表,不僅展示表名,還展示這個表所屬資料庫

· 後設資料同步時,針對每個同步例項,同步表數量、全部表數量的計算最佳化

• 日誌在同步表記錄列表中可以檢視每個同步失敗的表的日誌

7.欄位型別設定 varchar 支援自定義字元長度

欄位型別 varchar 支援自定義字元長度。在數倉層級設定中,數倉層級為非必選欄位。如果使用者未選擇數倉層級,表名的字首無資訊。

file

file

8.資料模型建表時支援配置分割槽範圍

效能最佳化,方便使用者在建立時能自定義分割槽範圍,減少操作流程,完善使用者體驗。

file

file

9.支援 meta 資料來源的自動引入

資料資產平臺針對所有的子產品(離線、指標、標籤)都支援 meta 資料來源的自動引入。同時針對指標、標籤,支援指標標籤生成的 trino 型別 meta 資料來源的自動引入。

10.可定義資產概覽中展示的預設資料來源

可定義預設展示資料來源(按照資料來源、資料庫、資料表數量排序)最多的資料來源型別。例如如果使用者 spark 資料來源下面的資料來源數量最多,預設的就展示 spark 型別,涉及到的展示模組包含資產盤點頁面以及後設資料管理頁面。

file

11.【資產盤點】資料價值排行邏輯最佳化

背景:資料價值排行最大可統計最近一年的資料,由於後端儲存的是全量資料,隨著時間的推移,資料量將不斷增加,影響查詢效能。

體驗最佳化說明:對【資產盤點】頁面的資料價值排行進行邏輯最佳化,後端僅保留最近一年的資料,以最佳化效能。

12.資料目錄顯示和拖動最佳化

背景:【資料目錄】因左側欄固定寬度,導致目錄顯示不全。

體驗最佳化說明:【資料地圖】的【資料目錄】、【資料標準】的【碼錶管理】、【資料標準】的標準管理(包括標準定義和標準對映)、【資料安全】的【自動分級】的【資料目錄】支援左右拉伸,支援選擇該層級的整個範圍進行拖動。

file

13.支援對錶負責人的許可權點管理

表負責人變更為非必填屬性,針對沒有表負責人修改許可權的使用者,點選編輯業務屬性頁面時,無編輯“表負責人”選擇框

file

針對沒有表負責人修改許可權的使用者,上傳檔案後需要校驗上傳使用者是否有表負責人的編輯許可權,若無編輯許可權,則匯入的表負責人不生效(資料開發和訪客角色預設無表負責人修改許可權)
file

14.單表校驗波動檢測結果取值調整為取最新值

針對單表校驗中波動檢測結果取值,錶行數的1天波動性檢、錶行數的7天波動檢測、月度波動檢測取值修改為取最新值。

15.告警通道配置校驗最佳化

背景:當控制檯未設定郵件預設告警通道,在進行質量配置告警/其他通知時不會提示,會導致發告警失敗。

體驗最佳化說明:在配置通知時,將校驗郵件、簡訊是否已配置告警通道,若未配置,會提示使用者“簡訊/郵件未配置告警通道,請先確認告警通道配置完成後再進行通知資訊配置。”(涉及模組包含:後設資料週期同步告警;後設資料實時同步告警;資料質量單表校驗、多表校驗、規則集告警;資料治理治理任務配置通知、指派人通知;表訂閱通知)

file

16.儲存資源情況篩選框保留資料來源選擇狀態

若選擇框中已經選擇資料來源,不論是儲存切換為錶行數,還是錶行數切換為儲存,資料來源的選擇狀態都保持不變。

file

資料服務平臺

新增功能更新

1.資料來源中心增加邏輯

背景:為確保資料來源中心與資料服務的同步開發,每次開發新資料來源時,都需要與資料服務並行進行。為了避免資料來源中心提前開發完成而資料服務尚未對接,導致新資料來源無法上線的問題,API 需要增加新的邏輯來預防這種情況的發生。

新增功能說明:對資料來源管理增加過濾邏輯,對於資料服務未支援的資料來源做過濾,在資料服務對接該資料來源後,再新增進資料來源管理。

功能最佳化

1.da_invoke_log 表相關最佳化

• 對同一使用者,在一段時間內因登陸失敗寫入資料庫的資料做最大條數的限制,最大程度上保障資料的安全

• 對 da_apply_invoke 表 SQL 查詢進行最佳化

2.釋出內容最佳化

背景:當前釋出內容,僅可釋出API,這樣會造成當從測試環境釋出至生產環境後,關聯的行級許可權、告警配置等無法生效,致使資料安全出現問題。

體驗最佳化說明:對釋出內容進行了改進,現在可以單獨釋出行級許可權、API、告警策略和熔斷策略等,也可以將它們組合打包釋出。這樣做可以確保生產環境中的 API 保持穩定,使用者可以更安全、高效地使用。

指標管理平臺

新增功能更新

1.指標釋出/下線對接審批中心

背景:指標釋出/下線都是重要操作,需要增加審批流程以提高操作的安全性。由於數棧中已經有審批功能模組,所以直接對接現有審批流程。

新增功能說明:

超級管理員可在【公共管理】-【審批中心】-【流程管理】中設定審批流程。指標釋出和下線都有對應的內建流程,分別是「指標釋出審批」和「指標下線審批」,預設應用於所有租戶,只有一個審批節點,審批人為申請發生的租戶下的專案管理員、專案所有者、租戶管理員和租戶所有者。

確認當前租戶開啟了對應的審批流程之後,加入了【指標管理】的專案的使用者可在【指標中心】介面對指標進行釋出/下線的申請操作。

file

使用者可在【審批中心】-【我的申請】-【審批中】中檢視自己已經提交的申請的審批進度,也可以取消審批流程未完成的申請,取消申請後將終止審批流程。

file

審批人可在【審批中心】-【審批授權】介面中審批已經提交的申請。審批節點上的任一審批人透過之後,則該申請透過該審批節點。申請透過所有審批節點後,則該申請變為「已透過」狀態,該指標釋出/下線申請生效,指標的釋出狀態隨之更改為「已釋出」或「已下線」狀態。

2.指標屬性自定義

背景:目前指標基本資訊中的屬性都是平臺內建屬性,實際使用中客戶會存在需要使用自定義屬性的場景,比如指標等級、指標負責部門等,所以需要支援指標屬性自定義的功能,方便客戶自定義指標屬性,並在加工指標的時候進行填寫,提升指標使用體驗。

新增功能說明:在【指標開發】中新增【指標後設資料】功能,使用者可以在【指標後設資料】介面中檢視通用屬性(即平臺內建屬性),檢視和管理自定義屬性。

file

file

功能最佳化

1.行級許可權根據動態值選擇匹配欄位時,可選到使用者管理中的所有欄位

之前僅支援選到使用者管理中的固有屬性欄位,現在增加支援選到自定義屬性欄位。
《行業指標體系白皮書》下載地址:https://www.dtstack.com/resources/1057?src=szsm

《數棧產品白皮書》下載地址:https://www.dtstack.com/resources/1004?src=szsm

《資料治理行業實踐白皮書》下載地址:https://www.dtstack.com/resources/1001?src=szsm

想了解或諮詢更多有關大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szbky

相關文章