使用資料倉儲BI的6種策略
資料倉儲可以作為資料儲存的輔助工具,幫助資料的整合、彙總和轉換,以便更容易地為業務智慧進行分析。團隊可以透過採用雲架構的新策略,最大限度地使用資料倉儲。
隨著雲端計算和用於資料整合、儲存和管理的新型資料基礎設施的興起,資料倉儲的性質和用途都發生了巨大的轉變。即使一些企業醞釀使用資料湖來儲存一切,資料湖仍然在為常規分析提供更快的訪問和更一致的結構方面提供了很大的價值。
此外,用於流分析、資料準備和主資料管理的新工具可以幫助企業採用更好的資料倉儲策略。這裡有六種策略,可以幫助企業充分使用新的雲資料倉儲。
1、識別過程中的瓶頸
資料分析諮詢公司Bartlett System的執行長和創始人Adam Nathan,他參與實施BI系統已經超過15年了。雖然在這期間,他發現了漸進式的進展,但他表示,“雲服務的進步可能會從根本上改變BI專業人員挖掘資料倉儲的方式,從而使BI受益。”
Nathan指出,“獲取資料、清理資料、準備資料,並將其與不同的資料來源進行整合,一直是IT團隊中資料工程師遇到的難題。”使這一挑戰變得更加嚴重的是,資料的所有者,那些真正瞭解資訊語義價值的人,與資料本身是隔絕的。
他認為,“那些幾乎沒有時間幫忙,而且只瞭解資料的人,恰恰無法快速得到我需要的東西。”
2、賦予資料工程師權力
團隊現在可以在SQL中進行更多的資料準備活動,包括大資料和半結構化資料。根據Nathan的說法,隨著SQL技能變得無處不在,資料工程已經變得大眾化了。
由於這些工具變得更容易使用,並且需要更少的分散技能,因此不太需要熟悉多種語言和技術的集中式專家。Nathan認為,“這導致了資料工程師的崛起,反映了應用開發、分析和其他領域的類似趨勢。”
資料共享也越來越容易。例如,Snowflake使用者可以將資料集以離散的、精心策劃的集合,公開給資料消費者,包括:合作伙伴、客戶、供應商和其他人。
Nathan解釋說,“如果我是一名在人力資源方面擁有良好SQL技能的分析師,我就可以在不需要外部支援的情況下管理和分享我的團隊的資料。”
這一點很重要,因為它消除了IT在資料準備過程中的瓶頸。IT團隊有更多的時間專注於準備原始資料。
3、建立分散式管理
接下來,團隊需要簡化正確的資料進入資料倉儲的方式。隨著IT部門的退出,團隊可以開始考慮將其資料作為企業中每個小組的個人、策劃、掌握和認證資料集的集合。
想要人力資源資料的人可以去找人力資源部門共享的資料集。人力資源部門的專家瞭解如何收集資料,為什麼要收集資料,保持這些資料的更新,管理工作,並可以為其他部門的使用者提供適當的背景,希望使用這些資料進行不同的分析。Nathan認為:“實際上,每個部門都在提供資料價值。”
其他人可以請求訪問許可權,但無法更改。這種框架還可以更容易地整合來自給定部門的資料,或者與企業內可用的其他資料集,甚至外部資料集整合。
策劃管理策略將資料質量監督從一箇中央部門轉移到單獨的團隊,可以提供更大的監督效果。因此,我們可以相信,最好的人力資源資料來自於人力資源共享站點。“這是一個很小的問題,也更易於管理。”Nathan說道。
4、制定資料合同
分散式管理也帶來了一個全新的挑戰,即資料集需要保持一致,並以極其謹慎和安全的方式進行更改。“如果對資料的治理實施得不好,就會成為一種自由競爭,這可能是最大的風險。”Nathan說。
資料管理團隊需要與每個部門合作,幫助制定資料合同,為他們提供的資料建立服務級別協議。合同有助於確定每個人對可靠性和及時性的期望。Nathan表示,“這可能會使IT部門感到痛苦,因為治理問題和角色的減少。”
5、考慮不同的觀點
Capgemini公司全球洞察力和資料副總裁Avneet Dugal說,“資料倉儲有一個令人質疑的名字,那就是它是大型的、難以操作的資料儲存庫,因此不適合實時分析和決策。”
她看到的挑戰是,團隊正在試圖將所有資料移入資料倉儲。將大量的資料轉移到另一個平臺,並重建經驗上可信的資料是一項複雜的工作。例如,企業可以透過根據業務重點(供應鏈、財務或營銷)來組織資料,使其更容易檢視和使用。
Dugal還發現將“增量”更新構建為核心處理能力的一部分是有幫助的,這使得資料變化更容易出現在各種分析用例中,並減少了對所有資料的更改,以包括最後一天的更新需求。
6、簡化資料工作流程
ScienceSoft的資料分析部門負責人Alex Bekker表示,“考慮戰略和戰術層面的管理之間的差距也很重要。”其中一個方面是建立一個精心設計的資料治理框架,以確保資料倉儲攝入高質量的資料,這些資料被安全地處理和儲存,並且只能根據使用者角色來訪問。
選擇具有大量整合功能的資料倉儲軟體也是很有幫助的,比如預建的資料來源聯結器和開放式API,以確保資料倉儲的可擴充套件性。這有助於新增新的資料來源以解決不斷變化的業務需求。
另一個方面是圍繞整合、質量、安全和備份,實現資料倉儲維護和管理活動的自動化。這降低了資料倉儲的運營成本,並確保高效能和可用性。
Fivetran公司首席分析技術產品經理Veronica Zhai也建議,將關鍵業務邏輯集中到一個地方。例如,關鍵的業務邏輯,如 “什麼是淨收入?”應該在程式碼中定義一次,放在一個有版本控制的地方,所有分析師和業務使用者都可以重複使用這段程式碼。這也節省了時間,並確保報告的一致性。
來自 “ https://searchdatamanagement.techtarget.com/tip/6- ”,原文連結:http://blog.itpub.net/31545813/viewspace-2845534/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 使用Power BI構建資料倉儲與BI方案
- BI、資料倉儲和資料分析之間的區別
- 資料倉儲(6)數倉分層設計
- ETL資料倉儲的使用方式
- BI, 資料倉儲,ETL, 資料開發,有什麼區別
- 如何規劃一個高效的BI資料倉儲專案JI
- 使用PostgreSQL作為資料倉儲 - narratorSQL
- 企業的六種資料儲存合規性策略
- 資料倉儲 vs 資料湖 vs 湖倉一體:如何基於自身資料策略,選擇最合適的資料管理方案?
- 資料庫倉庫系列:(一)什麼是資料倉儲,為什麼要資料倉儲資料庫
- 資料倉儲 - ER模型模型
- [數倉]資料倉儲設計方案
- 資料倉儲與大資料的區別大資料
- 關於資料湖、資料倉儲的想法
- 傳統 BI 如何轉大資料數倉大資料
- 資料倉儲非剛需AI易成空心球,中國BI要如何落地?AI
- 資料倉儲、資料集市、資料湖,你的企業更適合哪種資料管理架構?架構
- 資料倉儲應該用什麼方案——資料倉儲實施方案概述
- 從60%的BI和資料倉儲專案失敗,看出從業者那些不堪的亂象
- 資料湖和中央資料倉儲的設計
- 什麼是資料倉儲
- 資料倉儲經驗概念
- 什麼是資料倉儲?
- 資料倉儲建模方法論
- 使用並行資料倉儲所面臨的挑戰VW並行
- 談談資料湖和資料倉儲
- 資料湖會取代資料倉儲嗎?
- 淺談資料倉儲和大資料大資料
- 資料湖 vs 資料倉儲 vs 資料庫資料庫
- 資料中臺以及資料倉儲的介紹
- Netflix如何使用bulldozer從資料倉儲批處理資料轉移到鍵值儲存?
- 資料倉儲(7)數倉規範設計
- Oracle資料倉儲的實時資料採集XSOracle
- 資料倉儲、資料湖與湖倉一體的區別與聯絡
- 基於OneData的資料倉儲建設
- 產品視角下的資料倉儲
- 大資料和資料倉儲解決方案大資料
- 資料倉儲被淘汰了?都怪資料湖