億信華辰告訴你數字化轉型背景下,能源企業如何做好資料治理

DataAnalyst的碎碎念發表於2022-04-08

數字經濟時代,資料是具有重要價值的生產要素,其中的能源資料既是推動行業發展的關鍵要素,也是國家、社會以及能源企業的重要資產。億信華辰今天就來為大家說說能源行業數字化轉型的背景,以及能源企業該如何做好資料治理?面對“十四五”時期的新階段、新要求,能源資料的治理問題已經成為能源治理繞不開的議題。

01、我國能源產業數字化升級正在加速

3月22日,國家發展改革委、國家能源局印發《“十四五”現代能源體系規劃》,檔案表示,我國步入構建現代能源體系的新階段。現代能源產業進入創新升級期。圍繞做好碳達峰、碳中和工作,能源系統面臨全新變革需要,迫切要求進一步增強科技創新引領和戰略支撐作用,全面提高能源產業基礎高階化和產業鏈現代化水平。

除此以外,檔案還表示,要加快能源產業數字化智慧化升級。推動能源基礎設施數字化。加快資訊科技和能源產業融合發展,推動能源產業數字化升級,加強新一代資訊科技、人工智慧、雲端計算、區塊鏈、物聯網、大資料等新技術在能源領域的推廣應用。


積極開展電廠、電網、油氣田、油氣管網、油氣儲備庫、煤礦、終端用能等領域裝置設施、工藝流程的智慧化升級、提高能源系統靈活感知和高效生產執行能力。適應數字化、自動化、網路化能源基礎發展要求,建設智慧排程體系,實現源網荷儲互動、多能協同互補及用能需求智慧調控。


02、能源企業資料治理實踐的3個方面 


目前,能源行業企業也順應數字經濟形勢,如火如荼地進行著數字化轉型,強調“資料驅動價值”,或者希望通過對資料的深入探究和有效治理,重塑差異化競爭力。

能源行業對於國民經濟具有獨特屬性。隨著企業數字化轉型的深入,業務系統更多,資料量更大,資料整合也更困難。面對資料打架、資料標準不統一、缺乏管理機制、資料共享、使用效率低等挑戰,資料治理的重要性和必要性進一步凸顯。當下,能源企業對這些資料治理的實踐主要集中在結構化資料方面,通常分為以下3個方面:


1.分析域資料治理(後設資料管理)

以後設資料為核心,目標是理順資料分析建模過程,提高資料質量,為構建分析型資料應用提供保障。而後設資料主要解決所謂的 “資料四問”,即,我是誰?我在哪裡?我從哪裡來?我往何處去?


2.事務域資料治理(主資料管理)

以主資料為核心,目標是確保業務應用及其整合與互動的順暢,提高資料質量,降低業務風險。


3.資料質量驅動的資料治理(資料標準管理)

對業務應用、分析應用在資料採集、傳輸、儲存、建模、利用過程中涉及的資料,針對其技術上的唯一性、一致性、完整性等質量特性,以及業務上的準確性、標準化、全面性等質量特性,進行梳理、清洗、檢驗、維護等治理工作。

從能源行業現狀看,這三個方面在實踐過程中相互有一定的交叉,但目前還沒有很好地融合三個方面的資料治理實踐,也沒有出現對非結構化資料尤其是以時序資料為代表的能源大資料進行治理的典型案例。


03、能源企業資料治理存在的問題


疫情之下,很多企業備受影響,在此情境下,能源企業紛紛意識到自身作為穩定社會經濟的重要基礎,責任愈發重大。越來越多企業意識到,依託大資料技術加速企業數字化轉型,可能是當下“危”“機”共存下維續業務持續增長的可靠路徑。而當資料是企業重要資產成為業界共識,企業對資料治理和資料質量的認知和發展也隨之凸顯。


儘管有很多企業意識到資料是企業的核心資產,但是沒有完備的資料資產管理體系,資料要素的生產力就很難發揮出來。能源企業的資料體量大、資料型別多、資料產生快,這就要求企業在實際生產的過程中,對資料的產生、儲存、加工、應用、歸檔等資料全生命週期進行管理。

當前,大型央企從資料湖建設、資料資產目錄建設、資料指標體系建設、數字化運營平臺建設等方面採取了一系列開發利用資料的措施。


然而,部分企業發現資料資產體系構建後,並沒有像預期那樣實現資料資產化和資料價值化,資料產生的洞察和報表也沒有完全收到業務和管理部門的認可。主要原因包括資料質量不高、資料標準不一、資料安全缺位、應用場景匱乏等。


04、億信華辰大資料資產管理方案為能源企業數字化轉型賦能


億信華辰大資料資產管理方案可以幫助能源企業全面整合多源、異構的資料和資訊資源,通過一站式的資料治理和智慧的資料資產規劃開放能力,將有價值的資料合理、合規、安全、高效的提供給各業務條線的資料需求方,全方面監控資料資產在全業務流程中賦能程度和成效,啟用資料要素潛能,驅動治理方式、生產方式的變革。

如圖所示,遵循“全域性意識、業務為本、資料為核、分步演進、區域性執行”為原則,圍繞“1+4+N”模式來建設和開展,助力資料資產管理專案敏捷建設和迭代升級。1個策略:保障資料資產管理職能落地實施;4大職能體系:以資料整合、資料治理、資產規劃開發、資產運營四大管理職能為支撐;N項服務:服務N個資料增值應用和數字化應用場景。


1.資料整合

實現企業中多源異構資料的採集,並進行有效的整合和開發,讓資料實現更多的關聯和碰撞,打破企業資料孤島,產生更多有利於業務開展和創新的價值資料,確保資料資產的完整性。


2.資料治理

構建統一可執行的標準,提升資料質量,發掘資料關係,建立資料認責和問責機制,治理後的標準化資料,才能融會貫通到不同的業務領域。


3.資產規劃開發

構建統一、規範的資料資產視角,合適的服務方式,是將資料向全業務條線推廣的重要步驟,充分釋放資料的巨大價值,使資料能夠更好地反哺企業業務的發展。


4.資產運營

推廣高價值的資料,收集資料資產需求,不斷完善、擴充整個資料資產體系,通過運營才能讓資料精準有效、安全合規地被資料消費者使用,並充分體現資料資產價值。


05、案例展示


1.專案背景

工業網際網路激起能源領域一池春水,新一代資訊科技則是其不斷髮展的加速器。山東能源集團某下屬集團率先在煤炭行業實踐大資料建設,響應山東省號召積極開展新舊動能轉換,將大資料、雲端計算、人工智慧、工業網際網路等技術與企業融合創新,促進企業的精細管理、精準決策、精益運營。


2.痛點問題


在具體推進中,集團很快遇到了瓶頸——發現內部雖有海量資料,卻無法發揮出資料價值,想做資料分析挖掘,卻沒有高質量的資料支撐,只能做一些淺層的資料分析應用。在多方考察和比較下,該集團最終選擇億信睿治智慧資料治理平臺,希望能攜手實現新舊動能轉換,管理升級,資料化運營,在多個場景實現經營管理效率的提升。經多方考察分析,當前集團要實現此次專案目標面臨著諸多問題:

(1)歷史原因:遺留資料孤島

集團大量的資訊化自動化系統,產生了海量多源異構資料,這些系統資料的資料標準不一,形成了一個個資料煙囪,無法實現資料融合、關聯分析。


(2)客觀存在:資訊海量髒資料多

該集團整體資訊化能力較強,業務部門對資訊系統的使用率較高,但由於資料質量管理體系沒有來得及建立,容易出現資料錄入錯誤,錄入資料格式不規範、多頭報數等資料質量問題。


(3)部門獨立:無資料資產編目

每個部門業務人員只知道自己工作中接觸到的資料,不知道全集團有些什麼資料,有哪些和自己工作相關的資料可以利用,使大量資料變成沉睡資料。集團資料治理體系尚在建設中,發現問題但也無法及時糾正過來。


3.建設內容

針對該集團的實際資料問題,充分考慮到國家大資料戰略規劃的前提下,億信華辰實行資料治理、建設資料倉儲、逐步按需推進資料應用落地。通過資料治理、資料賦能、資料化運營核心要素建設集團資料治理平臺。最終採用標本兼治、持續發展的設計理念,制定“三步走”計劃。

(1)治本:自上而下建立資料治理體系

首先從管理層面幫助集團建設資料治理體系,制定資料質量管理辦法,確定資料質量主體責任在業務部門,建立資料質量績效考核制度,從源頭上解決資料質量問題。


同時在技術層面對集團進行涵蓋資料全生命週期資料治理,通過後設資料管理,掌握資料來龍去脈;通過資料標準管理,統一資料標準;通過資料質量管理,發現資料質量原因,從源頭循序漸進提升資料質量;通過資料資產編目,讓各業務部門瞭解集團資料及其含義,申請取數加工分析,最終實現人力、財務、安全生產、裝置、ERP、OA、黨建、檔案八大系統的資料治理。


(2)治標:建設集團級大資料資產平臺

在集團搭建基於hadoop架構的大資料平臺,通過Kafka,Flume等技術手段,實現礦端安全監測、人員定位、裝置、應力、水文等感知資料的實時採集、清洗和儲存。並結合各系統治理之後的資料,進行資料整合,建立人力、財務、安全生產、裝置、辦公五大主題域的資料倉儲。最終針對各類資料資產進行編目,形成整個集團的大資料資產平臺,同時通過許可權管理、流程審批、資料加密脫敏等一系列手段保障資料安全,實現資料共享。


(3)治崗:業務人員快速實現資料賦能

該集團意識到資料化運營,最終必須讓一線業務人員具有資料思維,掌握資料分析能力。所以本期專案由實施工程師拋磚引玉,製作了一批資料自助式分析模板,業務人員不但可以利用模板現有的分析模型分析取數,更可通過簡單的拖拽方式做探索性分析,嘗試新的資料分析模型,學習資料分析思路,逐漸掌握資料分析能力,實現資料賦能。


4.專案價值

通過一期專案的資料治理,億信華辰為客戶建立了集團級大資料資產平臺,運用大資料技術實現資料採集、清洗、分析建模,實現了集團全量多源異構資料採集,並對核心的人力、財務、裝置、煤質、生產安全資料進行資料治理,形成高質量的資料資產。


通過資料資產目錄對全集團釋出,並用業務後設資料解釋資料含義,便於業務人員尋找自己所需的資料。業務人員可以對自己所需資料提出申請,資料管理員審批通過後,業務人員可以利用零程式碼敏捷分析工具自助分析取數,實現資料賦能,支援日常生產經營管理。


由於採用標本兼治,資料賦能的建設策略,解決資料質量,資料融合等企業痛點難題,也通過資料賦能讓客戶看到了資料治理的成果,建立了信心,集團領導表示:“未來我們會積極擁抱工業網際網路,推行5+N平臺化管理模式,把資料作為企業創新發展的核心資產。希望在現有成果基礎上,我們能通過後續專案實現集團所有核心資料的資料治理,並針對集團核心的人、財、物、產、供、銷、環,生產安全全要素業務場景,利用資料分析挖掘技術建設分析模型,從而實現全集團資料化運營智慧管控。”


06、小結


至今為止,很多企業已完成資訊化建設,隨著企業逐漸向智慧化轉型,企業內部開始形成一定的數字化戰略藍圖與規劃,他們深知資料資產對於企業的價值與意義。


但只有搭建企業資料資產管理體系,推進企業資料資產管理規範和創新,提升資料應用價值,才能解決企業資料資產查詢難、應用難、管理難等問題,最終實現企業資料價值挖掘及資料資產變現升值和資料資產的“應用和管理”的穩步前進。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69996137/viewspace-2886281/,如需轉載,請註明出處,否則將追究法律責任。

相關文章