數字化轉型參考答案，用技術釋放資料價值 | 傳智匯公益私享會幹貨分享

第二屆世界網際網路大會上，馬雲提出：世界正從資訊時代進入資料時代。隨著數字化轉型浪潮席捲全球，企業能夠掌控客戶資料的廣度和深度極大地擴充套件，資料已經成為企業的基礎設施和核心資產，資料技術對開發者的要求也越來越高。

 

12月19日，諸葛io研發交付VP唐興才先生受邀到傳智匯分享，為大家解讀資料技術在數字化轉型中發揮的作用。

本次分享直擊數字化轉型中的資料基石，如何做好資料基礎設施建設，能讓企業更加輕鬆地擁抱新技術、新變化，抓住更多的市場機遇，幫助企業資料價值最大化。

唐總在分享中講到：數字化並不僅僅是擁有資料這麼簡單，只有將資料與多種技術融合，真正運用到企業的發展之中，才有價值。

眾所周知企業在數字化轉型中面對三大挑戰：

• 高質量資料如何獲取？

• 缺乏靈活高可用的架構平臺？

• 需要專業的資料運營人才？

 

唐總講到無論是技術創新還是模式創新，落地才是硬道理。諸葛io的資料基礎設施建設解決方案是圍繞資料採集、資料整合治理及智慧應用進行，幫助企業實現一個開放、實時和智慧的資料中臺支撐。

圖：諸葛資料平臺方案

01

資料採集

 

企業在資料採集更多關注面向業務的全端的，多種資料來源的採集能力，實現全端資料資產積累，打破資料採集的孤島現象，同時更注重多種方式滿足採集需要，這就需要平臺建設初期考慮到資料採集能力。

 

在資料採集中實時採集、管理、儲存、查詢、展現資料，高效積累資料資產，賦能業務應用場景，助力企業構建紮實的資料根基，實現數字化經營。

 

企業需要什麼資料取決於資料如何應用。資料採集的重心是把資料價值提供到業務中去，打通業務性的資料，賦能企業去了解使用者、進行決策。

在資料採集中，我們需要關注標準和規範如何制定，並選擇合適的資料埋點，減少分析原始資料的時間以便集中精力分析業務問題，用資料驅動精益成長。

02

資料校驗

 

校驗的目的是保證資料合規。對埋點資料進行管理，儘早發現不符合規範的資料，隱藏無效資料，加密敏感資料。這樣可以用很低的成本，完成資料的採集、清洗、沉澱工作，為企業節省成本，提升資料驅動的效率。

03

資料治理

 

資料治理是資料基礎建設中非常核心的一塊內容，如果沒有很好的資料治理，那麼做再多的業務和技術投入也可能是徒勞的，因為資料質量沒有保證，就沒有辦法正確的做資料治理後期的應用。

通過資料治理將企業的資料資產進行應用和管理的一套管理機制，能夠消除資料的不一致性，建立規範的資料應用標準，提高資料質量，實現資料內外部共享，並能夠將資料作為組織的寶貴資產應用於業務、管理、戰略決策中，發揮資料資產價值。

 

資料治理的目標是提高資料的質量，包括資料的準確性、及時性、完整性、唯一性、一致性和有效性，確保資料的安全性（保密性、完整性及可用性），實現資料資源在各組織機構部門的共享，推進資料資源的整合、服務和共享，從而提升企業數字化的水平，充分發揮資料資產作用。

資料治理的四個維度包括資料質量管理、資料共享管理、資料資產管理和資料安全治理，能夠建立規範的資料應用標準，提高資料質量，將資料應用於業務、管理、戰略決策中，發揮資料資產價值。

04

資料倉儲

 

資料倉儲是資料資產的載體，資料倉儲的建立過程中資料建模是最關鍵的技術環節。一個合理的資料模型決定了資料價值是否足夠靈活、儲存是否足夠、對業務場景能否高效率支撐。

05

資料開放及資料應用

 

開放的資料介面，讓企業可以打通資料，實現輕鬆的資料匯出，將資料價值運用起來。典型的資料應用包括企業資料湖、資料包表、BI系統、資料大屏、資料看板、場景分析、使用者洞察、智慧營銷等，這些都基於高質量資料來實現。

現場答疑

 

Q：請問大資料對年齡有什麼要求？A：從事大資料行業要求的是程式設計師對資料的理解，對技術掌握是否到位，能否將業務化和商業價值繫結在一起。對年齡沒有太多要求。

Q：大資料是否適合作為轉型方向？A：未來，大資料將像水電一樣成為基礎設施。針對企業而言，每個企業都在講資料，只是不同企業資料化的快慢不同，企業高層對資料價值的耐心，企業對資料的持續建設不同。這些是企業在做資料化建設中存在不一樣的地方。對個人轉型而言，大資料行業是比較好的方向。

Q：大資料是否存在泡沫？A：為企業提高效率，產生價值，是大資料比較核心的點。衡量大資料是否存在泡沫，要通過產生的成本和輸出的價值能否匹配上來進行判斷。

Q：大資料處理過程中資料質量監控如何進行？A：和資料需求繫結，除了看資料是否標準，衡量的點包括資料是不是零散、獲取方式是否規範、是否持續、是否有未來價值點，能為業務賦能。

Q：小型公司涉及到大資料多嗎？A：每個公司都多多少少涉及到大資料，小公司多數會使用一些產品進行資料處理，而大公司會建立自己的平臺。

Q：業務上有大量資料拖慢速度，後期如何治理？A：通過搭建體系架構，對業務資料進行二次轉換。針對查詢特別慢這一問題，說明有了資料資產，但分析能力支撐不上。可以檢查庫、模型是否合理，介質是否合理，在模型上改動或介質上改動。

Q：資料模型設計怎麼做？A：涉及到使用者和行為相關的較多，舉例來說涉及使用者體系、行為體系、使用者標籤體系，使用大寬表儲存資料，在效能、儲存能力上都能達到標準。

Q：資料儲存週期多久為宜？A：一般不會清理，儲存資源能夠跟上的話長期保留，可以在處理資料時採用分割槽等手段。

Q：資料處理採用正規化還是維度建模？A：偏維度建模

Q：PHP轉大資料好轉嗎？A：程式設計師已經習慣了邏輯思維，只要補充基礎的技術能力就可以勝任大資料工作。

 

分享嘉賓

 

諸葛io研發交付VP 唐興才曾就職於瑞星防毒資料部門，擔任大資料工程師，前創新工場37degree技術團隊核心成員。參與了諸葛io從0到1的孵化過程，還負責系統架構設計、新產品研發、運維體系建設，實現產品技術領先市場與同行；帶領產品技術團隊高質量地交付了龍湖、安利、陽光保險、賓士、中國移動等大客戶的資料中臺建設專案。

 

諸葛io 是一家專業領先的資料智慧服務商，為企業提供資料採集、資料治理、資料倉儲、分析和營銷等資料智慧服務，產品開放、敏捷、高效，聚焦業務場景靈活擴充套件，根據業務變化敏捷響應，全面滿足大、中、小企業的不同需求，實現全場景規劃，小場景啟動。基於資料智慧賦能商業，助力企業實現資料驅動增長。

 

 

傳智匯一直積極承擔社會責任，將優質的IT學習資源帶給更多網際網路人。後疫情時代，傳智匯將一如既往地聯合眾多網際網路名企嘉賓資源，共同搭建IT技術共享交流的平臺，為各界IT精英在技術進階、求職跳槽、人脈搭建等方面提供有力支援，助力IT人及網際網路企業適應時代的顛覆和創新，探索更好的成長之路。