BI取數,地獄還是天堂?

ITPUB社群發表於2022-12-26


取數是資料人成長的一個起點,任何資料團隊培養新人,最好從取數開始,取數又不能做太久,因為天花板不高,連續幹2-3年足矣,再幹下去就會單調重複,影響職業發展,但要從取數這個”局"中突圍似乎並不容易。

大魚是取數的過來人,這裡就講講我突圍的故事,共涉及四段經歷:

(1)入職1年,刻意練習,追求更快更好
(2)入職2年,獨當一面,負責核心取數
(3)入職3年,能力升級,轉型報表開發
(4)入職4年,架構掌控,升級取數引擎

1、入職1年:刻意練習,追求更快更好

我比較好勝,也算勤奮,跟著師傅熟悉了基本的取數套路後,包括工具、寬表和指令碼,就琢磨著如何取得更好更快。

取數大多依賴現成的寬表,但寬表很多時候也取不出數來,必須找到寬表的上游,這就需要去研究寬表的生成程式碼,然後順藤摸瓜的熟悉上游的基礎表。

可能別的取數人員只要熟悉幾十張寬表就可以了,而我那時就掌握了幾百張基礎表,這幾乎是資料倉儲的所有。

有時候掌握了基礎表也還不夠,還要追溯到業務系統的原始表,這就得求助業務系統的開發人員,但開發人員有時也要翻看原始碼才能搞清楚,這個很費時間,我不太喜歡求人,就追著要了源系統的設計文件和PDM,然後自己研究自己取

總體來講,取數是規則相對明確的工作,只要勤奮一點就能達到很高的水平,一年後,我的取數水平就處於團隊的頂尖,一般的取數應對綽綽有餘,就是非常複雜的取數,也往往自己解決,很少去問師傅。

很多人取數了多年,水平不見漲,總結下來的原因就二個:一是不感興趣,不上心,應付了事,這是責任心問題;二是點到為止,覺得夠用就行,這是缺乏主動學習能力。

2、入職2年:獨當一面,負責核心取數

取數人員經常擔心工作成績不夠顯現,這是個錯覺,但凡有點特質的員工,領導都會看得一清二楚,合適的人總是會被放到合適的崗位。同樣的取數工作,你負責的部門與他負責的部門,重要程度是不一樣的,這裡就已經拉開了差距。

進入公司的第二年,原來負責市場部取數的同事被調走做資料倉儲,領導就安排我去接替他的工作,而市場部的取數是最多最複雜,也是最緊急的。

有次我跟市場部三個主管溝通一個營銷案的測算需求,涉及到幾十張表格上百個指標的取數,這些指標口徑是全新的,意味著傳統的那些寬表無法直接滿足要求,必須全部從源頭開始取數,難度很高。

我當場確認完畢,還拒了很多需求,後來市場部對不能做的指標找了業務系統的開發人員確認,發現我說得全對。

最風光的一次是某一年的KPI指標的取數,我一人赴會,遊刃有餘的面對著20多位分管各業務線的人員溝通需求,那是職業生涯高光的時刻,取數的口碑就這樣建立起來了。

後來成為管理者後,有些取數人員會來抱怨業務人員每次取數都要加急,而且不講理,我說這裡有個信任度的問題,他們對專家就不敢這麼扯皮。

把業務人員當甲方,別人說什麼就做什麼,自己沒什麼觀點的,雖然不能說是無效的勤奮,但思維是懶惰的,自然無法讓人有什麼敬畏之感。

3、入職3年:能力升級,轉型報表開發

這一年由於負責報表的同事離職,我開始去做報表開發。如果說取數是野戰軍,不太講規矩,那麼報表就是正規軍,做事開始要一板一眼了。

報表開發涉及到資料的採集、開發、上線和運維,同時還涉及前端的展示和BI的一些工作,相對於很多取數人員只會一些SQL,開發報表能接觸的技術棧就多多了

我負責的是公司的財務報表,那是一分錢也不能少的差事,經常熬夜出賬稽核,但正是這段經歷,讓我對資料的及時性、準確性、一致性有了更深刻的認知,以後再做其他類似的工作,就會覺得雲淡風輕。

在做報表開發的同時,大魚會接到一些KPI指標異動分析的任務,然後出一些簡單的分析報告,這樣就熟悉了趨勢分析、結構分析、對比分析等分析方法,後來還成了部門的資料分析師,會跟著領導去公司做彙報。

從取數到開發,再到分析,每次領導對我的工作調整,看似偶然,其實是基於能力的一個判斷,否則有了機會也不會給,而我相對別人的優勢,開始的時候僅僅是那一點點取數的優勢。

4、入職4年:架構掌控,升級取數引擎

報表和取數對技術的要求都不太高,因為它們都是在現有的資料倉儲基礎上做的一些應用,資料倉儲才是最根本的東西。

進入公司的第四年,我有機會參與公司資料倉儲的重構工作,從資料倉儲平臺的選型、整合,再到資料的採集和建模,最後再到BI,都有所涉獵,做了資料倉儲後,我的視野寬闊了很多,並且能從根子上去解決取數的一些問題,包括

原來取數依賴的模型表都是月為週期的,後來就搞了一套日的倉庫模型;
原來取數依賴的模型寬表不超過100個欄位,後來就搞了很多超級寬表;
原來取數都是在DB2上進行,後來就搞了專門的一體機取數;
原來取數都是依賴人工,後來就開始搞自助取數;
......;

這個時候,大魚已經從一個被取數引擎牽著鼻子走的取數者,轉變為一個能夠主動最佳化取數引擎的創造者。

現在大魚成為了一名管理者,取數的經歷讓我知道很多人不知道的”秘密“,資料管理就有了很多的底氣,比如:

我知道自助取數的價值是限的,因此不會人云亦云,盲目投入;
我知道取數的邊際效益不高,因此不會以速度追求口碑;
我知道取數長了會造成惰性,因此總是適時的調整下屬崗位;
我知道限制取數速度的原因很多,因此會強調機制,流程一起抓;
我知道取數是資料探索的保障,因此要求資料分析師必須自己動手;
......;

沒有取數經歷,對於資料人來說不是完整的人生,但資料人不能僅有這樣的人生。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2929472/,如需轉載,請註明出處,否則將追究法律責任。

相關文章