企業級大資料中臺架構實戰

當一個程式設計師逆襲從為一名架構師的時候，那考慮最多的就是如何設計現階段公司的資料中臺架構。

認知高度

什麼是認知，認知是指人們獲得知識或應用知識的過程，或資訊加工的過程，這是人的最基本的心理過程。它包括感覺、知覺、記憶、思維、想像和語言等。人腦接受外界輸入的資訊，經過頭腦的加工處理，轉換成內在的心理活動，進而支配人的行為，這個過程就是資訊加工的過程，也就是認知過程。只有不斷的這樣，自己的認知就會不斷的提高，做架構就是這樣。

一般工作3到5年，在業務開發上基本沒有任何問題了，積累了大量的專案經驗，技術也知道很多了，並且基本已經是團隊的內部的主程或者得力助手，或者是公司的核心人員。去年年終的時候，發現很多小夥伴還是一味彙報專案相關的經驗，在交談的過程中，發現他們也是很困惑，感覺自己進步很慢，好像一直卡在哪裡，又說不出來，沒有大幅度的提升，遇到瓶頸。

分享一下來自網際網路的這個圖：

所以小夥伴遇到一個瓶頸，也就是認知需要提高，那麼做架構也要不斷提升架構認知高度，正如達克效應描述一樣(如上圖)，要敢於從愚昧之巔跳到絕望之谷，透過爬升開悟之坡，從而達到架構認知的巔峰時刻。

架構認知的三個層次：行業視野、技術視野、工作視野。架構師能力的上線是什麼?是對業務本質的理解，因此，行業視野(包含公司)這是第一步。但與技術還有較大落地上的差據，技術要把業務需求轉化成系統、這要具備技術視野。最後，具體到你、如何落地?這是一個執行的問題。

做架構不能只顧技術，看到別的公司有什麼技術，我們就上什麼技術。架構是根據我們收集公司業務現狀資訊，比如業務複雜度，大資料架構要有資料量大小及規模，時間問題，當前團隊的人員問題等等。面對業務場景給出優雅的解決方案，使得業務能夠快速迭代和持續交付，從而達到降本增效的目標。綜合評估，折中做出適合公司的當前的架構，不能滿足於現狀，也不能過度的超前設計。

公司大資料架構演進

一般根據公司的發展規模等，大資料架構也會不同，如下圖：

公司發展初創期，人員少，資料量也少，大資料一般就會沒有，業務人員自己在事務性資料庫裡面統計指標，或者用簡單的shell指令碼搞定。公司發展到中期，屬於高速發展期，這個時候，需要建立自己的大資料倉儲，資料集市，視覺化分析平臺等，同時會建立大資料平臺等。等到公司發展穩定期，具有全域的大資料倉儲，大資料分為PAAS層，DAAS層，DA層等大資料中臺架構，這個時候業務方也特別多，市場運營，老闆等各個部門人員非常多，就需要考慮各個部門是不是就建立自己單獨的資料集市，自己用自己的，大資料小夥伴配合業務一塊建立，但是規範按照大資料平臺設定的規範。

大資料架構實戰