本文作者：[**木東居士**]

轉自個人主頁：[http://www.mdjs.info](https://link.jianshu.com/?t=http%3A%2F%2Fwww.mdjs.info)

本系列文章將整理到我在GitHub上的《Java面試指南》倉庫，更多精彩內容請到我的倉庫裡檢視
> https://github.com/h2pl/Java-Tutorial

喜歡的話麻煩點下Star哈

本系列文章將整理於我的個人部落格：
> www.how2playlife.com

該系列博文會介紹常見的後端技術，這對後端工程師來說是一種綜合能力，我們會逐步瞭解搜尋技術，雲端計算相關技術、大資料研發等常見的技術喜提，以便讓你更完整地瞭解後端技術棧的全貌，為後續參與分散式應用的開發和學習做好準備。

如果對本系列文章有什麼建議，或者是有什麼疑問的話，也可以關注公眾號【Java技術江湖】聯絡我，歡迎你參與本系列博文的創作和修訂。

## 0x00 前言

> 你瞭解你的資料嗎？

前幾天突然來了點靈感，想梳理一下自己對資料的理解，因此便有了這篇部落格或者說這系列部落格來聊聊資料。

資料從業者有很多，比如說資料開發工程師、資料倉儲工程師、資料分析師、資料探勘工程師、資料產品經理等等，不同崗位的童鞋對資料的理解有很大的不一樣，而且側重點也不同。那麼，是否有一些資料相關的基礎知識是所有資料從業者都值得了解的？不同的崗位對資料的理解又有多大的不同？資料開發工程師是否有必要去了解資料分析師是如何看待資料的？

本系列部落格會嘗試去學習、挖掘和總結這些內容，在資料的海洋中一起裝x一起飛。

## 0x01 資料？資料！

開篇先上幾個問題：

1.  你知道自己的系統資料接入量是多少嗎？
2.  你知道資料的分佈情況嗎？
3.  你知道自己常用的資料有什麼隱藏的坑嗎？

如果你對前面說的問題有不太瞭解的，那麼我們就可以在以後的內容中一起愉快地交流和探討。如果前面說的問題你的回答都是 “Yes”，那麼我還是會嘗試用新的問題來留住你。比如說：

1.  既然你知道系統的資料接入量，那你知道每天的資料量波動嗎？波動量在多大範圍內是正常情況？
2.  你知道的資料分佈情況是什麼樣子的？除了性別、年齡和城市的分佈，還有什麼分佈？
3.  在偌大的資料倉儲中，哪些資料被使用最多，哪些資料又無人問津，這些你瞭解嗎？
4.  在最常用的那批資料中，有哪些核心的維度？有相同維度的兩個表之間的資料口徑是否也一樣？

假設你對上面的問題有稍許困惑或者感興趣，我們正式開始對資料的認知之旅。

## 0x02 概覽

現在，我們粗略地將資料從業者分為資料叢集運維、資料開發工程師、資料倉儲工程師、資料分析師、資料探勘工程師和資料產品經理，這一小節先起一個引子來大致說明不同崗位對資料的瞭解是不同的，後文會詳細地說明細節內容。

首先要說明的是，在工作中資料相關的職位都是有很多重合的，很難一刀切區分不同崗位的職責，比如說資料開發工程師本身就是一個很大的概念，他可以做資料接入、資料清洗、資料倉儲開發、資料探勘演算法開發等等，再比如說資料分析師，很多資料分析師既要做資料分析，又要做一些提數的需求，有時候還要自己做各種處理。

公司的資料團隊越大，相應的崗位職責就會越細分，反之亦然。在這裡我們姑且用資料開發工程師和資料倉儲工程師做對比來說明不同職責的同學對資料理解的側重點有什麼不同。我們假設**資料開發工程師側重於資料的接入、儲存和基本的資料處理**，**資料倉儲工程師側重於資料模型的設計和開發（比如維度建模）**。

1.  資料開發工程師對資料最基本的瞭解是需要知道資料的接入狀態，比如說每天總共接入多少資料，整體資料量是多大，接入的業務有多少，每個業務的接入量多大，多大波動範圍是正常？然後還要對資料的儲存週期有一個把握，比如說有多少表的儲存週期是30天，有多少是90天？叢集每日新增的儲存量是多大，多久後叢集儲存會撐爆？

2.  資料倉儲工程師對上面的內容也要有一定的感知力，但是會有所區別，比如說，資料倉儲工程師會更關注自己倉庫建模中用到業務的資料狀態。然後還需要知道終點業務的資料分佈，比如說使用者表中的年齡分佈、性別分佈、地域分佈等。除此之外還應關注資料口徑問題，比如說有很多份使用者資料表，每張表的性別取值是否都是：男、女、未知，還是說會有用數值型別：1男、2女、0未知。

3.  然後資料開發工程師對資料異常的側重點可能會在今天的資料是否延遲落地，總量是否波動很大，資料可用率是否正常。

4.  資料倉儲工程師對資料異常的側重點則可能是，今天落地的資料中性別為 0 的資料量是否激增（這可能會造成資料傾斜），某一個關鍵維度取值是否都為空。

_上面的例子可能都會在一個資料質量監控系統中一起解決，但是我們在這裡不討論系統的設計，而是先有整體的意識和思路。_

## 0x03 關於內容

那麼，後續部落格的內容會是什麼樣子的呢？目前來看，我認為會有兩個角度：

1.  **拋開崗位的區分度，從基本到高階來闡釋對資料的瞭解**。比如說資料分佈，最基本的程度只需要知道每天的接入量；深一點地話需要了解到其中重點維度的分佈，比如說男女各多少；再深一點可能要需要知道重點維度的資料值分佈，比如說年齡分佈，怎樣來合理劃分年齡段，不同年齡段的比例。
2.  **每個崗位會關注的一些側重點**。這點筆者認為不太好區分，因為很多崗位重合度比較高，但是筆者會嘗試去總結，同時希望大家一起來探討這個問題。

## 0xFF 總結

本篇主要是丟擲一些問題，後續會逐步展開地細說資料從業者對資料理解。其實最開始我想用“資料敏感度”、“資料感知力”這類標題，但是感覺這種概念比較難定義，因此用了比較口語化的標題。

筆者認為，在資料從業者的職業生涯中，不應只有程式設計、演算法和系統，還應有一套資料相關的方法論，這套方法論會來解決某一領域的問題，即使你們的系統從Hadoop換到了Spark，資料模型從基本的策略匹配換到了深度學習，這些方法論也依舊會伴你整個職業生涯。因此這系列部落格會嘗試去學習、挖掘和總結一套這樣的方法論，與君共勉。

* * *

後端技術雜談12：捋一捋大資料研發的基本概念

相關文章