關於大資料的那些事兒（一）

作為開發者，在大資料時代我們到底需要會什麼？

大資料到底是什麼？
它是為了解決海量資料的儲存和計算所出現的技術，包括結構化和非結構化資料
以及，儲存資料的成本。

只會搭搭叢集，寫寫map-reduce不是我們的核心競爭力所在，即使現在靠這個能混口飯吃，但是能夠想象到，這種型別的人才是可以批量生產的！
因為這並不算是什麼核心技術，只要你不傻，藉助網上的資料，幾個月的時間你就可以成為一名“大資料工程師”。
但是你的會東西別人也會，那麼你的價值體現在哪裡？

大資料的核心價值在於資料探勘和機器學習等領域，這是能夠改變人類生活的技術
無非就是幹四件事情
聚類、分類、預測、迴歸
（1）將海量資料標準化
（2）選擇演算法模型進行訓練分析，此過程中要注意過度擬合、擬合不足和維度危機等。
（3）構建使用者畫像，根據維度給使用者貼標籤等
（4）進行精準營銷，準確預測和推薦

大資料工程師價值所在於能夠平衡，平衡什麼呢？
速度和精度
在速度和精度之間做出的衡量，這才是懂大資料人才的value所在

那麼問題來了：
速度和精度無非兩個方面
要麼演算法，要麼底層構架

通過優化演算法（優化模型，訓練最優解，儘可能地減少迭代次數）
和優化系統的底層構架（I/O開銷、網路開銷、序列化和壓縮等）

任何一個方面都是值得專研整個職業生涯的，渾渾噩噩地寫程式碼，不知道知道為誰而寫，寫了是幹嘛用的，不知道自己寫的程式碼背後發生了什麼，為什麼要這樣寫，這並不是正真的程式設計師，在我的眼中程式設計師是能夠創造世界的一群人。

僅作為和前輩交流的一點心得體會所記下。

另外收穫了一些關於創業的感悟

• 1、你的idea是不是一種剛需？就想每天人們都需要吃飯一樣，必不可少。
• 2、你的技術能否落地？落地不了的東西，那也只能是想想而已。
• 3、你的idea是不是有有社會價值？說的聖明一點，以賺錢為目的的創業成功的可能性不大，但是能有社會價值，促進生活的idea並不是那麼多。
• 4、微創新，創業並不是要在某個領域顛覆傳統，推倒所有競爭對手，你要做的有可能僅僅是在對手的基礎上改進那麼一點點，想想QQ和微信也許你就明白了。
• 5、好玩，這是網際網路時代不可缺少的一個特性，你的作品不好玩，那就代表著沒有使用者粘性，結果如何可想而知。

作者：@小黑