2016年即將過去，各位大資料的程式設計師們，是否覺得這一年都不斷的追著新技術跑？這個大資料公眾號是今年一月底創立的，一年過去，我們積累了不少好內容。回過頭來我們看看這一年的腳印，這裡我按照文章內容做了一次彙總，分為：流處理、機器學習、使用者畫像、資料驅動、Hadoop、Apache Spark、Apache Kylin、Druid、推薦系統和大資料平臺架構。

流處理

2016年流式資料處理已逐漸開始成為主流，對於流資料的處理存在很多技術，即使在開源社群中，也存在很多撲朔迷離的選擇。在大資料雜談裡我們包含了一些優秀的流處理文章，包括Kafka流，Spark流，Storm，Flink，Samza等。

Apache Flink是今年新軍突起的流處理技術，完全相容Hadoop。Apache Flink與Apache Spark的主要差別在於計算模型不同。Spark採用了微批處理模型，而Flink採用了基於運算子的連續流模型。

大資料分析引擎Apache Flink: What, How, Why, Who, Where?

以Flink為例，消除流處理常見的六大謬見

LinkedIn在2010年開發了Kafka，是Kafka的重度使用者，他們總結的經驗是非常有參考意義的。而“微服務架構：kafka的崛起”這篇文章詳盡的探討了在微服務架構升級的過程中，如何使用Kafka將微服務之間耦合降到最低，同時能讓整個系統在保證高可用的前提下做到高可擴充套件。

同時Samza也是LinkedIn研發的一款流處理器，下面的文章介紹了Samza在LinkedIn公司的應用情況，Samza在流處理方面的優勢、新特性以及下一步的規劃。

剖析Linkedln遭遇的Kafka“危機故障”

微服務架構界的“網紅”來了——崛起的Kafka

LinkedIn開源流處理器Samza的應用場景、優勢、新特性與未來規劃

下面這篇文章，集中比較了主流的流處理器的優缺點。

實時流處理框架Storm、Spark Streaming、Samza、Flink，孰優孰劣？！

下面是一些企業自研流處理架構的情況。JMQ是京東自研的訊息中介軟體，InfoQ前後發過兩篇文章來解析他們的中介軟體情況；另外我們也給出了一系列文章來說明Yelp的資料管道，並且Yelp的資料管道剛剛宣佈了開源，大家可在Github上下載閱讀原始碼。

京東訊息中介軟體JMQ：架構，與Kafka的對比，主要特性和應用場景

Facebook的實時流處理技術

Yelp的資料管道開源了：ETL已死，實時流技術永生？

Kafka和Twitter新開源的DistributedLog技術對比

機器學習

機器學習經過近年來的強勢生長之後，很快地從一個很少被人關注的技術主題，轉變為被很多人使用的管理工具。其有效性被無數企業成功驗證和應用，為了避免錯失良機，企業需要設計自己的機器學習專案，比如在電商平臺的推薦、排序業務中。在業務的多樣性大的時候企業就需要考慮將機器學習系統平臺化。對於學術界來說，學者們更希望機器學習平臺容易除錯、靈活性要強、迭代要快；而對於工業界更看重的是平臺的穩定性強、處理大資料量、容易進行資料整合、高效率、低開發成本等。

我們在大資料雜談上實際上已經積累了不少企業機器學習平臺構建的內容，包括：騰訊的Angel，優點是效率快於Spark幾十倍，支援維度達到十億；另外是阿里巴巴的引數伺服器，講述了涉及理念以及在阿里的實際應用；還有第四正規化的先知平臺，從系統和工程方面的最佳化方向，在開發平臺產品時的一些經驗；還有就是TalkingData的Fregata，優點第一是速度快，第二是演算法無需調參或者調參相對簡單。

騰訊大資料宣佈開源第三代高效能運算平臺Angel：支援十億維度

大規模大資料的有效利用，阿里巴巴引數伺服器設計理念與實踐

為什麼已有TensorFlow和Spark，第四正規化還要開發“先知”平臺？

]輕量級大規模機器學習演算法庫Fregata開源：快速，無需調參

下面兩篇文章講的是怎麼將深度學習平臺應用到企業生產環境中，這也是大名鼎鼎的兩個平臺：Tensorflow和Deeplearning4j。

如何透過TensorFlow實現深度學習演算法並運用到企業實踐中

深度學習在Spark平臺上如何進入生產環境

下面是各公司針對企業的業務利用機器學習來提高產品體驗的一些經驗。依次是Twitter，1號店，攜程，搜狗，達觀資料。最後是一篇總結深度學習全球進展和預測2017的文章。

Twitter機器學習平臺的設計與搭建

1號店11.11：機器排序學習在電商搜尋中的實戰

想要愉快入住酒店？缺了它還真不行！

深度學習在搜狗無線搜尋廣告中的應用

海量資料探勘最優解？機器學習！

深度學習：2016年的進展綜述及2017年的預測

使用者畫像

“對企業而言，得使用者者得天下，能夠有一套科學的精準營銷、個性化推薦模型，無疑會促進業務的增長；對開發者而言，使用者畫像也是頻繁被提及的技術，這樣可以根據目標使用者的動機和行為上進行產品設計，遠遠優於為腦中虛構的東西做設計。”

這裡有來自去哪兒、TalkingData、FreeWheel、百分點、天雲大資料的5篇優質內容教你如何設計精準的使用者畫像產品。

Qunar使用者畫像構建策略及應用實踐

40億移動裝置的使用者畫像和標籤架構實踐

廣告平臺中使用者畫像和標註噪聲處理的實踐

百分點蘇海波博士：為什麼你做的使用者畫像模型不精準？

使用者畫像不應脫離社會關係，談複雜網路的關鍵技術和應用實踐

資料驅動

講大資料離不開資料驅動。資料驅動相關案例分別來自鏈家網、諸葛io、LinkedIn和滴滴。

資料驅動在鏈家網搜尋最佳化與推薦策略中的實踐

基於Spark的使用者行為路徑分析的產品化實踐

4億使用者的LinkedIn資料產品設計原則和架構實現

資料驅動管理竟成滴滴獲10億美元投資的最大黑手？

Hadoop

今年1月，Hadoop過上了10歲生日，我也在年初策劃了Hadoop十年的專欄，共約了十篇稿件，Cloudera的陳飈老師的文章在這一年中流傳甚廣，非常值得一看。另外InfoQ將這十篇文章集中到一起，做成了《架構師特刊：Hadoop十年回顧》的電子書分享給了大家，有興趣可以下載下來讀一讀，將對Hadoop生態形成非常好的理解。在這裡再次對十位作者老師表示謝意，謝謝大家的無私分享！

深度 | 資深架構師教你一篇文看懂Hadoop

《架構師特刊：Hadoop十年回顧》迷你書免費下載

Apache Spark

在2016年，Spark迎來了最近兩年的一個最大的版本的釋出：Spark 2.0。但是在Spark上我做的工作並不夠，原本很想做個很好的專題，但是屢屢碰壁之後只能罷了，畢竟對於Spark開發者來說，這麼大熱的一年，任何實踐都足夠上沙龍和大會。

關鍵七步，用Apache Spark構建實時分析Dashboard

Spark在GrowingIO資料無埋點全量採集場景下的實踐

是時候瞭解一些Spark生態系統中的圖資料分析知識了

以Python為例，教你Spark 應用開發

Apache Kylin

eBay的大資料OLAP框架Kylin專案一經開源，即獲得了業界眾多的稱讚，並被邀請加入Apache軟體基金會的孵化專案，在2014年11月，正式經投票加入了Apache大家庭，專案名字也改成了“Apache Kylin”。

InfoQ在Kylin開源的一開始就持續關注這個專案，分享了很多的案例，促進了Kylin社群的進一步發展。這些內容我們也集中到了電子書中：《架構師特刊：Apache Kylin實踐》。

Apache Kylin釋出新版流處理引擎