“大資料”與“小資料”——寫在新書釋出時

曹化宇發表於2015-05-08

“大資料”很火了,先從自己的理解談起吧。大資料就是資料量非常大,對吧?不然,也沒辦法證明它不是呀,就像沒法證明他媽是他媽一樣了。^^

以前,對於開發人員或資料處理人員,處理資料最重要的是方法(如統計學、演算法等)和技術(如資料庫、表格等),隨著資料量的爆炸式增長,對於海量資料的應用就是一項值得深入研究的問題了,從資料中可以看到過去,同時也可以預測未來,準不準那就是概率問題了。

好了,這實際上就是“大資料”,無處不在的資料、無處不在的量化資訊,的確可以給我們的生活帶來不少“驚喜”;比如,購物網站怎麼會推薦你喜歡的書籍,他們是怎麼知道的呢?當然是你瀏覽和和購買記錄暴露了資訊!你是不是為購物網站的推薦買過單呢?如果是,OK!這就是大資料成功應用的典範了。不過,作為技術人員,我們想想看,這在實現上也沒有什麼了不起的技術吧!

作為軟體開發人員,我們從上面的例子中可以看到,個人想玩“大資料”是不太容易的,不過,玩玩“小資料”還是可以的,怎麼玩呢?那就是在資料應用開發中,但是,“小資料”就是那麼容易嗎?我們開發一個基於資料管理的應用軟體,或者在網站中需要資料管理功能,我們如何才能更有效、更靈活的進行開發工作呢?在我的新書《資料應用開發詳解(C#版)》中討論的就是這一主題。

資料應用的開發,決不單單是開發技術的拼湊,而是相關開發技術與開發方法的有機結合,從開發者的角度,這就需要有較強的綜合開發和應用能力,這也是新時代對於複合型人才的基本要求吧!

《資料應用開發詳解(C#版)》一書中,我們從使用者需求分析、軟體設計與開發、應對需求變化等方面討論了資料應用開發的全過程,瞭解了資料處理的一般性過程(即資料獲取、統計分析、開發應用)。從開發技術上講,我們更是討論了C#、ADO.NET、Windows窗體專案、ASP.NET專案、SQL Server資料庫、MySQL資料庫、資料圖形繪製等技術的綜合應用。在這一系列的開發技術和方法的討論過程中,我們瞭解了資料應用開發工作中的多種可能性,並封裝了大量的實用程式碼庫。最終,我們目的只有一個,讓讀者能夠高效、靈活地應用這些開發技術和方法,並能真正理解其本質,以便在真正的開發工作中像使用“獨孤九劍”一樣,在掌握各種基本招式(技術與方法)的基礎之上,能夠靈活應對各種多變的敵人(使用者需求)。

作為技術人員,能夠熟練地開發各種資料應用,也就是能夠玩好“小資料”的基礎上,我們才能更有效地參與到“大資料”的洪流之中,掌握了正確的資料處理技術和分析方法,我們才能從大量的資料中獲取真正有價值的資訊,而這就是“小資料”向“大資料”的質變。

相關文章