大資料分析學習必須用到的工具,一定要收藏

大資料學習發表於2019-07-01

簡單來說,我們可以把大資料分析工具簡單分成兩個維度:

第一維度:資料儲存層——資料包表層——資料分析層——資料展現層

第二維度:使用者級——部門級——企業級——BI級

1、資料儲存層

資料儲存涉及到資料庫的概念和資料庫語言,這方面不一定要深鑽研,但至少要理解資料的儲存方式、資料的基本結構和資料型別。SQL查詢語言必不可少,精通最好。可從常用的select查詢,update修改,delete刪除,insert插入的基本結構和讀取入手。

Access2003. Access07 等 ,這是最基本的個人資料庫,經常用於個人或部分基本的資料儲存;MySQL資料庫,這個對於部門]級或者網際網路的資料庫應用是必要的,這個時候關鍵掌握資料庫的庫結構和SQL語言的資料查詢能力;

SQL Server 2005 或更高版本,對中小企業, - -些大型企業也可以採用SQL Server資料庫,其實這個時候本身除了資料儲存,也包括了資料包表和資料分析了,甚至資料探勘工具都在其中了;

DB2,Oracle 資料庫都是大型資料庫了,主要是企業級,特別是大型企業或者對資料海量儲存需求的就是必須的了, 一般大型資料庫公司都提供非常好的資料整合應用平臺;

BI 級別,實際上這個不是資料庫,而是建立在前面資料庫基礎上的,企業級應用的資料倉儲。DataWarehouse,建立在DW級上的資料儲存基本上都是商業智慧平臺,整合了各種資料分析,報表、分析和展現! BI級別的資料倉儲結合BI產品也是近幾年的大趨勢。

.在入門學大資料的過程當中有遇見學習,行業,缺乏系統學習路線,系統學習規劃,歡迎你加入我的大資料學習交流裙:251956502 ,裙檔案有我這幾年整理的大資料學習手冊,開發工具,PDF文件書籍,你可以自行下載。

2、報表層

企業儲存了資料需要讀取,需要展現,報表工具是最普遍應用的工具,尤其是在國內。傳統報表解決的是展現問題,目前國內的帆軟報表FineReport已經算在業內做到頂尖,是帶著資料分析思想的報表,因其優異的介面開放功能、填報、表單功能,能夠做到打通資料的進出,涵蓋了早期商業智慧的功能。

大資料分析學習必須用到的工具,一定要收藏

Tableau,同FineBI一樣,可分在報表層也可分為資料展現層。FineBI和Tableau同屬於近年來非常棒的軟體,可作為視覺化資料分析軟體,我常用FineBI從資料庫中進行報表和視覺化分析。相對而言,視覺化Tableau更優,但FineBI又有另一種身份——商業智慧,所以在大資料處理方面的能力更勝一籌。

大資料分析學習必須用到的工具,一定要收藏

大資料分析學習必須用到的工具,一定要收藏

3、資料分析層

這個層其實有很多分析工具,當然我們最常用的就是Excel ,我經常用的就是統計分析和資料探勘工具;

Excel 軟體,首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能,Excel功能非常強大,甚至可以完成所有的統計分析工作!但是我也常說,有能力把Excel玩成統計工具不如專門學會統計軟體;

SPSS 軟體:當前版本是18,名字也改成了PASW Statistics ;我從3.0開始Dos環境下程式設計分析,到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化,從重視醫學、化學等開始越來越重視商業分析,現在已經成為了預測分析軟體;

SAS 軟體: SAS相對SPSS其實功能更強大,SAS是平臺化的,EM挖掘模組平臺整合,相對來講,SAS比較難學些,但如果掌握了SAS會更有價值,比如離散選擇模型,抽樣問題,正交實驗設計等還是SAS比較好用,另外, SAS的學習材料比較多,也公開,會有收穫的!

JMP 分析: SAS的一個分析分支

XLstat  : Excel的外掛,可以完成大部分SPSS統計分析功能

4、表現層

表現層也叫資料視覺化,以上每種工具都幾乎提供了一點展現功能。FineBI和Tableau的視覺化功能上文有提過。其實,近年來Excel的視覺化越來越棒,配上一些外掛,使用感更佳。

PPT :辦公常用,用來寫資料分析報告;

Xmind&百度腦圖 :梳理流程,幫助思考分析,展現資料分析的層次;

Xcelsius 軟體:Dashboard製作和資料視覺化報表工具,可以直接讀取資料庫,在Excel裡建模,網際網路展現,最大特色還是可以在PPT中實現動態報表。

最後,需要說明的是,這樣的分類並不是區分軟體,只是想說明軟體的應用。有時候我們把資料庫就用來進行報表分析,有時候報表就是分析,有時候分析就是展現;當然有時候展現就是分析,分析也是報表,報表就是資料儲存了!


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69917001/viewspace-2649181/,如需轉載,請註明出處,否則將追究法律責任。

相關文章