如果不會這兩招,千萬不要說你懂大資料

hxc979891發表於2020-10-13

       大資料是現在非常熱的一個詞,聽起來是非常高階的東西,但實際上很多人都沒接觸過,那麼什麼叫大資料呢?就是很大的資料,哈哈,開個玩笑。其實大資料的概念非常深奧,我們這裡就不談那麼寬泛的東西了,只談一下和工作有關的大資料吧。例如我們平時工作都會接觸到一些資料量很大的表格,可能是幾百萬甚至是幾千萬條的資料,如果不用一些特定的工具是很難完成分析的,對於不會這些工具的小白來說,無疑是一個非常頭疼的事情。

    此時我手上有一份汽車行業的資料來源,一共有9800萬條資料,接近一億條資料,如果用EXCEL去處理的話,根本是不可能完成的事情,不要說分析了,就連開啟檔案也沒辦法做到。我們之前的文章說過,EXCEL只能處理輕量級的資料,如果資料量超過百萬行就會非常吃力,這是EXCEL的通病,也和EXCEL的人群定位有關,只適合小型企業或者個人去使用,中型以上的公司就會用其他的工具去分析大資料,例如會用到PYTHON、R語言、MYSQL等大資料處理工具 。

但是這些工具不好的地方就是要寫程式碼,你要知道,大部分人都並非是學計算機出身的,如果要理解這些程式碼都絕非是一件非常容易的事,更不用叫你寫程式碼了,所以對於一般人來說,最實用的方法是直接用現成的資料處理軟體,例如BI軟體。BI軟體的優點就是可以直接與資料庫進行相連,又可以提供強大的資料視覺化元件,所以很多企業都是直接購買這些軟體,既可以提高效率,又可以節省人力成本。市場上有很多非常強大的BI軟體,例如Tableau、powerBI、Smart BI等,這裡以Smart BI的智分析為參考,直接上乾貨,教你如何高效率地去處理大資料,下面介紹的是兩個非常好用的方法。

1、 即席查詢

所謂即席查詢,基本的含義就是可以查詢明細資料及明細資料匯出,透過簡單的滑鼠勾選資料欄位與拖拽條件欄位快速獲得所需資料,並提供聚合計算、告警規則、重定義表關係、改變條件組合邏輯等高階功能。這段話有點複雜,那我們透過案例去解釋一下。

比如我們把上那份汽車的資料來源連線好了,我們就可以對資料來源進行欄位的拉取,你可以自由篩選你需要分析的欄位,而不需要把所有的欄位都選上。篩選好了資料欄位之後,你就可以把這個當成是一個資料集,儲存在雲端裡。這個有點類似於你在MYSQL裡寫select的查詢語句,但這裡不一樣的是你不用透過手寫語句去查詢,而是透過滑鼠去拉拽就行了,非常地簡單和高效率。

把相應的欄位拉拽完成後,點選儲存,便可以進入下面的透視分析了。

2、 透視分析

透視分析是什麼呢?用過EXCEL的人都知道,透檢視是EXCEL裡非常好用的一個功能,可以把整份資料來源進行透視和分析。那麼透視分析也是類似Excel透視表的方式,可以任意拖拽欄位到行區、列區、度量區、待選列、過濾條件區域等,並且支援多維度,多角度鑽取、切片、條件篩選、排序、告警、圖表聯動、複雜邏輯計算等操作。

下面我們以汽車資料來源為案例進行說明,這裡再強調一下,這份資料是接近一億行的資料量。我們接下來點選即席查詢裡的透視,就可以對資料來源進行透視分析了。

開啟透視分析之後,會出現一個新的介面,這個介面和EXCEL裡的透視表差不多,可以在右邊進行資料欄位的選取,只要把分析欄位拉拽到行區、列區、度量區,點選重新整理,便可以得到你想要的分析結果。例如我這裡選取了車系、行業和銷售量,不到幾秒鐘的時間,便把幾千萬行資料量的表格完成了透視,是在是太驚人了。

如果你想增加其他的欄位,這裡也提供了非常智慧和人性化的功能,例如你想增加同期值、環比增長等資料,透視分析也可以快速實現,不需要寫任何程式碼和公式,是不是非常方便呢?

透過以上介紹的即席查詢和透視分析兩個非常強大的方法,你便可以快速對大資料進行分析和處理,在時間成本變得愈來愈重要的今天,這兩個方法無疑是非常好的選擇,非常適合在實際的業務場景中去使用。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69980489/viewspace-2726510/,如需轉載,請註明出處,否則將追究法律責任。

相關文章