如果不會這兩招,千萬不要說你懂大資料
大資料是現在非常熱的一個詞,聽起來是非常高階的東西,但實際上很多人都沒接觸過,那麼什麼叫大資料呢?就是很大的資料,哈哈,開個玩笑。其實大資料的概念非常深奧,我們這裡就不談那麼寬泛的東西了,只談一下和工作有關的大資料吧。例如我們平時工作都會接觸到一些資料量很大的表格,可能是幾百萬甚至是幾千萬條的資料,如果不用一些特定的工具是很難完成分析的,對於不會這些工具的小白來說,無疑是一個非常頭疼的事情。
此時我手上有一份汽車行業的資料來源,一共有9800萬條資料,接近一億條資料,如果用EXCEL去處理的話,根本是不可能完成的事情,不要說分析了,就連開啟檔案也沒辦法做到。我們之前的文章說過,EXCEL只能處理輕量級的資料,如果資料量超過百萬行就會非常吃力,這是EXCEL的通病,也和EXCEL的人群定位有關,只適合小型企業或者個人去使用,中型以上的公司就會用其他的工具去分析大資料,例如會用到PYTHON、R語言、MYSQL等大資料處理工具 。
但是這些工具不好的地方就是要寫程式碼,你要知道,大部分人都並非是學計算機出身的,如果要理解這些程式碼都絕非是一件非常容易的事,更不用叫你寫程式碼了,所以對於一般人來說,最實用的方法是直接用現成的資料處理軟體,例如BI軟體。BI軟體的優點就是可以直接與資料庫進行相連,又可以提供強大的資料視覺化元件,所以很多企業都是直接購買這些軟體,既可以提高效率,又可以節省人力成本。市場上有很多非常強大的BI軟體,例如Tableau、powerBI、Smart BI等,這裡以Smart BI的智分析為參考,直接上乾貨,教你如何高效率地去處理大資料,下面介紹的是兩個非常好用的方法。
1、 即席查詢
所謂即席查詢,基本的含義就是可以查詢明細資料及明細資料匯出,透過簡單的滑鼠勾選資料欄位與拖拽條件欄位快速獲得所需資料,並提供聚合計算、告警規則、重定義表關係、改變條件組合邏輯等高階功能。這段話有點複雜,那我們透過案例去解釋一下。
比如我們把上那份汽車的資料來源連線好了,我們就可以對資料來源進行欄位的拉取,你可以自由篩選你需要分析的欄位,而不需要把所有的欄位都選上。篩選好了資料欄位之後,你就可以把這個當成是一個資料集,儲存在雲端裡。這個有點類似於你在MYSQL裡寫select的查詢語句,但這裡不一樣的是你不用透過手寫語句去查詢,而是透過滑鼠去拉拽就行了,非常地簡單和高效率。
把相應的欄位拉拽完成後,點選儲存,便可以進入下面的透視分析了。
2、 透視分析
透視分析是什麼呢?用過EXCEL的人都知道,透檢視是EXCEL裡非常好用的一個功能,可以把整份資料來源進行透視和分析。那麼透視分析也是類似Excel透視表的方式,可以任意拖拽欄位到行區、列區、度量區、待選列、過濾條件區域等,並且支援多維度,多角度鑽取、切片、條件篩選、排序、告警、圖表聯動、複雜邏輯計算等操作。
下面我們以汽車資料來源為案例進行說明,這裡再強調一下,這份資料是接近一億行的資料量。我們接下來點選即席查詢裡的透視,就可以對資料來源進行透視分析了。
開啟透視分析之後,會出現一個新的介面,這個介面和EXCEL裡的透視表差不多,可以在右邊進行資料欄位的選取,只要把分析欄位拉拽到行區、列區、度量區,點選重新整理,便可以得到你想要的分析結果。例如我這裡選取了車系、行業和銷售量,不到幾秒鐘的時間,便把幾千萬行資料量的表格完成了透視,是在是太驚人了。
如果你想增加其他的欄位,這裡也提供了非常智慧和人性化的功能,例如你想增加同期值、環比增長等資料,透視分析也可以快速實現,不需要寫任何程式碼和公式,是不是非常方便呢?
透過以上介紹的即席查詢和透視分析兩個非常強大的方法,你便可以快速對大資料進行分析和處理,在時間成本變得愈來愈重要的今天,這兩個方法無疑是非常好的選擇,非常適合在實際的業務場景中去使用。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69980489/viewspace-2726510/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 大資料四大常識,不會你敢說自己在做大資料?大資料
- 如果你是老闆,你會不會踢了這樣的員工?
- 【實用知識】2020年招投標千萬不要這樣做!
- 不要再說你不會了——網路效能問題排查思路
- 面試官問:如果讓你寫一個配置中心,說說你的設計思路? 不要慌,看這個!面試
- Hive(總)看完這篇,別說你不會Hive!Hive
- 如何避免被大資料“殺熟”?這波操作你要懂大資料
- EXCEL竟靠這招碾壓大資料,網友:以前不會用真是瞎了眼了Excel大資料
- 還在為影像訓練資料少發愁嗎?那是因為你還不會這幾招
- 千萬不要用這個免費OA,用了會有這樣的影響……
- 陣列真的不難!!千萬不要給自己錯覺......看完你也明白!!!陣列
- @Transactional千萬不要這樣用!!踩坑了你都可能發現不了!!!
- 如果你在用flutter,千萬要記得這幾個小技巧,非常實用Flutter
- 誰說資料分析很難?看完這7大分析套路後,還學不會的來找我
- 如果這10道關於資料庫的測試題你都會,面試必過!資料庫面試
- 如果你也用Chrome,你會發現這樣一條警告!!!Chrome
- 你說你懂計算機網路,那這些你都知道嗎計算機網路
- 你說啥什麼?註解你還不會?
- 千萬不要和女程式設計師做同事!否則你會愛上她程式設計師
- 誰再說學不會 MySQL 資料庫,就把這個給他扔過去!MySql資料庫
- Java面試題:如果你這樣做,你會後悔的,兩次啟動同一個執行緒~~~Java面試題執行緒
- 一招教會你處理Flutter中的資料Flutter
- 千萬不要“教”孩子畫畫,原因竟然是這樣
- Hollis原創|不瞭解這12個語法糖,別說你會JavaJava
- 這場期待已久的盛會你要不要來
- 你還敢說不會做資料分析?做程式設計師必須掌握的資料分析思維!程式設計師
- 學會了這些技術,你離BAT大廠不遠了BAT
- 為什麼說會不會SQL,決定著你的工資?方向不對,努力也白費!SQL
- 藍芽耳機千萬不要這樣用?不然你的聽力怎麼損傷你都不知道!藍芽
- 更新Kali的Metasploit框架,這些過程千萬不要踩雷!框架
- 學會了這一招,距離Git大神不遠了!Git
- 金融資料分析系統很難懂?這3點你要了解!
- 看完動畫你還敢說不會 快速排序動畫排序
- 千萬不要過早引入Kubernetes
- 千萬不要去考驗人性
- 做大資料分析的怎麼可以不會這個?大資料
- 再有誰說還不會資料庫基礎知識點!就把這個直接甩過去資料庫
- 兩會報導大資料:近9成網路受眾用手機看兩會大資料