大資料很難?職場老鳥告訴你,會用EXCEL就行

hxc979891發表於2020-09-17

       不知道你平時有沒有留意過,最近這幾年,無論是朋友圈還是各大網站上,到處都是鋪天蓋地的 PYTHON 、資料分析的廣告,揚言只需要學一個星期,就可以讓你月薪過萬。作為一個在資料分析領域裡超過 5 年的老鳥告訴你,這種廣告是非常不切實際的,如果你是一個從未接觸過資料分析的人,要在短期內掌握這些知識的難度比你想象中的難多了,雖然現在資料分析是一個非常熱門的行業,工資也非常高,但是很多崗位也只是處於有價無市的狀態,畢竟專業的資料分析師不僅要會使用大資料處理工具,也需要有具體很強的業務能力。

 

我最近有一個剛畢業的朋友去面試一家五百強公司的資料崗,人家現場問他怎麼快速處理百萬行級甚至是千萬行級別的資料,他聽完一下子就懵了,對於只會用簡單EXCEL的他,根本沒見過這麼大的資料量,更不知道從何處下手了。做過資料行業的人都知道,處理這麼大的資料量一定是要用到資料庫的,用EXCEL根本是處理不了的,資料庫的知識說簡單也不簡單,除了一大堆的語句要學之外,還得懂得資料庫的儲存。所以,要快速掌握資料庫的知識也不是一件簡單的事情。

現在稍微大一點的企業,每天的資料量都大的驚人,可能每天產生的資料量都超過百萬行,就拿我所在的汽車行業來說吧,資料量都是按百萬行以上的,如果用EXCEL去處理,絕對是會出現卡死的,因為EXCEL的處理能力非常有限,不要說百萬行,十萬行的資料也夠嗆。所以EXECL只能處理輕量級別的資料,如果真要處理百萬行以上的資料,只能望洋興嘆了。不過現在始終是資訊時代,總會有可以解決的技術,為此你必須掌握一門處理大資料的技術。

以我使用的智分析為例,在處理百萬行級的EXCEL資料時,非常的簡單和迅速,為什麼會這麼快呢?原因是我用了雲端去處理。現在網際網路都在提倡使用雲儲存和雲處理,相信在不久的將來會逐漸替代一部分的本地的儲存。簡單來說,就是雲端有一個資料庫,你把本地的資料上傳到了這個雲端資料庫後,只要有網路,你就可以隨時在任何時間、任何地點去呼叫你的資料了。我記錄了一下資料匯入的時間,一分鐘之內便完成了這份百萬行資料的匯入工作,整個過程只需要用到EXCEL就行,不需要用到其他的工具。如果用EXCEL開啟,沒個三、四分鐘是打不開這麼大的EXCEL資料的。我發現這樣處理資料真的好快啊,都不用專門再去學習一門資料庫的知識了。

 

解決資料量大的效能的問題後,就可以開始對資料進行分析了。我們大家都知道,透檢視是EXCEL非常強大的一個功能,非常好用,但就是有時候資料量大的時候也很慢,資料量太大的話沒辦法完全進行透視,總之就是非常的不方便。而在雲端上對100萬行的資料進行透視時,速度完全不在一個級別上的,大概幾秒鐘就能夠拉好一個透視表。

比如這裡我想看以下每個車系、每個行業的銷售數量情況,只要透過拉拽資料,便可以輕鬆得到你想要的資料,再把這些資料結果匯出到EXCEL裡便可以進行圖表的製作了,完全不耗費你電腦的記憶體,又不必使用select語句去進行查詢,一下子就解放了你的雙手,讓你可以有更多時間去關注資料和關注業務,資料分析無非就是用來指導業務的,如果花大量的時間在處理、篩選表格上,那將會是一件非常浪費的事情。

   資料來源處理了之後,剩下的工作就是做一份美觀的表格了,關於EXCEL美化的教程,大家可以參考我以前發過的關於資料視覺化的文章,這裡就不再進行贅述。但是用EXCEL做資料視覺化的能力還是有點欠缺,所以稍微厲害的人都開始用BI工具做資料視覺化了,現在市場上也出現了很多資料視覺化的工具,例如tableau、power bi等等,但是這些工具比較昂貴,入門也非常難,不太適合新手使用,另外就是用EXCEL做視覺化的最大的麻煩就是做各種調整,像字型、線條大小、顏色這些都要重新進行調整,要花費很多的時間。如果在智分析上去做資料視覺化就不一樣了,不需要調整這些複雜的東西,只需要拉拽資料到儀表盤就行了,資料還是動態的效果,非常絢麗。

資料視覺化是一門非常高深的學問,涉及到工具使用、審美、和業務等諸多方面的能力,不僅要懂得使用合適圖表去展示資料,更要挖掘出資料裡隱含的意義。如果你能做出一份非常高逼格的報表,相信老闆都會對你豎起大拇指,對你另眼相看。但是不會也沒關係,你也可以參考一下其他人的作品,從中汲取一些思路,我個人覺得借鑑別人的做法也不失為一個好的方法。

說了這麼多,資料分析要學的知識還是挺多的,如果僅是有技術沒有業務經驗是不行的,僅是有經驗而沒有技術也是不行的,兩者一定要相輔相成。如果你要立志成為一名專業的資料分析師,不妨去學透一門工具,再運用到工作實踐中,反正懂得處理大資料的知識是一定要具備的,因為大資料的時代已經來臨了。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69980489/viewspace-2721972/,如需轉載,請註明出處,否則將追究法律責任。

相關文章