EXCEL的重生!處理百萬行資料竟如此簡單

hxc979891發表於2020-08-27

EXCEL處理大資料的能力一向是飽受詬病,就拿幾十萬行的資料來說吧,如果要在EXCEL裡開啟這麼大的檔案,少說都要幾分鐘,萬一中間出現了卡死,又要重新來一遍,會把人折磨的不要不要的。所以為了可以處理更大的資料量,多數人會捨棄EXCEL而轉投到資料庫的陣營裡,但是要懂得資料庫也並非是一件易事,首先各種資料庫的名字已經足夠讓人迷糊了,什麼oracle、mysql、obase這些,加上還要懂得資料儲存,還要會寫sql語句,這些頭疼的事情不禁會讓沒有資料庫基礎的人抓狂:天哪,放過我吧!我們只是會用EXCEL而已,這些技術名詞也太深奧了,能不能有些更加簡單的方法啊?

其實要解決EXCEL處理大容量資料困難的問題,不一定要藉助Access、SQL Server、MYSQL等大型資料庫,我們可以利用雲端伺服器對大容量的資料進行相應的處理,再把得出的結果提取到EXCEL裡進行分析,以某公司開發的智分析雲平臺為例,把超過百萬行的資料量導進到雲服務平臺裡,並與EXCEL進行相連,在雲端對資料進行透.視後,再把分析結果呈現到EXCEL裡進行圖表製作,整個過程也就幾十秒的時間,就輕鬆把百萬行的資料給攻破了,這是由於雲端平臺有著高速處理資料的能力,所以資訊處理都是利用大型網路伺服器進行加工和儲存的,這些強大的處理能力是EXCEL無法比擬的。下面我們透過這個思路教大家認識一下EXCEL是如何透過雲服務平臺對百萬行級的資料量進行分析處理。

 

第一步:安裝外掛

首先要下載一個智分析的外掛,安裝在EXCEL裡,過程非常簡單,安裝完成之後,EXCEL的介面裡會出現一個新的工具欄。

第二步:匯入資料

登入雲端平臺後,可以看到導航欄裡會有資料連線的選項,點選進去後會看到EXCEL和CSV檔案的匯入路徑,這裡我嘗試用一份EXCEL表格導進去看下速度有多快,於是我找了一份約130兆容量和資料量接近100萬行的某汽車公司銷售資料進行測試,選擇好存放的路徑後便開始進行導數,過程非常順利,不到一分鐘的時間便完成了導數的過程,這個速度比SQL Server匯入EXCEL資料的時間快多了。

第三步:雲端透.視

把100萬行的資料來源導進去後,便可以在雲端平臺上進行簡單的透.視分析,這個步驟非常智慧,和EXCEL表的透.視表的功能是差不多的,只要拉拽需要分析的欄位出來,便可以對資料來源進行透.視,處理時間基本是零延遲,而且還可以新建度量值,透過時間維建立同比、環比等指標。比如這裡我想看車系在行業裡的銷售額情況,我選了3個欄位,分別是line(車系)、cust_industry(行業)、amount(銷售額),把欄位拉拽到下面的篩選區裡,便快速得出下圖的分析結果。

 

第四步:EXCEL分析

如果需要把上圖的透.檢視放到EXCEL裡去分析和製作圖表,也是沒問題的,只要把上面的透.視分析儲存在雲平臺上,再回到EXCEL裡開啟資料集皮膚,找到剛剛儲存好的透.視分析,把相關的欄位拉拽到EXCEL裡,一樣也可以建立新建透.視表和製作你想要的圖表,而且速度非常快,基本是零延遲。

如果需要追加資料,可以在資料匯入的介面裡選擇新增到已有表把新的資料來源追加進去,匯入資料後,只需在EXCEL裡點選重新整理,所有的報表即可進行自動更新。

經過上面的簡單操作步驟,在非常短的時間便可以完成100萬行資料量的分析,我們再來對比一下EXCEL獨立處理該份資料的速度,我在電腦裡直接開啟了這份龐大的資料,並用了計時器進行計時,經過漫長的等待後,我們看下最後的用時:2分46秒,真是相當長的時間。。。這裡特別說明一下,我的電腦是I7+500G固態硬碟,如果是低於這個配置的電腦,可能用時會更長。

那麼在EXCEL裡對這個100萬行的的表格新建一個透.視表要用時多久呢,我也測試了一下,大概需要8-10秒,這個處理速度對比雲端伺服器也是遜色許多。

經過上面兩個處理工具的對比,明顯可以看出雲端平臺在處理速度上更有優勢,透過雲端平臺對百萬行的資料進行秒處理,可以為你節省大量的等待時間,彌補了傳統EXCEL在處理百萬行資料時的種種弊端,在資訊時代尤為發達的今天,時間就是金錢,如果你想更高效地處理你手中的大容量資料來源,不妨嘗試一下這種新型的方法。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69980489/viewspace-2715076/,如需轉載,請註明出處,否則將追究法律責任。

相關文章