EXCEL的重生!處理百萬行資料竟如此簡單
EXCEL處理大資料的能力一向是飽受詬病,就拿幾十萬行的資料來說吧,如果要在EXCEL裡開啟這麼大的檔案,少說都要幾分鐘,萬一中間出現了卡死,又要重新來一遍,會把人折磨的不要不要的。所以為了可以處理更大的資料量,多數人會捨棄EXCEL而轉投到資料庫的陣營裡,但是要懂得資料庫也並非是一件易事,首先各種資料庫的名字已經足夠讓人迷糊了,什麼oracle、mysql、obase這些,加上還要懂得資料儲存,還要會寫sql語句,這些頭疼的事情不禁會讓沒有資料庫基礎的人抓狂:天哪,放過我吧!我們只是會用EXCEL而已,這些技術名詞也太深奧了,能不能有些更加簡單的方法啊?
其實要解決EXCEL處理大容量資料困難的問題,不一定要藉助Access、SQL Server、MYSQL等大型資料庫,我們可以利用雲端伺服器對大容量的資料進行相應的處理,再把得出的結果提取到EXCEL裡進行分析,以某公司開發的智分析雲平臺為例,把超過百萬行的資料量導進到雲服務平臺裡,並與EXCEL進行相連,在雲端對資料進行透.視後,再把分析結果呈現到EXCEL裡進行圖表製作,整個過程也就幾十秒的時間,就輕鬆把百萬行的資料給攻破了,這是由於雲端平臺有著高速處理資料的能力,所以資訊處理都是利用大型網路伺服器進行加工和儲存的,這些強大的處理能力是EXCEL無法比擬的。下面我們透過這個思路教大家認識一下EXCEL是如何透過雲服務平臺對百萬行級的資料量進行分析處理。
第一步:安裝外掛
首先要下載一個智分析的外掛,安裝在EXCEL裡,過程非常簡單,安裝完成之後,EXCEL的介面裡會出現一個新的工具欄。
第二步:匯入資料
登入雲端平臺後,可以看到導航欄裡會有資料連線的選項,點選進去後會看到EXCEL和CSV檔案的匯入路徑,這裡我嘗試用一份EXCEL表格導進去看下速度有多快,於是我找了一份約130兆容量和資料量接近100萬行的某汽車公司銷售資料進行測試,選擇好存放的路徑後便開始進行導數,過程非常順利,不到一分鐘的時間便完成了導數的過程,這個速度比SQL Server匯入EXCEL資料的時間快多了。
第三步:雲端透.視
把100萬行的資料來源導進去後,便可以在雲端平臺上進行簡單的透.視分析,這個步驟非常智慧,和EXCEL表的透.視表的功能是差不多的,只要拉拽需要分析的欄位出來,便可以對資料來源進行透.視,處理時間基本是零延遲,而且還可以新建度量值,透過時間維建立同比、環比等指標。比如這裡我想看車系在行業裡的銷售額情況,我選了3個欄位,分別是line(車系)、cust_industry(行業)、amount(銷售額),把欄位拉拽到下面的篩選區裡,便快速得出下圖的分析結果。
第四步:EXCEL分析
如果需要把上圖的透.檢視放到EXCEL裡去分析和製作圖表,也是沒問題的,只要把上面的透.視分析儲存在雲平臺上,再回到EXCEL裡開啟資料集皮膚,找到剛剛儲存好的透.視分析,把相關的欄位拉拽到EXCEL裡,一樣也可以建立新建透.視表和製作你想要的圖表,而且速度非常快,基本是零延遲。
如果需要追加資料,可以在資料匯入的介面裡選擇新增到已有表把新的資料來源追加進去,匯入資料後,只需在EXCEL裡點選重新整理,所有的報表即可進行自動更新。
經過上面的簡單操作步驟,在非常短的時間便可以完成100萬行資料量的分析,我們再來對比一下EXCEL獨立處理該份資料的速度,我在電腦裡直接開啟了這份龐大的資料,並用了計時器進行計時,經過漫長的等待後,我們看下最後的用時:2分46秒,真是相當長的時間。。。這裡特別說明一下,我的電腦是I7+500G固態硬碟,如果是低於這個配置的電腦,可能用時會更長。
那麼在EXCEL裡對這個100萬行的的表格新建一個透.視表要用時多久呢,我也測試了一下,大概需要8-10秒,這個處理速度對比雲端伺服器也是遜色許多。
經過上面兩個處理工具的對比,明顯可以看出雲端平臺在處理速度上更有優勢,透過雲端平臺對百萬行的資料進行秒處理,可以為你節省大量的等待時間,彌補了傳統EXCEL在處理百萬行資料時的種種弊端,在資訊時代尤為發達的今天,時間就是金錢,如果你想更高效地處理你手中的大容量資料來源,不妨嘗試一下這種新型的方法。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69980489/viewspace-2715076/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Excel竟可以處理大資料,我驚呆了下巴!Excel大資料
- Excel 資料處理Excel
- Python資料處理(二):處理 Excel 資料PythonExcel
- 使用Excel高效處理資料Excel
- java 如何簡單快速處理 json 中的資料JavaJSON
- java 如何簡單快速處理 xml 中的資料JavaXML
- Python使用xlrd處理excel資料PythonExcel
- 【Python自動化Excel】pandas處理Excel資料的基本流程PythonExcel
- Python自動化處理Excel資料PythonExcel
- 簡單的字串處理字串
- 一個簡單易用的資料庫壞塊處理方案資料庫
- 60萬行的Excel資料,Python輕鬆處理ExcelPython
- 第一章 Excel資料分析入門 --(3)Excel處理資料的常用操作Excel
- Excel高階應用教程:資料處理與資料分析Excel
- Go 世界如此簡單!Go
- 如何快速簡單的實現 Excel資料按列提取Excel
- python EXCEL處理PythonExcel
- android簡單的圖形特效處理Android特效
- 基於Opencv的簡單影像處理OpenCV
- TensorFlow進行簡單的影像處理
- Java的簡單理解(22)---處理流Java
- 簡單實現批處理
- 單例模式就是如此簡單單例模式
- 資料預處理速度高倍提升,3行python程式碼簡單搞定!Python
- 拖拽一個元素如此簡單,mouse、drag、touch三兄弟的用處
- mysql,sqlserver資料庫單表資料過大的處理方式MySqlServer資料庫
- jsonpGet,跨域如此簡單JSON跨域
- EventLoop其實如此簡單OOP
- 包含(處理)HTML的最簡單方法包括HTML
- iOS換膚功能的簡單處理框架iOS框架
- 影象處理庫GPUImage簡單使用GPUUI
- Excel檔案 利用MySQL/Python 實現自動處理資料的功能ExcelMySqlPython
- 記賬工具給的靈感,excel資料處理為自定義的格式Excel
- 有了這款外掛,EXCEL也能處理大資料Excel大資料
- 單機每秒最多可處理10億條資料!eBay開源資料處理框架Accelerator框架
- EXCEL資料上傳到SQL SERVER中的簡單實現方法ExcelSQLServer
- 如何簡單實現關聯型別資料的Excel匯出?型別Excel
- 資料處理