通過圖表分析oracle的parallel效能
並行特性在資料庫裡對於效能的提升很有幫助,尤其是大批量的資料處理。今天對於並行的效能情況進行了簡單的圖表分析。
為了能夠比較合理的比較資料,對資料庫裡的2張大表進行了比對分析。
測試的場景有以下兩個。
1.並行生成dump檔案,比如一個大表有100G,使用並行,並行度為50 ,那麼很可能會生成50個dump檔案,每個dump檔案基本控制在2G左右。
2.使用並行做資料的append insert. 比如已經生成了50個dump檔案,每個dump檔案2G,那麼做並行插入的時候(dump資料還是一個一個插入,但是每次插入資料啟用並行度為 8)
--》並行生成dump檔案。
首先來看看總體的速度,採用並行後速度還是很可觀的。生成12G左右的dump檔案,花費的時間在14秒~21秒
按照這個速度,每秒的速度在571M~857M的範圍內,是相當快的。
使用兩個表MEMO和CHARGE,
CHARGE... Elapsed: 00:00:14.37
MO1_MEMO... Elapsed: 00:00:21.88
表memo
採用並行,並行度最高64,生成了64個dump檔案。Y座標是dump檔案的位元組數。可以看到表memo dump檔案基本都在200M~250M左右。啟用並行生成的資料也是比較平均的。
--表charge
在來看charge表。資料也是比較平均的。都在150M左右
--資料量並行分析
對於生成的dump檔案,大小基本是平均的,但是對於裡面包含的資料量情況還是有一些變化的,通過這個分析可以基本得到表裡的資料情況,發現潛在的碎片等問題
表MEMO
對於memo,可以發現會有幾個dump檔案的資料量有明顯的降低,資料量大多保持在80-90玩左右。有幾個dump檔案只包含10萬條資料左右,但是dump檔案還是在200M左右。可能含有碎片等,需要做進一步的排查。
對於CHARGE表。資料分佈基本在30萬到60萬左右擺動。資料的分佈有一定的浮動。
--》資料的的append Insert
做資料的插入時,可以看到memo表的大體的趨勢是時間會有一定的延長。個別dump因為資料量減少,時間可能會短一些,但是趨勢還是隨著dump的資料逐漸並行插入,時間會有一定的提升。可能會有1.5-2倍的時間差。
為了驗證這一點,來看看charge表的情況,起初速度還保持在30秒,但是稍候會有主鍵的提升。基本到了60-70秒的樣子,
所以綜上所述,並行在日常工作中還是有很大的優勢的,可以極大的縮短一些工作時間,在資料的抽取中使用parallel,速度是很客觀的。
在資料的插入過程中,可能隨著dump檔案的個數增長,資料的插入效能會有一定的降低,但是都在可控範圍內。
為了能夠比較合理的比較資料,對資料庫裡的2張大表進行了比對分析。
測試的場景有以下兩個。
1.並行生成dump檔案,比如一個大表有100G,使用並行,並行度為50 ,那麼很可能會生成50個dump檔案,每個dump檔案基本控制在2G左右。
2.使用並行做資料的append insert. 比如已經生成了50個dump檔案,每個dump檔案2G,那麼做並行插入的時候(dump資料還是一個一個插入,但是每次插入資料啟用並行度為 8)
--》並行生成dump檔案。
首先來看看總體的速度,採用並行後速度還是很可觀的。生成12G左右的dump檔案,花費的時間在14秒~21秒
按照這個速度,每秒的速度在571M~857M的範圍內,是相當快的。
使用兩個表MEMO和CHARGE,
CHARGE... Elapsed: 00:00:14.37
MO1_MEMO... Elapsed: 00:00:21.88
表memo
採用並行,並行度最高64,生成了64個dump檔案。Y座標是dump檔案的位元組數。可以看到表memo dump檔案基本都在200M~250M左右。啟用並行生成的資料也是比較平均的。
--表charge
在來看charge表。資料也是比較平均的。都在150M左右
--資料量並行分析
對於生成的dump檔案,大小基本是平均的,但是對於裡面包含的資料量情況還是有一些變化的,通過這個分析可以基本得到表裡的資料情況,發現潛在的碎片等問題
表MEMO
對於memo,可以發現會有幾個dump檔案的資料量有明顯的降低,資料量大多保持在80-90玩左右。有幾個dump檔案只包含10萬條資料左右,但是dump檔案還是在200M左右。可能含有碎片等,需要做進一步的排查。
對於CHARGE表。資料分佈基本在30萬到60萬左右擺動。資料的分佈有一定的浮動。
--》資料的的append Insert
做資料的插入時,可以看到memo表的大體的趨勢是時間會有一定的延長。個別dump因為資料量減少,時間可能會短一些,但是趨勢還是隨著dump的資料逐漸並行插入,時間會有一定的提升。可能會有1.5-2倍的時間差。
為了驗證這一點,來看看charge表的情況,起初速度還保持在30秒,但是稍候會有主鍵的提升。基本到了60-70秒的樣子,
所以綜上所述,並行在日常工作中還是有很大的優勢的,可以極大的縮短一些工作時間,在資料的抽取中使用parallel,速度是很客觀的。
在資料的插入過程中,可能隨著dump檔案的個數增長,資料的插入效能會有一定的降低,但是都在可控範圍內。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29119536/viewspace-1223326/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 透過圖表分析oracle的parallel效能OracleParallel
- oracle 通過statspace 進行效能調優Oracle
- 通過圖表簡化sql語句的表關聯SQL
- 通過shell分析表依賴的層級關係
- oracle hint_no_parallel_no_parallel_indexOracleParallelIndex
- oracle hint_parallel_parallel_indexOracleParallelIndex
- Nagios整合pnp繪製效能分析圖表iOS
- 【oracle】使用DBMS_PARALLEL_EXECUTE並行更新表OracleParallel並行
- oracle expdp中的parallelOracleParallel
- Oracle Parallel ParametersOracleParallel
- Oracle's ParallelOracleParallel
- Oracle Parallel ExecutionOracleParallel
- Oracle Parallel DMLOracleParallel
- 【LISTENER】Oracle通過監聽連線緩慢分析Oracle
- oracle Parallel技術OracleParallel
- Oracle 表分析Oracle
- Oracle通過scott使用者中的emp練習單表操作Oracle
- oracle的Parallel 並行技術OracleParallel並行
- MySQL如何通過分析binlog日誌找出操作頻繁的表MySql
- oracle的表分析語句Oracle
- electron-ipc通訊效能分析
- 通過原始碼分析Mybatis的功能原始碼MyBatis
- 【MVIEW】Oracle通過物化檢視同步表資料及簡介ViewOracle
- oracle SPA 效能分析案例Oracle
- perf及火焰圖的使用,效能分析
- oracle parallel並行_引數parameter_parallel_max_serverOracleParallel並行Server
- django通過form和ajax提交表單資料和圖片DjangoORM
- 通過shrink操作重整表的實驗
- ORACLE 臨時表空間使用率過高分析Oracle
- 【PRODUCE】Oracle 通過儲存過程限制使用者訪問表資料Oracle儲存過程
- 通過在Oracle子表外來鍵上建立索引提高效能Oracle索引
- 通過Oracle動態效能檢視採集查詢調優數Oracle
- Linux效能分析流程圖Linux流程圖
- Oracle動態效能表(1)Oracle
- 【SQL】Oracle資料庫通過job定期重建同步表資料SQLOracle資料庫
- 記一次ORACLE的UNDO表空間爆滿分析過程Oracle
- 通過點陣圖篩選優化資料倉儲查詢效能優化
- 如何分析報表效能問題