最佳化Extract抽取程式效能,解決OGG抽取日誌延遲 2017-11-12 1758
一般來說OGG Goldengate 抽取程式對CPU的壓力非常小, 而對於I/O 、network的吞吐量有輕量級的要求。 用低配置AIX測試結果如下。 抽取程式支援DB Log生成峰值速度 = 4 * 2.1 = 8.4 MB/秒,或30GB/小時,或726 GB/天。 抽取程式平均CPU佔用1.9% 。 投遞程式支援DB Log生成平均速度 = 2,096,854 * 2.1 = 4.5 MB/秒,或16 GB/小時,或380 GB/天。 投遞程式平均CPU佔用7% 。 對於Extract抽取日誌緩慢導致延遲的問題,優先採用如下方法診斷具體慢在 抽取 還是 寫trail上: 1. 收集原始慢的Extract的效能資訊 GGSCI> stats extract <extract_name>, totalsonly *, reportrate sec GGSCI> stats extract <extract_name>, totalsonly *, reportrate min 2. 建立一個新的extract 引數檔案 cp <extract_name>.prm ETEST.prm 3. 修改上述 etest params file中的extract名字 和 trail 位置 4. 加入TESTMAPPINGSPEED 引數到 etest的params files TESTMAPPINGSPEED引數的作用是 不讓extract 去寫trail 檔案 而僅僅抽取日誌, 若加入該引數後抽取速度大幅提升則說明效能瓶頸在 write trail上 TESTMAPPINGSPEED REPORTCOUNT EVERY 5000 RECORDS 5. 增加etest這個extract GGSCI> add extract etest, tranlog, begin now GGSCI>
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/10201716/viewspace-2984825/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- goldengate抽取程式延遲90小時Go
- [20181217]ogg抽取日誌分析.txt
- 測試,ogg從歸檔日誌中抽取資料
- ogg中抽取或複製程式(extract or replicat)中表的的重複配置
- OGG的抽取程式合併
- OGG-00446 goldengate 抽取程式找不到相應的歸檔日誌的解Go
- logminer抽取日誌案例
- 透過java程式抽取日誌中的sql語句JavaSQL
- 通過java程式抽取日誌中的sql語句JavaSQL
- OGG抽取程式報錯ORA-06512
- oracle rac+adg調整redo日誌組導致adg備庫ogg抽取程式abendOracle
- OGG 使用原有抽取程式,新增投遞程式出現的問題
- 大事務導致的OGG抽取程式每天7:39定時延時,執行極其緩慢
- 【MySQL】 效能最佳化之 延遲關聯MySql
- OGG-Oracle 整合模式抽取程式,REGISTER DATABASE都做了什麼?Oracle模式Database
- OGG-00446 ,ORA-26947 抽取程式啟動失敗
- OGG整合抽取模式丟失歸檔處理模式
- datastage抽取工程中文亂碼解決辦法AST
- 抽取JDBCTemplateJDBC
- 改變ogg抽取程式檢查點檔案中的檢查點
- HTTP 請求延遲解決方案HTTP
- OGG複製程式延遲高,優化方法一(使用索引)優化索引
- OGG:Extract 簡介
- [zt]Logical STANDBY日誌應用延遲案例一則
- TRIZ——抽取原理·利弊
- dorado抽取jsJS
- [資訊抽取]基於ERNIE3.0的多對多資訊抽取演算法:屬性關係抽取演算法
- GoldenGate準確修改抽取程式checkpointGo
- SDK日誌上傳效能最佳化
- OGG 抽取程序註冊時報OGG-08221 ORA-00001錯誤總結
- Goldengate 抽取程式的常用新增方法Go
- MySQL主從複製延遲解決方案MySql
- 疫情延遲 題解
- 資料上雲,應該選擇全量抽取還是增量抽取?
- ORACLE OGG引數修改引起佇列檔案異常導致抽取程式無法啟動Oracle佇列
- 如何基於日誌,同步實現資料的一致性和實時抽取?
- Google 怎麼解決長尾延遲問題Go
- 主從複製延遲推薦解決方案