最佳化Extract抽取程式效能,解決OGG抽取日誌延遲 2017-11-12 1758
一般來說OGG Goldengate 抽取程式對CPU的壓力非常小, 而對於I/O 、network的吞吐量有輕量級的要求。 用低配置AIX測試結果如下。 抽取程式支援DB Log生成峰值速度 = 4 * 2.1 = 8.4 MB/秒,或30GB/小時,或726 GB/天。 抽取程式平均CPU佔用1.9% 。 投遞程式支援DB Log生成平均速度 = 2,096,854 * 2.1 = 4.5 MB/秒,或16 GB/小時,或380 GB/天。 投遞程式平均CPU佔用7% 。 對於Extract抽取日誌緩慢導致延遲的問題,優先採用如下方法診斷具體慢在 抽取 還是 寫trail上: 1. 收集原始慢的Extract的效能資訊 GGSCI> stats extract <extract_name>, totalsonly *, reportrate sec GGSCI> stats extract <extract_name>, totalsonly *, reportrate min 2. 建立一個新的extract 引數檔案 cp <extract_name>.prm ETEST.prm 3. 修改上述 etest params file中的extract名字 和 trail 位置 4. 加入TESTMAPPINGSPEED 引數到 etest的params files TESTMAPPINGSPEED引數的作用是 不讓extract 去寫trail 檔案 而僅僅抽取日誌, 若加入該引數後抽取速度大幅提升則說明效能瓶頸在 write trail上 TESTMAPPINGSPEED REPORTCOUNT EVERY 5000 RECORDS 5. 增加etest這個extract GGSCI> add extract etest, tranlog, begin now GGSCI>
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/10201716/viewspace-2984825/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- [20181217]ogg抽取日誌分析.txt
- goldengate抽取程式延遲90小時Go
- OGG-00446 goldengate 抽取程式找不到相應的歸檔日誌的解Go
- 測試,ogg從歸檔日誌中抽取資料
- OGG的抽取程式合併
- oracle rac+adg調整redo日誌組導致adg備庫ogg抽取程式abendOracle
- OGG-Oracle 整合模式抽取程式,REGISTER DATABASE都做了什麼?Oracle模式Database
- 大事務導致的OGG抽取程式每天7:39定時延時,執行極其緩慢
- OGG整合抽取模式丟失歸檔處理模式
- OGG 抽取程序註冊時報OGG-08221 ORA-00001錯誤總結
- 抽取JDBCTemplateJDBC
- OGG:Extract 簡介
- 註解與抽取基類
- OGG複製程式延遲高,優化方法一(使用索引)優化索引
- HTTP 請求延遲解決方案HTTP
- TRIZ——抽取原理·利弊
- ORACLE OGG引數修改引起佇列檔案異常導致抽取程式無法啟動Oracle佇列
- SDK日誌上傳效能最佳化
- [資訊抽取]基於ERNIE3.0的多對多資訊抽取演算法:屬性關係抽取演算法
- 評標專家的抽取時間, 提前多久抽取才合適?
- OGG-整合模式抽取與資料庫引數streams_pool_size關係模式資料庫
- 資料上雲,應該選擇全量抽取還是增量抽取?
- 如何基於日誌,同步實現資料的一致性和實時抽取?
- MySQL主從複製延遲解決方案MySql
- 搞定實體識別、關係抽取、事件抽取,我用指標網路事件指標
- 疫情延遲 題解
- [NLP] 知識抽取技術
- uniapp 隨機抽取影片播放APP隨機
- 使用Kettle抽取資料時,出現中文亂碼問題解決方案
- 怎麼解決伺服器延遲問題伺服器
- Google 怎麼解決長尾延遲問題Go
- 主從複製延遲推薦解決方案
- OGG複製程式延遲高,優化方法二(存在索引),SQL選擇不好的索引優化索引SQL
- Transwarp元件Trasporter工具資料抽取元件
- sqoop條件抽取報錯distcpOOPTCP
- AMDU資料抽取案例一則
- 抽取思維(重構設計)
- 【MySQL】六、常見slave 延遲原因以及解決方法MySql