最佳化Extract抽取程式效能,解決OGG抽取日誌延遲 2017-11-12 1758

pingdanorcale發表於2023-09-20

一般來說OGG Goldengate 抽取程式對CPU的壓力非常小, 而對於I/O 、network的吞吐量有輕量級的要求。 用低配置AIX測試結果如下。 抽取程式支援DB Log生成峰值速度 = 4 * 2.1 = 8.4 MB/秒,或30GB/小時,或726 GB/天。 抽取程式平均CPU佔用1.9% 。 投遞程式支援DB Log生成平均速度 = 2,096,854 * 2.1 = 4.5 MB/秒,或16 GB/小時,或380 GB/天。 投遞程式平均CPU佔用7% 。     對於Extract抽取日誌緩慢導致延遲的問題,優先採用如下方法診斷具體慢在 抽取 還是 寫trail上:   1. 收集原始慢的Extract的效能資訊 GGSCI> stats extract <extract_name>, totalsonly *, reportrate sec GGSCI> stats extract <extract_name>, totalsonly *, reportrate min   2. 建立一個新的extract 引數檔案 cp <extract_name>.prm ETEST.prm 3. 修改上述 etest params file中的extract名字 和 trail 位置   4. 加入TESTMAPPINGSPEED 引數到 etest的params files TESTMAPPINGSPEED引數的作用是 不讓extract 去寫trail 檔案 而僅僅抽取日誌, 若加入該引數後抽取速度大幅提升則說明效能瓶頸在 write trail上 TESTMAPPINGSPEED REPORTCOUNT EVERY 5000 RECORDS   5. 增加etest這個extract GGSCI> add extract etest, tranlog, begin now GGSCI>


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/10201716/viewspace-2984825/,如需轉載,請註明出處,否則將追究法律責任。

相關文章