大體積XML檔案處理效能問題
還是接上次的話題,呵呵,1.6G的XML檔案做入庫處理,要麼insert,要麼update,我用8個CPU linux跑JAVA應用,8個CPU另外一臺linux執行oracle,測試的結果是1.6G多XML檔案,處理完只需要50分鐘,但是此程式最近上現網後,6G的具然處理了10小時,現網也是8個CPU,請教各位對此有什麼看法?如下是兩個環境的對比:
測試環境:
java application 8 cpu 只有五個執行緒處理1.6G的XML
database 8 cpu
app和database不同機器
處理前表裡有0條
現網環境:
java application 8 cpu 同樣是5個執行緒處理1.6G的XML,但還有另外其它20個執行緒在處理其它檔案
database 8 cpu
app和database是同一臺
處理前表裡有1億多資料
請各位牛人分析分析?不知道與表裡資料量有沒有關係?
測試環境:
java application 8 cpu 只有五個執行緒處理1.6G的XML
database 8 cpu
app和database不同機器
處理前表裡有0條
現網環境:
java application 8 cpu 同樣是5個執行緒處理1.6G的XML,但還有另外其它20個執行緒在處理其它檔案
database 8 cpu
app和database是同一臺
處理前表裡有1億多資料
請各位牛人分析分析?不知道與表裡資料量有沒有關係?
[該貼被xysniper於2010-06-02 16:13修改過]
相關文章
- 大容量XML檔案處理如何解決效能問題XML
- XML檔案處理中增加xmlns問題XML
- 如何處理大體積 XLSX/CSV/TXT 檔案?
- Go xml檔案處理GoXML
- xml處理的問題XML
- tempfile檔案過大問題處理 for logical standby
- oracle bdump 下.trc檔案過大問題處理Oracle
- 前端如何處理xml配置檔案?前端XML
- Python處理大檔案Python
- 使用Java處理大檔案Java
- linux 透過xmllint處理xml檔案LinuxXML
- jQuery如何處理xml檔案程式碼例項jQueryXML
- lxml處理xml時的字元編碼問題XML字元
- 【問題處理】處理alert警告日誌中出現無法找到libocr*.so檔案問題
- .net異常處理的效能問題
- Python 如何處理大檔案Python
- Java 大資料量處理問題Java大資料
- jaxb輸出xml檔案的中文問題?XML
- 關於SAX解析xml檔案的問題XML
- 乾貨!Apache Hudi如何智慧處理小檔案問題Apache
- Python編解碼問題與文字檔案處理Python
- java讀取大檔案並處理Java
- 記憶體分配問題處理記憶體
- iis 下 swfupload 上傳大檔案 卡頓 404 錯誤 等問題處理方法
- 檔案監控效能問題【BUG】
- Kafka叢集訊息積壓問題及處理策略Kafka
- php上傳大檔案失敗處理PHP
- Java記憶體對映,上G大檔案輕鬆處理Java記憶體
- 軟體中事務處理問題!
- 【技術積累】如何處理Feign的超時問題
- 處理檔案上傳時的訊息格式轉換問題
- 大資料處理需留意哪些問題大資料
- mybatis中mapper.xml檔案引數問題MyBatisAPPXML
- Python檔案處理-專題筆記Python筆記
- .NET Core 如何上傳檔案及處理大檔案上傳
- [R]檔案處理
- bat處理檔案BAT
- bat檔案處理BAT