【C/C++】資料庫刪除大表
背景:資料庫的IO壓力非常大,如果線上上刪除大表,對IO以及業務會造成很大的抖動;作為一名DBA的通用做法是,建立.frm 以及.ibd的硬連線,然後在drop table tablename;但是表檔案依然存在於該機器上,如果直接用rm刪除,會造成IO的until達到100%
問題:那麼如何解決刪除檔案時,如果避免IO達到100%呢?
解決方案:透過ftruncate逐漸清除檔案,下面本人提供自己寫的slowrm來刪除檔案,測試io使用率10-20%之間,刪除速度1個小時100多G(這裡只是一個粗略的版本,各位看官可以自己修改下)
#include <iostream>
#include <sys/stat.h>
#include <fcntl.h>
#include <dirent.h>
#include <string>
#include <unistd.h>
//判讀輸入是否合法
int fileInputLegal(const char *pfile=nullptr);
int main(int argc,char *argv[]){
//利用stat獲取檔案的大小
//呼叫open開啟檔案獲取檔案描述符
//呼叫ftrucate縮減檔案的大小,直到0為止
int fd = -1;
//這個引數經過調整過的
int deleteBytes = 1024700;
//這個目的是獲取檔案長度
struct stat buf;
off_t fileSize = 0;
if( argc !=2 ){
std::cout<<"你傳輸的引數不正確"<<std::endl;
return -1;
}
const char *filename=argv[1];
if(fileInputLegal(filename) < 0){
return -1;
}
if((fd = open(filename,O_RDWR)) < 0 ){
std::cout<<"開啟檔案"<<filename<<"失敗"<<std::endl;
return -1;
}
if(lstat(filename,&buf) <0){
std::cout<<"獲取檔案資訊(大小失敗)"<<std::endl;
return -1;
}
fileSize = buf.st_size;
while(fileSize > deleteBytes ){
fileSize = fileSize - deleteBytes;
if(ftruncate(fd,fileSize) < 0){
std::cout<<"刪除檔案出錯,請重新執行"<<std::endl;
return -2;
}
//這裡特別要注意,設定的時間越短,ftruncate呼叫越頻繁,設定不當,適得其反
usleep(20000);
}
if(ftruncate(fd,0) < 0){
std::cout<<"刪除檔案出錯,請重新執行"<<std::endl;
return -2;
}
close(fd);
unlink(filename);
return 0;
}
int fileInputLegal(const char *pfile){
if(nullptr==pfile){
return -1;
}
if(access(pfile,R_OK|W_OK)<0){
std::cout<<"對檔案沒有讀寫許可權"<<std::endl;
return -1;
}
if(opendir(pfile) != NULL){
std::cout<<"是一個目錄"<<std::endl;
return -1;
}
return 0;
}
編譯方法:
g++ -std=gnu++11 -o slowrm slow_rm.cpp
使用方法:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/30221425/viewspace-2636414/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 刪除大表資料
- 【TcaplusDB知識庫】PB表C++示例程式碼-刪除資料C++
- python 刪除大表資料Python
- 刪除資料庫表空間資料庫
- MongoDB 資料庫建立刪除、表(集合)建立刪除、資料增刪改查MongoDB資料庫
- 如何刪除大表中的資料
- Oracle批量建立、刪除資料庫表Oracle資料庫
- 資料庫 - 索引、基本表建立與刪除資料庫索引
- MySQL刪除資料表MySql
- 200G大表刪除資料方案
- Oracle大表刪除部分資料的最佳方案Oracle
- c++ map刪除元素C++
- c++ vector刪除元素C++
- MySQL資料庫表誤刪除恢復(一)MySql資料庫
- 如何刪除資料庫下的所有表(mysql)資料庫MySql
- indexedDB 刪除資料庫Index資料庫
- 【RAC】刪除RAC資料庫節點(一)——刪除資料庫例項資料庫
- 如何高效率刪除大表歷史資料
- 海量資料表刪除方案
- MYSQL資料庫表記錄刪除解決方案MySql資料庫
- 刪除資料庫所有使用者表(SqlServer)資料庫SQLServer
- 已為資料庫映象啟動資料庫,必須刪除資料庫映象才能刪除該資料庫資料庫
- 2.11 刪除資料庫資料庫
- 如何刪除oracle資料庫Oracle資料庫
- 刪除資料庫指令碼資料庫指令碼
- 手工刪除oracle資料庫Oracle資料庫
- 手動刪除資料庫資料庫
- C/C++ Qt 資料庫QSql增刪改查元件應用C++QT資料庫SQL元件
- 大資料表的truncate,列刪除,shrink回收高水位大資料
- 刪除表裡重複資料
- SQL刪除資料庫裡所有表的外來鍵,同時刪除所有使用者表SQL資料庫
- EM資料庫重建 手動刪除資料庫資料庫
- Laravel 資料庫裡的資料刪除Laravel資料庫
- 批量刪除Oracle資料庫的資料Oracle資料庫
- 【RAC】刪除RAC資料庫節點(二)——刪除ASM資料庫ASM
- 【RAC】刪除RAC資料庫節點(五)——刪除ONS資料庫
- ORACLE資料庫中刪除表資料後,資料庫表空間已使用不會自動減少Oracle資料庫
- oracle手動刪除資料庫Oracle資料庫