Python實現騰訊雲CDB備份檔案自動上傳到COS

一、背景

需求：目前遇到的客戶需求為將騰訊雲CDB備份檔案自動上傳到騰訊雲COS內，在此拋磚引玉，還有很多類似的需求均可以採用此類方法解決，線下IDC資料檔案備份至雲端COS內，或根據檔案下載地址url將檔案上傳至COS內。

思路：首先獲取到CDB的備份下載url，透過COS的API上傳檔案，大佬如有更好的方法歡迎一塊討論。

二、技術細節

COS：COS有API同時有SDK，這就很方便我們來透過Python對COS進行各類操作，COS SDK for Python

CDB：CDB有API但是CDB的查詢備份下載沒有對應的SDK，此時只能透過API來進行獲取，騰訊雲API的簽名很複雜，要進行：構造引數字典->對dict排序->拼接sign->對sign編碼->拼接完成最終url->完成呼叫，簽名方法，查詢備份API

requirements:

cos-python-sdk-v5==1.5.2

requests==2.19.1

tencentcloud-sdk-python==3.0.15

urllib3==1.23

檔案目錄結構

Python實現騰訊雲CDB備份檔案自動上傳到COS

三、程式碼

github地址

3.1 配置檔案

# auth:kaliarch

# func:將騰訊雲cdb備份檔案上傳至cos制定的bucket內

# python version:python3+

# cos version:v5

#

# 騰訊雲公共資訊配置段

[common]

# 騰訊雲 secretid

secret_id = AKIDMdjegcmoGxxxxxxxxxxxxxxxxxxxx

# 騰訊雲 secretkey

secret_key = d5MRL4VoxyvlQvxxxxxxxxxxxxxx

# 騰訊雲cos資訊配置段

[cosinfo]

# cos所在地域

cos_region = ap-chengdu

# 騰訊雲bucket名字(cos v5 bucket名稱組成:bucket+appid)

bucket_name = xuel-test-bucket-125396xxxx

# 騰訊雲cdb資訊配置段

[cdbinfo]

# cdb例項id

cdb_instanceid = cdb-rqaxxxxx

# cdb所在地域

cdb_region = ap-shanghai

# cdb 日誌備份型別，coldbackup（冷備），binlog（二進位制日誌）和slowlog_day（慢查詢日誌）

cdb_bak_type = coldbackup

# 日誌檔案資訊配置段

[loginfo]

#日誌檔案目錄名稱

logdir_name = rds_to_cos

#日誌檔名稱

logfile_name = rdsbak_to_cos.log

3.2 CDB API核心操作程式碼

#構建字典

keydict = {

        'Action': self.cdb_action,

        'Timestamp': str(int(time.time())),

        'Nonce': str(int(random.random() * 1000)),

        'Region': self.cdb_region,

        'SecretId': self.secret_id,

        # 'SignatureMethod': SignatureMethod,

        'cdbInstanceId': self.cdb_instanceid,

        'type': self.cdb_bak_type

}

#字典排序

sorted(zip(keydict.keys(), keydict.values()))

#字串拼接

sign_str_init = ''

for value in sortlist:

        sign_str_init += value[0] + '=' + value[1] + '&'

sign_str = 'GET' + self.cdb_api_url + sign_str_init[:-1]

return sign_str, sign_str_init

#獲取簽名串並編碼

secretkey = self.secret_key

signature = bytes(sign_str, encoding='utf-8')

secretkey = bytes(secretkey, encoding='utf-8')

my_sign = hmac.new(secretkey, signature, hashlib.sha1).digest()

my_sign = base64.b64encode(my_sign)

parse.quote(my_sign)

#獲取最終url

result_url = 'https://' + self.cdb_api_url + sign_str + '&Signature=' + result_sign

單獨執行此模組可以得到以下資訊：

Python實現騰訊雲CDB備份檔案自動上傳到COS

3.3 COS SDK核心操作程式碼

#根據檔案大小自動選擇簡單上傳或分塊上傳，分塊上傳具備斷點續傳功能

with open(filename, 'wb') as localfile:

        localfile.write(requests.request('get', url).content)

# 進行上傳

response = cos_client.upload_file(

        Bucket=self.bucket_name,

        LocalFilePath=filename,

        Key=filename,

        PartSize=partsize,

        MAXThread=maxthread

)

# 刪除本地檔案

if os.path.exists(filename):

        os.remove(filename)

3.4 日誌記錄核心程式碼

#建立目錄

def create_dir(self):

        _LOGDIR = os.path.join(os.path.dirname(__file__), self.logdir_name)

        _TIME = time.strftime('%Y-%m-%d', time.gmtime()) + '-'

        _LOGNAME = _TIME + self.logfile_name

        LOGFILENAME = os.path.join(_LOGDIR, _LOGNAME)

        if not os.path.exists(_LOGDIR):

                os.mkdir(_LOGDIR)

        return LOGFILENAME

#定義日誌檔案

def create_logger(self, logfilename):

        logger = logging.getLogger()

        logger.setLevel(logging.INFO)

        handler = logging.FileHandler(logfilename)

        handler.setLevel(logging.INFO)

        formater = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

        handler.setFormatter(formater)

        logger.addHandler(handler)

        return logger

四、測試結果

獲取CDB下載連結

Python實現騰訊雲CDB備份檔案自動上傳到COS

完成上傳檢視COS檔案

Python實現騰訊雲CDB備份檔案自動上傳到COS

五、總結

最佳化:可以後期透過配合定時任務完成自動化任務

擴充套件:源端：不僅僅侷限於CDB備份檔案，對於隨便下載url，均可以上傳到COS內。終端：終端也不僅侷限於騰訊雲COS，此思路方法也可用於其他雲平臺如阿里OSS,亞馬遜Amazon S3,百度雲BOS 等。

©著作權歸作者所有：來自51CTO部落格作者KaliArch的原創作品，如需轉載，請註明出處，否則將追究法律責任

每一份讚賞源於懂得