圖片的採集自動同步方案

vx_guanchaoguo0發表於2024-08-02

fluent 實現多伺服器之間的圖片集中管理

  • 透過inotify自動檢測,避免定時任務不實時
  • 簡化服務能力，歷史程式碼 和 S3的ak sk限制 避免多桶的分割
  • 集中管理防止誤刪除，集中管理只讀
  • 預算管理，可以對歷史 和 冷資料分開處理 防止盜鏈
  • 大資料大模型的訓練資料特徵資料集中處理

外掛使用

fluent-gem install fluent-plugin-s3
fluent-gem install fluent-plugin-inotify

配置

<source>
  @type inotify
  path /path/to/local/images   # 監控的本地圖片資料夾路徑
  tag s3.upload                # Fluentd 事件標籤
  <parse>
    @type none                 # 不解析檔案內容
  </parse>
</source>

<match s3.upload>
  @type s3
  aws_key_id YOUR_AWS_ACCESS_KEY_ID     # AWS 訪問金鑰 ID
  aws_sec_key YOUR_AWS_SECRET_ACCESS_KEY # AWS 秘密訪問金鑰
  s3_bucket YOUR_S3_BUCKET_NAME          # S3 儲存桶名稱
  s3_region YOUR_S3_BUCKET_REGION        # S3 儲存桶區域
  path images/%Y/%m/%d                   # 在 S3 中儲存的路徑格式，可以根據需求修改
  buffer_path /var/log/fluentd.buffer    # Fluentd 緩衝區路徑
  time_slice_format %Y%m%d              # 時間切片格式
  time_slice_wait 10m                   # 時間切片等待時間
  store_as gzip                         # 儲存檔案格式，可以選擇其他格式
</match>

相關文章