fastdfs資料遷移以及fastdfs問題排查記錄

這段時間公司要遷移fastdfs ，折騰2天，現在做個記錄:

一、fastdfs 是淘寶架構師編寫。它的架構圖網上很多，搜尋一下就可以。網上能搜尋到的東西我就不在這裡記錄了。

二、這裡記錄下目前我在網上沒有搜尋到的內容：

1. fastdfs 遷移具體步驟我從網上複製  https://www.cnblogs.com/hanpengblog/p/fastdfs.html  ，理解的一點就是：當新增加一個storage連線到tracker，它會自動的複製檔案到strorage,就是利用這個特性來進行遷移的。每個storage是對等的，當新增加一個storage的時候，fastdfs會自動的複製同步storage.比如下面例子192.167.1.17:23000這個節點新增到tracker節點時候，它會自動同步 192.167.1.13:23000節點資料同步到17節點，從而達到遷移資料的目的。保證2個fdfs之間的是可以通訊的。具體遷移步驟細節如下：

前提：
新環境的fastdfs的tracker和storage服務都已經啟動
老環境：
tracker 192.168.1.13:22122
storage 192.168.1.13:23000

新環境：
tracker 192.168.1.17:22122
storage 192.168.1.17:23000

遷移順序：
1、停止新環境(192.168.1.17)的storage服務
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf stop
2、修改/etc/fdfs/storage.conf 將 tracker_server 改為 老的 tracker_server
tracker_server=192.168.1.17:22122 改為 192.168.1.13:22122
3、啟動新環境的storage服務
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

檢視狀態
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

storage狀態列表：

# FDFS_STORAGE_STATUS：INIT :初始化，尚未得到同步已有資料的源伺服器

# FDFS_STORAGE_STATUS：WAIT_SYNC :等待同步，已得到同步已有資料的源伺服器

# FDFS_STORAGE_STATUS：SYNCING :同步中

# FDFS_STORAGE_STATUS：DELETED :已刪除，該伺服器從本組中摘除

# FDFS_STORAGE_STATUS：OFFLINE :離線

# FDFS_STORAGE_STATUS：ONLINE :線上，尚不能提供服務

# FDFS_STORAGE_STATUS：ACTIVE :線上，可以提供服務

4、停止新環境的storage服務
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf stop
5、調整storage的檔案列表（/home/fastdfs/storage）
storage server需要調整的檔案列表：
data/.data_init_flag（將sync_src_server配置項留空，其它配置項不變）
data/sync/{ip_addr}_{port}.mark：此類檔案，需要將檔名中的IP地址調整過來

cd /home/fastdfs/storage/data/sync
mv 192.168.1.13_23000.mark 192.168.1.17_23000.mark

6、修改新環境，將新環境的storage的tracker改為新的tracker /etc/fdfs/storage.conf 將
tracker_server=192.168.1.13:22122 改為 192.168.1.17:22122
7、啟動新環境的storage服務
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

三、理解storage,traceker 節點。FastDFS Tracker及Storage節點是可以新增的，也是可以刪除的。tracker節點之間是leader和follow關係，storage節點之間是對等關係。

參考網友的如下文章： https://www.cnblogs.com/sunmmi/articles/7209308.html

  

1.fastdfs七種狀態

 2.正常狀態必須是ACTIVE

 

3.增加Storage節點（透過配置，自動加入）

 4.刪除Storage節點及刪除後重新加入（透過fdfs_monitor刪除）

 5.重新加入storage節點

 6.增加Tracker節點

 7.刪除Tracker節點

8.storage不同步處理

四、同步問題的排查，之間同步遷移遇到很多問題，排查主要靠檢視日誌和使用 fdfs_monitor工具

日誌存放目錄：

錯誤日誌是每個程式都有一個，啟動bin/fdfs_storaged /opt/fastdfs_lifekh-mp/conf/storage_accsett.conf

錯誤日誌在base_path下面會有一個logs資料夾

 /data/fastdfs_lifekh-mp/accsett/logs/storaged.log

同步遷移的時候方便監聽狀態工具： fdfs_monitor ，這個工具非常有用。

fdfs_monitor  /etc/fdfs/client .conf

參考文章： https://www.cnblogs.com/sunmmi/articles/7209308.html

https://www.cnblogs.com/aresxin/p/4952600.html

https://www.cnblogs.com/hanpengblog/p/fastdfs.html

https://blog.csdn.net/markfengfeng/article/details/102528782