【FastDFS】如何打造一款高可用的分散式檔案系統？這次我明白了！！

冰河團隊發表於2020-07-02

寫在前面

前面我們學習瞭如何基於兩臺伺服器搭建FastDFS環境，而往往在生產環境中，需要FastDFS做到高可用，那如何基於FastDFS打造一款高可用的分散式檔案系統呢？別急，今天，我們就一起來基於FastDFS搭建一套高可用的分散式檔案系統。

FastDFS 介紹

FastDFS 是一個開源的分散式檔案系統，它對檔案進行管理，功能包括：檔案儲存、檔案同步、檔案訪問（檔案上傳、檔案下載）等，解決了大容量儲存和負載均衡的問題。特別適合以檔案為載體的線上服務，如相簿網站、視訊網站等等。FastDFS 服務端有兩個角色：跟蹤器（tracker）和儲存節點（storage）。跟蹤器主要做排程工作，在訪問上起負載均衡的作用。儲存節點儲存檔案，完成檔案管理的所有功能：儲存、同步和提供存取介面，FastDFS 同時對檔案的 meta data 進行管理。所謂檔案的 meta data 就是檔案的相關屬性，以鍵值對（keyvalue pair）方式表示，如： width=1024，其中的 key 為 width， value 為 1024。檔案 meta data 是檔案屬性列表，可以包含多個鍵值對。 FastDFS 系統結構如下圖所示：

跟蹤器和儲存節點都可以由一臺多臺伺服器構成。跟蹤器和儲存節點中的伺服器均可以隨時增加或下線而不會影響線上服務。其中跟蹤器中的所有伺服器都是對等的，可以根據伺服器的壓力情況隨時增加或減少。

為了支援大容量，儲存節點（伺服器）採用了分卷（或分組）的組織方式。儲存系統由一個或多個卷組成，卷與卷之間的檔案是相互獨立的，所有卷的檔案容量累加就是整個儲存系統中的檔案容量。一個卷可以由一臺或多臺儲存伺服器組成，一個卷下的儲存伺服器中的檔案都是相同的，卷中的多臺儲存伺服器起到了冗餘備份和負載均衡的作用。在卷中增加伺服器時，同步已有的檔案由系統自動完成，同步完成後，系統自動將新增伺服器切換到線上提供服務。當儲存空間不足或即將耗盡時，可以動態新增捲。只需要增加一臺或多臺伺服器，並將它們配置為一個新的卷，這樣就擴大了儲存系統的容量。 FastDFS 中的檔案標識分為兩個部分：卷名和檔名，二者缺一不可。

FastDFS 上傳檔案互動過程

（1）client 詢問 tracker 上傳到的 storage，不需要附加引數；

（2）tracker 返回一臺可用的 storage；

（3）client 直接和 storage 通訊完成檔案上傳。

客戶端 client 發起對 FastDFS 的檔案傳輸動作，是通過連線到某一臺 Tracker Server 的指定埠來實現的， Tracker Server 根據目前已掌握的資訊，來決定選擇哪一臺 Storage Server ，然後將這個Storage Server 的地址等資訊返回給 client，然後 client 再通過這些資訊連線到這臺 Storage Server，將要上傳的檔案傳送到給 Storage Server 上

FastDFS 下載檔案互動過程：

（1）client 詢問 tracker 下載檔案的 storage，引數為檔案標識（卷名和檔名）；

（2）tracker 返回一臺可用的 storage；

（3）client 直接和 storage 通訊完成檔案下載。

FastDFS 叢集規劃

跟蹤伺服器 1： 192.168.50.135 liuyazhuang-tracker-1
跟蹤伺服器 2： 192.168.50.136 liuyazhuang-tracker-2
儲存伺服器 1： 192.168.50.137 liuyazhuang-storage-group1-1
儲存伺服器 2： 192.168.50.138 liuyazhuang-storage-group1-2
儲存伺服器 3： 192.168.50.139 liuyazhuang-storage-group2-1
儲存伺服器 4： 192.168.50.140 liuyazhuang-storage-group2-2
環境： CentOS 6.5
使用者： root
資料目錄： /fastdfs （注：資料目錄按你的資料盤掛載路徑而定）
安裝包：到連結http://download.csdn.net/detail/l1028386804/9855529下載
FastDFS v5.05
libfastcommon-master.zip（是從 FastDFS 和 FastDHT 中提取出來的公共 C 函式庫）
fastdfs-nginx-module_v1.16.tar.gz
nginx-1.6.2.tar.gz
fastdfs_client_java._v1.25.tar.gz

原始碼地址： https://github.com/happyfish100/
下載地址： http://sourceforge.net/projects/fastdfs/file
官方論壇： http://bbs.chinaunix.net/forum-240-1.html

FastDFS 的安裝（所有跟蹤伺服器和儲存伺服器均執行如下操作）

1、編譯和安裝所需的依賴包

# yum install make cmake gcc gcc-c++

2、安裝 libfastcommon

https://github.com/happyfish100/libfastcommon

(1)上傳或下載 libfastcommon-master.zip 到/usr/local/src 目錄，解壓

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master

(2) 編譯、安裝

# ./make.sh
# ./make.sh install

libfastcommon 預設安裝到了

/usr/lib64/libfastcommon.so
/usr/lib64/libfdfsclient.so

(3)建立軟連結

因為 FastDFS 主程式設定的 lib 目錄是/usr/local/lib，所以需要建立軟連結.

# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
# ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

3、安裝 FastDFS

https://github.com/happyfish100/fastdfs/releases

(1)上傳或下載 FastDFS 原始碼包（FastDFS_v5.05.tar.gz）到 /usr/local/src 目錄，解壓

# cd /usr/local/src/
# tar -zxvf FastDFS_v5.05.tar.gz
# cd FastDFS

(2)編譯、安裝（編譯前要確保已經成功安裝了 libfastcommon）

# ./make.sh
# ./make.sh install

採用預設安裝的方式安裝,安裝後的相應檔案與目錄：

A、服務指令碼在：

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_tracker

B、配置檔案在（樣例配置檔案）

/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample

C、命令工具在/usr/bin/目錄下的：

fdfs_appender_test
fdfs_appender_test1
fdfs_append_file
fdfs_crc32
fdfs_delete_file
fdfs_download_file
fdfs_file_info
fdfs_monitor
fdfs_storaged
fdfs_test
fdfs_test1
fdfs_trackerd
fdfs_upload_appender
fdfs_upload_file
stop.sh
restart.sh

(4)因為 FastDFS 服務指令碼設定的 bin 目錄是/usr/local/bin，但實際命令安裝在/usr/bin，可以進入/user/bin 目錄使用以下命令檢視 fdfs 的相關命令：

# cd /usr/bin/
# ls | grep fdfs

因此需要修改 FastDFS 服務指令碼中相應的命令路徑，也就是把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_tracker 兩個指令碼中的/usr/local/bin 修改成/usr/bin：

# vi /etc/init.d/fdfs_trackerd
使用查詢替換命令進統一修改:%s+/usr/local/bin+/usr/bin
# vi /etc/init.d/fdfs_storaged
使用查詢替換命令進統一修改:%s+/usr/local/bin+/usr/bin

注意：以上操作無論是配置 tracker 還是配置 storage 都是必須的，而 tracker 和 storage 的區別主要是在安裝完 fastdfs 之後的配置過程中。

配置 FastDFS 跟蹤器 Tracker (192.168.50.135 、 192.168.50.136)

1、複製 FastDFS 跟蹤器樣例配置檔案,並重新命名

# cd /etc/fdfs/
# cp tracker.conf.sample tracker.conf

2、編輯跟蹤器配置檔案

# vi /etc/fdfs/tracker.conf

修改的內容如下：

disabled=false #啟用配置檔案
port=22122 #tracker 的埠號，一般採用 22122 這個預設埠
base_path=/fastdfs/tracker #tracker 的資料檔案和日誌目錄

（其它引數保留預設配置，具體配置解釋請參考官方文件說明： http://bbs.chinaunix.net/thread-1941456-1-1.html ）

3、建立基礎資料目錄（參考基礎目錄 base_path 配置）

# mkdir -p /fastdfs/tracker

4、防火牆中開啟跟蹤器埠（預設為 22122）

# vi /etc/sysconfig/iptables

新增如下埠行：

## FastDFS Tracker Port
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重啟防火牆：

# service iptables restart

5、啟動 Tracker

# /etc/init.d/fdfs_trackerd start

初次成功啟動，會在/fastdfs/tracker 目錄下建立 data、 logs 兩個目錄）可以通過以下兩個方法檢視 tracker 是否啟動成功:

(1)檢視 22122 埠監聽情況

netstat -unltp|grep fdfs

(2)通過以下命令檢視 tracker 的啟動日誌，看是否有錯誤

tail -100f /fastdfs/tracker/logs/trackerd.log

6、關閉 Tracker

# /etc/init.d/fdfs_trackerd stop

7、設定 FastDFS 跟蹤器開機啟動

# vi /etc/rc.d/rc.local

新增以下內容

## FastDFS Tracker
/etc/init.d/fdfs_trackerd start

配置 FastDFS 儲存 ( 192.168.50.137 、 192.168.50.138 、 192.168.50.139 、 192.168.50.140 )

1、複製 FastDFS 儲存器樣例配置檔案,並重新命名

# cd /etc/fdfs/
# cp storage.conf.sample storage.conf

2、編輯儲存器樣例配置檔案

以 group1 中的 storage 節點的 storage.conf 為例

# vi /etc/fdfs/storage.conf

修改的內容如下:

disabled=false #啟用配置檔案
group_name=group1 #組名（第一組為 group1， 第二組為 group2）
port=23000 #storage 的埠號,同一個組的 storage 埠號必須相同
base_path=/fastdfs/storage #設定 storage 的日誌目錄
store_path0=/fastdfs/storage #儲存路徑
store_path_count=1 #儲存路徑個數，需要和 store_path 個數匹配
tracker_server=192.168.50.135:22122 #tracker 伺服器的 IP 地址和埠
tracker_server=192.168.50.136:22122 #多個 tracker 直接新增多條配置
http.server_port=8888 #設定 http 埠號

（其它引數保留預設配置，具體配置解釋請參考官方文件說明：http://bbs.chinaunix.net/thread-1941456-1-1.html ）

3、建立基礎資料目錄（參考基礎目錄 base_path 配置）

# mkdir -p /fastdfs/storage

4、防火牆中開啟儲存器埠（預設為 23000）

# vi /etc/sysconfig/iptables

新增如下埠行：

## FastDFS Storage Port
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

重啟防火牆：

# service iptables restart

5、啟動 Storage

# /etc/init.d/fdfs_storaged start

（初次成功啟動，會在/fastdfs/storage 目錄下建立資料目錄 data 和日誌目錄 logs）

各節點啟動動，使用 tail -f /fastdfs/storage/logs/storaged.log 命令監聽儲存節點日誌，可以看到儲存節點連結到跟蹤器，並提示哪一個為 leader 跟蹤器。同時也會看到同一組中的其他節點加入進來的日誌資訊。
檢視 23000 埠監聽情況

netstat -unltp|grep fdfs

所有 Storage 節點都啟動之後，可以在任一 Storage 節點上使用如下命令檢視叢集資訊：

# /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

結果為：

可以看到儲存節點狀態為 ACTIVE 則可

6、關閉 Storage

# /etc/init.d/fdfs_storaged stop

7、設定 FastDFS 儲存器開機啟動

# vi /etc/rc.d/rc.local

新增：

## FastDFS Storage
/etc/init.d/fdfs_storaged start

檔案上傳測試 ( 192.168.50.135 )

1、修改 Tracker 伺服器中的客戶端配置檔案

# cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
# vi /etc/fdfs/client.conf
base_path=/fastdfs/tracker
tracker_server=192.168.50.135:22122
tracker_server=192.168.50.136:22122

2、執行如下檔案上傳命令

# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/FastDFS_v5.05.tar.gz

返回 ID 號：

group1/M00/00/00/wKgBh1Xtr9-AeTfWAAVFOL7FJU4.tar.gz
group2/M00/00/00/wKgBiVXtsDmAe3kjAAVFOL7FJU4.tar.gz

（能返回以上檔案 ID，說明檔案上傳成功）

在各儲存節點（192.168.50.137、 192.168.50.138、 192.168.50.139、 192.168.50.140）上安裝 Nginx

1、 fastdfs-nginx-module 作用說明

FastDFS 通過 Tracker 伺服器,將檔案放在 Storage 伺服器儲存，但是同組儲存伺服器之間需要進入檔案複製，有同步延遲的問題。假設 Tracker 伺服器將檔案上傳到了 192.168.50.137，上傳成功後檔案 ID已經返回給客戶端。此時 FastDFS 儲存叢集機制會將這個檔案同步到同組儲存 192.168.50.138，在檔案還沒有複製完成的情況下，客戶端如果用這個檔案 ID 在 192.168.50.138 上取檔案,就會出現檔案無法訪問的錯誤。而 fastdfs-nginx-module 可以重定向檔案連線到源伺服器取檔案,避免客戶端由於複製延遲導致的檔案無法訪問錯誤。（解壓後的 fastdfs-nginx-module 在 nginx 安裝時使用）

2、上傳 fastdfs-nginx-module_v1.16.tar.gz 到/usr/local/src，解壓

# cd /usr/local/src/
# tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

3、修改 fastdfs-nginx-module 的 config 配置檔案

# vi /usr/local/src/fastdfs-nginx-module/src/config
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
修改為： 
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

（注意：這個路徑修改是很重要的，不然在 nginx 編譯的時候會報錯的）

4、上傳Nginx的安裝包

上傳當前的穩定版本 Nginx(nginx-1.13.0.tar.gz)到/usr/local/src 目錄

5、安裝編譯 Nginx 所需的依賴包

# yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

6、編譯安裝 Nginx（新增 fastdfs-nginx-module 模組）

# cd /usr/local/src/
# tar -zxvf nginx-1.13.0.tar.gz
# cd nginx-1.13.0
# ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src
# make && make install

7、複製 fastdfs-nginx-module 原始碼中的配置檔案到/etc/fdfs 目錄，並修改

# cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
# vi /etc/fdfs/mod_fastdfs.conf

(1)第一組 Storage 的 mod_fastdfs.conf 配置如下：

connect_timeout=10
base_path=/tmp
tracker_server=192.168.1.131:22122
tracker_server=192.168.1.132:22122
storage_server_port=23000
group_name=group1
url_have_group_name = true
store_path0=/fastdfs/storage
group_count = 2
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage

(2)第一組 Storage 的 mod_fastdfs.conf 配置與第一組配置只有 group_name 不同：

group_name=group2

8、複製 FastDFS 的部分配置檔案到/etc/fdfs 目錄

# cd /usr/local/src/FastDFS/conf
# cp http.conf mime.types /etc/fdfs/

9、在/fastdfs/storage 檔案儲存目錄下建立軟連線,將其連結到實際存放資料的目錄

# ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

10、配置 Nginx，簡潔版 nginx 配置樣例

# vi /usr/local/nginx/conf/nginx.conf
user root;
worker_processes 1;
events {
	worker_connections 1024;
}
http {
	include mime.types;
	default_type application/octet-stream;
	sendfile on;
	keepalive_timeout 65;
	server {
		listen 8888;
		server_name localhost;
		location ~/group([0-9])/M00 {
			#alias /fastdfs/storage/data;
			ngx_fastdfs_module;
		}
		error_page 500 502 503 504 /50x.html;
		location = /50x.html {
			root html;
		}
	}
}

注意、說明：
A、 8888 埠值是要與/etc/fdfs/storage.conf 中的 http.server_port=8888 相對應，因為 http.server_port 預設為 8888,如果想改成 80，則要對應修改過來。

B、 Storage 對應有多個 group 的情況下，訪問路徑帶 group 名，如/group1/M00/00/00/xxx，對應的 Nginx 配置為：

location ~/group([0-9])/M00 {
	ngx_fastdfs_module;
}

C、如查下載時如發現老報 404，將 nginx.conf 第一行 user nobody 修改為 user root 後重新啟動。

11、防火牆中開啟 Nginx 的 8888 埠

# vi /etc/sysconfig/iptables
新增：
## Nginx Port
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT
重啟防火牆: # service iptables restart

12、啟動 Nginx

# /usr/local/nginx/sbin/nginx
ngx_http_fastdfs_set pid=xxx

（重啟 Nginx 的命令為： /usr/local/nginx/sbin/nginx -s reload）

設定 Nginx 開機啟動

# vi /etc/rc.local

加入：

/usr/local/nginx/sbin/nginx

13、通過瀏覽器訪問測試時上傳的檔案

http://192.168.50.137:8888/group1/M00/00/00/wKgBh1Xtr9-AeTfWAAVFOL7FJU4.tar.gz
http://192.168.50.139:8888/group2/M00/00/00/wKgBiVXtsDmAe3kjAAVFOL7FJU4.tar.gz

在跟蹤器節點（192.168.50.135、 192.168.50.136）上安裝 Nginx

1、在 tracker 上安裝的 nginx 主要為了提供 http 訪問的反向代理、負載均衡以及快取服務

2、安裝編譯 Nginx 所需的依賴包

# yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

3、上傳 ngx_cache_purge-2.3.tar.gz 到/usr/local/src，解壓

# cd /usr/local/src/
# tar -zxvf ngx_cache_purge-2.3.tar.gz

4、上傳當前的穩定版本 Nginx(nginx-1.13.0.tar.gz)到/usr/local/src 目錄

5、編譯安裝 Nginx（新增 ngx_cache_purge 模組）

# cd /usr/local/src/
# tar -zxvf nginx-1.13.0.tar.gz
# cd nginx-1.13.0
# ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/ngx_cache_purge-2.3
# make && make install

6、配置 Nginx，設定負載均衡以及快取

# vi /usr/local/nginx/conf/nginx.conf
user root;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
	worker_connections 1024;
	use epoll;
}
http {
	include mime.types;
	default_type application/octet-stream;
	#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
	# '$status $body_bytes_sent "$http_referer" '
	# '"$http_user_agent" "$http_x_forwarded_for"';
	#access_log logs/access.log main;
	sendfile on;
	tcp_nopush on;
	#keepalive_timeout 0;
	keepalive_timeout 65;
	#gzip on;
	#設定快取
	server_names_hash_bucket_size 128;
	client_header_buffer_size 32k;
	large_client_header_buffers 4 32k;
	client_max_body_size 300m;
	proxy_redirect off;
	proxy_set_header Host $http_host;
	proxy_set_header X-Real-IP $remote_addr;
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	proxy_connect_timeout 90;
	proxy_send_timeout 90;
	proxy_read_timeout 90;
	proxy_buffer_size 16k;
	proxy_buffers 4 64k;
	proxy_busy_buffers_size 128k;
	proxy_temp_file_write_size 128k;
	#設定快取儲存路徑、儲存方式、分配記憶體大小、磁碟最大空間、快取期限
	proxy_cache_path /fastdfs/cache/nginx/proxy_cache levels=1:2
	keys_zone=http-cache:200m max_size=1g inactive=30d;
	proxy_temp_path /fastdfs/cache/nginx/proxy_cache/tmp;
	#設定 group1 的伺服器
	upstream fdfs_group1 {
		server 192.168.50.137:8888 weight=1 max_fails=2 fail_timeout=30s;
		server 192.168.50.138:8888 weight=1 max_fails=2 fail_timeout=30s;
	} #
	設定 group2 的伺服器
	upstream fdfs_group2 {
		server 192.168.50.139:8888 weight=1 max_fails=2 fail_timeout=30s;
		server 192.168.50.140:8888 weight=1 max_fails=2 fail_timeout=30s;
	}
	server {
		listen 8000;
		server_name localhost;
		#charset koi8-r;
		#access_log logs/host.access.log main;
		#設定 group 的負載均衡引數
		location /group1/M00 {
			proxy_next_upstream http_502 http_504 error timeout invalid_header;
			proxy_cache http-cache;
			proxy_cache_valid 200 304 12h;
			proxy_cache_key $uri$is_args$args;
			proxy_pass http://fdfs_group1;
			expires 30d;
		}
		location /group2/M00 {
			proxy_next_upstream http_502 http_504 error timeout invalid_header;
			proxy_cache http-cache;
			proxy_cache_valid 200 304 12h;
			proxy_cache_key $uri$is_args$args;
			proxy_pass http://fdfs_group2;
			expires 30d;
		} 
		#設定清除快取的訪問許可權
		location ~/purge(/.*) {
			allow 127.0.0.1;
			allow 192.168.1.0/24;
			deny all;
			proxy_cache_purge http-cache $1$is_args$args;
		}
		#error_page 404 /404.html;
		# redirect server error pages to the static page /50x.html
		#
		error_page 500 502 503 504 /50x.html;
			location = /50x.html {
			root html;
		}
	}
}

按以上 nginx 配置檔案的要求，建立對應的快取目錄：

# mkdir -p /fastdfs/cache/nginx/proxy_cache
# mkdir -p /fastdfs/cache/nginx/proxy_cache/tmp

7、系統防火牆開啟對應的埠

# vi /etc/sysconfig/iptables
## Nginx
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT
# service iptables restart

8、啟動 Nginx

# /usr/local/nginx/sbin/nginx
重啟 Nginx
# /usr/local/nginx/sbin/nginx -s reload
設定 Nginx 開機啟動
# vi /etc/rc.local
加入： /usr/local/nginx/sbin/nginx

9、檔案訪問測試

前面直接通過訪問 Storage 節點中的 Nginx 的檔案
http://192.168.50.137:8888/group1/M00/00/00/wKgBh1Xtr9-AeTfWAAVFOL7FJU4.tar.gz
http://192.168.50.139:8888/group2/M00/00/00/wKgBiVXtsDmAe3kjAAVFOL7FJU4.tar.gz

現在可以通過 Tracker 中的 Nginx 來進行訪問

(1)通過 Tracker1 中的 Nginx 來訪問
http://192.168.50.135:8000/group1/M00/00/00/wKgBh1Xtr9-AeTfWAAVFOL7FJU4.tar.gz
http://192.168.50.135:8000/group2/M00/00/00/wKgBiVXtsDmAe3kjAAVFOL7FJU4.tar.gz

(2)通過 Tracker2 中的 Nginx 來訪問
http://192.168.50.136:8000/group1/M00/00/00/wKgBh1Xtr9-AeTfWAAVFOL7FJU4.tar.gz
http://192.168.50.136:8000/group2/M00/00/00/wKgBiVXtsDmAe3kjAAVFOL7FJU4.tar.gz

由上面的檔案訪問效果可以看到，每一個 Tracker 中的 Nginx 都單獨對後端的 Storage 組做了負載均衡，但整套 FastDFS 叢集如果想對外提供統一的檔案訪問地址，還需要對兩個 Tracker 中的 Nginx 進行 HA 叢集

使用 Keepalived + Nginx 組成的高可用負載均衡叢集做兩個 Tracker 節點中 Nginx 的負載均衡

1、參考博文《Keepalived之——Keepalived + Nginx 實現高可用 Web 負載均衡》

博文連結地址為：https://blog.csdn.net/l1028386804/article/details/72801492

2、在 Keepalived+Nginx 實現高可用負載均衡叢集中配置 Tracker 節點中 Nginx 的負載均衡反向代理

(192.168.50.133 和 192.168.50.134 中的 Nginx 執行相同的配置)

# vi /usr/local/nginx/conf/nginx.conf
user root;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
	worker_connections 1024;
}
http {
	include mime.types;
	default_type application/octet-stream;
	#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
	# '$status $body_bytes_sent "$http_referer" '
	# '"$http_user_agent" "$http_x_forwarded_for"';
	#access_log logs/access.log main;
	sendfile on;
	#tcp_nopush on;
	#keepalive_timeout 0;
	keepalive_timeout 65;
	#gzip on;
	## FastDFS Tracker Proxy
	upstream fastdfs_tracker {
		server 192.168.50.135:8000 weight=1 max_fails=2 fail_timeout=30s;
		server 192.168.50.136:8000 weight=1 max_fails=2 fail_timeout=30s;
	}
	server {
		listen 88;
		server_name localhost;
		#charset koi8-r;
		#access_log logs/host.access.log main;
		location / {
		root html;
			index index.html index.htm;
		}
		#error_page 404 /404.html;
		# redirect server error pages to the static page /50x.html
		error_page 500 502 503 504 /50x.html;
			location = /50x.html {
			root html;
		}
		## FastDFS Proxy
		location /dfs {
			root html;
			index index.html index.htm;
			proxy_pass http://fastdfs_tracker/;
			proxy_set_header Host $http_host;
			proxy_set_header Cookie $http_cookie;
			proxy_set_header X-Real-IP $remote_addr;
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
			proxy_set_header X-Forwarded-Proto $scheme;
			client_max_body_size 300m;
		}
	}
}

3、重啟 192.168.50.133 和 192.168.50.134 中的 Nginx

# /usr/local/nginx/sbin/nginx -s reload

4、通過 Keepalived+Nginx 組成的高可用負載叢集的 VIP(192.168.50.130)來訪問 FastDFS 叢集中的檔案

http://192.168.50.130:88/dfs/group1/M00/00/00/wKgBh1Xtr9-AeTfWAAVFOL7FJU4.tar.gz
http://192.168.50.130:88/dfs/group2/M00/00/00/wKgBiVXtsDmAe3kjAAVFOL7FJU4.tar.gz

注意：千萬不要使用 kill -9 命令強殺 FastDFS 程式，否則可能會導致 binlog 資料丟失。另外，大家可以到連結http://download.csdn.net/detail/l1028386804/9855529下載FastDFS叢集的配置檔案

好了，我們們今天就聊到這兒吧！別忘了給個在看和轉發，讓更多的人看到，一起學習一起進步！！

寫在最後

如果覺得文章對你有點幫助，請微信搜尋並關注「冰河技術」微信公眾號，跟冰河學習分散式儲存技術。

FastDFS分散式檔案系統
2018-01-08
AST分散式
FastDFS-分散式檔案系統
2020-11-07
AST分散式
分散式檔案系統之 FastDFS
2020-12-23
分散式AST
【FastDFS】FastDFS 分散式檔案系統的安裝與使用，看這一篇就夠了！！
2020-07-01
AST分散式
01_FastDFS分散式檔案系統
2017-03-27
AST分散式
分散式檔案系統（FastDFS）叢集
2018-01-10
分散式AST
分散式檔案系統FastDFS詳解
2018-01-08
分散式AST
輕量級分散式檔案系統fastDFS
2016-12-11
分散式AST
分散式檔案系統（FastDFS）安裝配置
2018-01-10
分散式AST
分散式檔案系統之FastDFS安裝部署
2020-09-19
分散式AST
FASTDFS開源分散式檔案系統介紹
2023-04-28
AST分散式
最簡單的分散式檔案系統 go-fastdfs
2020-03-09
分散式GoAST
分散式檔案系統fastdfs_搭建和基本使用
2020-10-15
分散式AST
分散式檔案系統fastdfs安裝以及python呼叫
2021-12-23
分散式ASTPython
分散式檔案儲存FastDFS（三）FastDFS配置
2016-01-24
分散式AST
高可用性的HDFS—Hadoop分散式檔案系統深度實踐
2012-05-21
Hadoop分散式
分散式檔案儲存系統 fastdfs 的 Composer 包釋出！
2018-12-08
分散式AST
分散式檔案儲存FastDFS（七）FastDFS配置檔案詳解
2018-04-02
分散式AST
一文搞定FastDFS分散式檔案系統配置與部署
2017-04-15
AST分散式
02 . 分散式儲存之FastDFS 高可用叢集部署
2020-07-03
分散式AST
高層次下的分散式系統
2021-03-27
分散式
Dubbo分散式架構實戰--FastDFS分散式檔案系統的安裝與使用（單節點）
2017-03-09
分散式架構AST
在一個成熟的分散式系統中如何下手做高可用？
2018-11-23
分散式
分散式檔案系統如何做？終於有個人把分散式檔案上傳講清楚了
2021-05-21
分散式
分散式檔案系統
2018-09-05
分散式
分散式系統關注點——初識「高可用」
2018-09-26
分散式
「如何設計」高可用的分散式鎖
2019-06-04
分散式
伺服器後端開發系列——《實戰FastDFS分散式檔案系統》
2012-01-21
伺服器後端AST分散式
HDFS分散式檔案系統
2020-06-05
分散式
分散式檔案系統-HDFS
2019-04-04
分散式
分散式檔案系統---GlusterFS
2018-02-28
分散式
你男朋友是高可用麼？ | 談分散式系統的概念
2019-01-19
分散式
cephFS分散式檔案系統操作
2020-11-03
分散式
jeesz分散式架構-分散式高可用
2017-03-16
分散式架構
FastDFS和Nginx實現分散式檔案伺服器
2018-02-07
ASTNginx分散式伺服器
分散式檔案系統FastDFS在CentOS7上的安裝及與Springboot的整合
2021-09-25
分散式ASTCentOSSpring Boot
這次我好像才真的明白了CSS Rem字型計算的原理
2021-05-13
CSSREM
我理解的分散式系統
2019-03-04
分散式

【FastDFS】如何打造一款高可用的分散式檔案系統？這次我明白了！！

寫在前面

FastDFS 介紹

FastDFS 叢集規劃

FastDFS 的安裝（所有跟蹤伺服器和儲存伺服器均執行如下操作）

1、 編譯和安裝所需的依賴包

2、 安裝 libfastcommon

3、安裝 FastDFS

配置 FastDFS 跟蹤器 Tracker (192.168.50.135 、 192.168.50.136)

1、 複製 FastDFS 跟蹤器樣例配置檔案,並重新命名

2、 編輯跟蹤器配置檔案

3、 建立基礎資料目錄（參考基礎目錄 base_path 配置）

4、 防火牆中開啟跟蹤器埠（預設為 22122）

5、 啟動 Tracker

6、 關閉 Tracker

7、 設定 FastDFS 跟蹤器開機啟動

配置 FastDFS 儲存 ( 192.168.50.137 、 192.168.50.138 、 192.168.50.139 、 192.168.50.140 )

1、 複製 FastDFS 儲存器樣例配置檔案,並重新命名

2、 編輯儲存器樣例配置檔案

3、 建立基礎資料目錄（參考基礎目錄 base_path 配置）

4、 防火牆中開啟儲存器埠（預設為 23000）

5、 啟動 Storage

6、 關閉 Storage

7、 設定 FastDFS 儲存器開機啟動

檔案上傳測試 ( 192.168.50.135 )

1、 修改 Tracker 伺服器中的客戶端配置檔案

在各儲存節點（192.168.50.137、 192.168.50.138、 192.168.50.139、 192.168.50.140） 上安裝 Nginx

1、 fastdfs-nginx-module 作用說明

2、上傳 fastdfs-nginx-module_v1.16.tar.gz 到/usr/local/src， 解壓

3、 修改 fastdfs-nginx-module 的 config 配置檔案

4、上傳Nginx的安裝包

5、 安裝編譯 Nginx 所需的依賴包

6、 編譯安裝 Nginx（新增 fastdfs-nginx-module 模組）

7、 複製 fastdfs-nginx-module 原始碼中的配置檔案到/etc/fdfs 目錄， 並修改

8、 複製 FastDFS 的部分配置檔案到/etc/fdfs 目錄

9、 在/fastdfs/storage 檔案儲存目錄下建立軟連線,將其連結到實際存放資料的目錄

10、 配置 Nginx， 簡潔版 nginx 配置樣例

11、 防火牆中開啟 Nginx 的 8888 埠

12、 啟動 Nginx

13、 通過瀏覽器訪問測試時上傳的檔案

在跟蹤器節點（192.168.50.135、 192.168.50.136）上安裝 Nginx

1、 在 tracker 上安裝的 nginx 主要為了提供 http 訪問的反向代理、負載均衡以及快取服務

2、 安裝編譯 Nginx 所需的依賴包

3、上傳 ngx_cache_purge-2.3.tar.gz 到/usr/local/src，解壓

4、 上傳當前的穩定版本 Nginx(nginx-1.13.0.tar.gz)到/usr/local/src 目錄

5、 編譯安裝 Nginx（新增 ngx_cache_purge 模組）

6、配置 Nginx， 設定負載均衡以及快取

7、系統防火牆開啟對應的埠

8、 啟動 Nginx

9、 檔案訪問測試

使用 Keepalived + Nginx 組成的高可用負載均衡叢集做兩個 Tracker 節點中 Nginx 的負載均衡

1、參考博文《Keepalived之——Keepalived + Nginx 實現高可用 Web 負載均衡》

3、 重啟 192.168.50.133 和 192.168.50.134 中的 Nginx

4、 通過 Keepalived+Nginx 組成的高可用負載叢集的 VIP(192.168.50.130)來訪問 FastDFS 叢集中的檔案

寫在最後

相關文章

1、編譯和安裝所需的依賴包

2、安裝 libfastcommon

1、複製 FastDFS 跟蹤器樣例配置檔案,並重新命名

2、編輯跟蹤器配置檔案

3、建立基礎資料目錄（參考基礎目錄 base_path 配置）

4、防火牆中開啟跟蹤器埠（預設為 22122）

5、啟動 Tracker

6、關閉 Tracker

7、設定 FastDFS 跟蹤器開機啟動

1、複製 FastDFS 儲存器樣例配置檔案,並重新命名

2、編輯儲存器樣例配置檔案

3、建立基礎資料目錄（參考基礎目錄 base_path 配置）

4、防火牆中開啟儲存器埠（預設為 23000）

5、啟動 Storage

6、關閉 Storage

7、設定 FastDFS 儲存器開機啟動

1、修改 Tracker 伺服器中的客戶端配置檔案

在各儲存節點（192.168.50.137、 192.168.50.138、 192.168.50.139、 192.168.50.140）上安裝 Nginx

2、上傳 fastdfs-nginx-module_v1.16.tar.gz 到/usr/local/src，解壓

3、修改 fastdfs-nginx-module 的 config 配置檔案

5、安裝編譯 Nginx 所需的依賴包

6、編譯安裝 Nginx（新增 fastdfs-nginx-module 模組）

7、複製 fastdfs-nginx-module 原始碼中的配置檔案到/etc/fdfs 目錄，並修改

8、複製 FastDFS 的部分配置檔案到/etc/fdfs 目錄

9、在/fastdfs/storage 檔案儲存目錄下建立軟連線,將其連結到實際存放資料的目錄

10、配置 Nginx，簡潔版 nginx 配置樣例

11、防火牆中開啟 Nginx 的 8888 埠

12、啟動 Nginx

13、通過瀏覽器訪問測試時上傳的檔案

1、在 tracker 上安裝的 nginx 主要為了提供 http 訪問的反向代理、負載均衡以及快取服務

2、安裝編譯 Nginx 所需的依賴包

4、上傳當前的穩定版本 Nginx(nginx-1.13.0.tar.gz)到/usr/local/src 目錄

5、編譯安裝 Nginx（新增 ngx_cache_purge 模組）

6、配置 Nginx，設定負載均衡以及快取

8、啟動 Nginx

9、檔案訪問測試

3、重啟 192.168.50.133 和 192.168.50.134 中的 Nginx

4、通過 Keepalived+Nginx 組成的高可用負載叢集的 VIP(192.168.50.130)來訪問 FastDFS 叢集中的檔案