【FastDFS】FastDFS 分散式檔案系統的安裝與使用，看這一篇就夠了！！

冰河團隊發表於2020-07-01

寫在前面

有不少小夥伴在實際工作中，對於如何儲存檔案（圖片、視訊、音訊等）沒有一個很好的解決思路。都明白不能將檔案儲存在單臺伺服器的磁碟上，也知道需要將檔案進行副本備份。如果自己手動寫檔案的副本機制，那就太麻煩了，這會涉及冗餘副本機制、伺服器的排程、副本檢測、伺服器節點檢測、檔案副本存放策略、網路環境檢測等等一系列的難題。瞭解Hadoop的小夥伴，會自然而然的想到HDFS，沒錯，HDFS可以儲存檔案，也能夠將大檔案切分成一個個檔案塊進行儲存，還能夠根據配置自動提供冗餘副本機制，不用我們自己去處理複雜的冗餘副本機制，也不用處理伺服器的排程、副本檢測、伺服器節點檢測、檔案副本存放策略、網路環境檢測等等一系列的難題。不過，HDFS適合儲存大檔案，原因是檔案的後設資料資訊全部儲存在NameNode節點中，如果使用HDFS大量的儲存小檔案，則會使NameNode的記憶體佔用率迅速上升，NameNode節點會成為整個叢集環境的瓶頸。

基於種種原因的考慮，今天，我為大家推薦一款高效能的分散式檔案系統——FastDFS，FastDFS同樣能夠提供冗餘副本機制，也能夠處理上述所說的種種問題。不多說了，我們進入主題吧。

前期準備

跟蹤伺服器： 192.168.50.131 (liuyazhuang131)
儲存伺服器： 192.168.50.132 (liuyazhuang132)
環境： CentOS 6.5
使用者： root
資料目錄： /fastdfs （注：資料目錄按你的資料盤掛載路徑而定）

安裝包：

FastDFS v5.05
libfastcommon-master.zip（是從 FastDFS 和 FastDHT 中提取出來的公共 C 函式庫）
fastdfs-nginx-module_v1.16.tar.gz
nginx-1.6.2.tar.gz
fastdfs_client_java._v1.25.tar.gz

原始碼地址： https://github.com/happyfish100/
下載地址： http://sourceforge.net/projects/fastdfs/files/
官方論壇： http://bbs.chinaunix.net/forum-240-1.html

所有伺服器執行的操作

1、編譯和安裝所需的依賴包

# yum install make cmake gcc gcc-c++

2、安裝 libfastcommon

(1)上傳或下載 libfastcommon-master.zip 到/usr/local/src 目錄

(2)解壓

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master

(3) 編譯、安裝

# ./make.sh
# ./make.sh install

libfastcommon 預設安裝到了如下位置。

/usr/lib64/libfastcommon.so
/usr/lib64/libfdfsclient.so

(4)因為 FastDFS 主程式設定的 lib 目錄是/usr/local/lib，所以需要建立軟連結

# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
# ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

3、安裝 FastDFS

(1)上傳或下載 FastDFS 原始碼包（FastDFS_v5.05.tar.gz）到 /usr/local/src 目錄

(2)解壓

# cd /usr/local/src/
# tar -zxvf FastDFS_v5.05.tar.gz
# cd FastDFS

(3)編譯、安裝（編譯前要確保已經成功安裝了 libfastcommon）

# ./make.sh
# ./make.sh install

採用預設安裝的方式安裝,安裝後的相應檔案與目錄：

A、服務指令碼在：

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_tracker

B、配置檔案在（樣例配置檔案）

/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample

C、命令工具在/usr/bin/目錄下的

fdfs_appender_test
fdfs_appender_test1
fdfs_append_file
fdfs_crc32
fdfs_delete_file
fdfs_download_file
fdfs_file_info
fdfs_monitor
fdfs_storaged
fdfs_test
fdfs_test1
fdfs_trackerd
fdfs_upload_appender
fdfs_upload_file
stop.sh
restart.sh

(4)因為 FastDFS 服務指令碼設定的 bin 目錄是/usr/local/bin，但實際命令安裝在/usr/bin，可以進入/user/bin 目錄使用以下命令檢視 fdfs 的相關命令：

# cd /usr/bin/
# ls | grep fdfs

因此需要修改 FastDFS 服務指令碼中相應的命令路徑，也就是把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_trackerd 兩個指令碼中的/usr/local/bin 修改成/usr/bin：

# vi fdfs_trackerd

使用查詢替換命令進統一修改:%s+/usr/local/bin+/usr/bin

# vi fdfs_storaged

使用查詢替換命令進統一修改:%s+/usr/local/bin+/usr/bin

注：使用查詢替換命令為進入vi / vim編輯器，按下esc鍵，輸入冒號(:),再輸入%s+/usr/local/bin+/usr/bin即可把所有的/usr/local/bin修改為/usr/bin

配置 FastDFS 跟蹤器(192.168.50.131)

1、複製 FastDFS 跟蹤器樣例配置檔案

複製 FastDFS 跟蹤器樣例配置檔案,並重新命名:

# cd /etc/fdfs/

# cp tracker.conf.sample tracker.conf

2、編輯跟蹤器配置檔案

# vi /etc/fdfs/tracker.conf

修改的內容如下：

disabled=false
port=22122
base_path=/fastdfs/tracker

（其它引數保留預設配置，具體配置解釋請參考官方文件說明：http://bbs.chinaunix.net/thread-1941456-1-1.html ）

3、建立基礎資料目錄（參考基礎目錄 base_path 配置）

# mkdir -p /fastdfs/tracker

4、防火牆中開啟跟蹤器埠（預設為 22122）

# vi /etc/sysconfig/iptables

新增如下埠行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重啟防火牆

# service iptables restart

5、啟動 Tracker

# /etc/init.d/fdfs_trackerd start

（初次成功啟動，會在/fastdfs/tracker 目錄下建立 data、 logs 兩個目錄）

檢視 FastDFS Tracker 是否已成功啟動。

# ps -ef | grep fdfs

6、關閉 Tracker

# /etc/init.d/fdfs_trackerd stop

7、設定 FastDFS 跟蹤器開機啟動

# vi /etc/rc.d/rc.local

新增以下內容

## FastDFS Tracker
/etc/init.d/fdfs_trackerd start

配置 FastDFS 儲存(192.168.50.132)

1、複製 FastDFS 儲存器樣例配置檔案

複製 FastDFS 儲存器樣例配置檔案,並重新命名

# cd /etc/fdfs/

# cp storage.conf.sample storage.conf

2、編輯儲存器樣例配置檔案

# vi /etc/fdfs/storage.conf

修改的內容如下:

disabled=false
port=23000
base_path=/fastdfs/storage
store_path0=/fastdfs/storage
tracker_server=192.168.50.131:22122
http.server_port=8888

（其它引數保留預設配置，具體配置解釋請參考官方文件說明：http://bbs.chinaunix.net/thread-1941456-1-1.html ）

3、建立基礎資料目錄（參考基礎目錄 base_path 配置）

# mkdir -p /fastdfs/storage

4、防火牆中開啟儲存器埠（預設為 23000）

# vi /etc/sysconfig/iptables

新增如下埠行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

重啟防火牆：

# service iptables restart

5、啟動 Storage

# /etc/init.d/fdfs_storaged start

（初次成功啟動，會在/fastdfs/storage 目錄下建立 data、 logs 兩個目錄）

檢視 FastDFS Storage 是否已成功啟動

# ps -ef | grep fdfs

6、關閉 Storage

# /etc/init.d/fdfs_storaged stop

7、設定 FastDFS 儲存器開機啟動

# vi /etc/rc.d/rc.local

新增：

## FastDFS Storage
/etc/init.d/fdfs_storaged start

檔案上傳測試(192.168.50.131)

1、修改 Tracker 伺服器中的客戶端配置檔案

# cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
# vi /etc/fdfs/client.conf
base_path=/fastdfs/tracker
tracker_server=192.168.50.131:22122

2、執行如下檔案上傳命令

# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/FastDFS_v5.05.tar.gz

返回 ID 號： group1/M00/00/00/wKgEfVUYNYeAb7XFAAVFOL7FJU4.tar.gz（能返回以上檔案 ID，說明檔案上傳成功）

在每個儲存節點上安裝 nginx

1、 fastdfs-nginx-module 作用說明

FastDFS 通過 Tracker 伺服器,將檔案放在 Storage 伺服器儲存，但是同組儲存伺服器之間需要進入檔案複製，有同步延遲的問題。假設 Tracker 伺服器將檔案上傳到了 192.168.50.132，上傳成功後檔案 ID已經返回給客戶端。此時 FastDFS 儲存叢集機制會將這個檔案同步到同組儲存 192.168.50.133，在檔案還沒有複製完成的情況下，客戶端如果用這個檔案 ID 在 192.168.50.133 上取檔案,就會出現檔案無法訪問的錯誤。而 fastdfs-nginx-module 可以重定向檔案連線到源伺服器取檔案,避免客戶端由於複製延遲導致的檔案無法訪問錯誤。（解壓後的 fastdfs-nginx-module 在 nginx 安裝時使用）

2、上傳 fastdfs-nginx-module_v1.16.tar.gz 到/usr/local/src

3、解壓

# cd /usr/local/src/
# tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

4、修改 fastdfs-nginx-module 的 config 配置檔案

# cd fastdfs-nginx-module/src
# vi config
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
修改為：
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

（注意：這個路徑修改是很重要的，不然在 nginx 編譯的時候會報錯的）

5、上傳當前的穩定版本 Nginx(nginx-1.13.0.tar.gz)到/usr/local/src 目錄

6、安裝編譯 Nginx 所需的依賴包

# yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel

7、編譯安裝 Nginx（新增 fastdfs-nginx-module 模組）

# cd /usr/local/src/
# tar -zxvf nginx-1.13.0.tar.gz
# cd nginx-1.13.0
# ./configure --add-module=/usr/local/src/fastdfs-nginx-module/src
# make && make install

8、複製 fastdfs-nginx-module

複製 fastdfs-nginx-module 原始碼中的配置檔案到/etc/fdfs 目錄，並修改

# cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
# vi /etc/fdfs/mod_fastdfs.conf

修改以下配置：

connect_timeout=10
base_path=/tmp
tracker_server=192.168.50.131:22122
storage_server_port=23000
group_name=group1
url_have_group_name = true
store_path0=/fastdfs/storage

9、複製 FastDFS 的部分配置檔案到/etc/fdfs 目錄

# cd /usr/local/src/FastDFS/conf
# cp http.conf mime.types /etc/fdfs/

10、在/fastdfs/storage 檔案儲存目錄下建立軟連線,將其連結到實際存放資料的目錄

# ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

11、配置 Nginx

簡潔版 nginx 配置樣例：

user root;
worker_processes 1;
events {
	worker_connections 1024;
}
http {
	include mime.types;
	default_type application/octet-stream;
	sendfile on;
	keepalive_timeout 65;
	server {
		listen 8888;
		server_name localhost;
		location ~/group([0-9])/M00 {
			#alias /fastdfs/storage/data;
			ngx_fastdfs_module;
		}
		error_page 500 502 503 504 /50x.html;
		location = /50x.html {
			root html;
		}
	}
}

注意、說明：
A、 8888 埠值是要與/etc/fdfs/storage.conf 中的 http.server_port=8888 相對應，因為 http.server_port 預設為 8888,如果想改成 80，則要對應修改過來。
B、 Storage 對應有多個 group 的情況下，訪問路徑帶 group 名，如/group1/M00/00/00/xxx，對應的 Nginx 配置為：

location ~/group([0-9])/M00 {
	ngx_fastdfs_module;
}

C、如查下載時如發現老報 404，將 nginx.conf 第一行 user nobody 修改為 user root 後重新啟動。

12、防火牆中開啟 Nginx 的 8888 埠

# vi /etc/sysconfig/iptables

新增：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

重啟防火牆

# service iptables restart

13、啟動 Nginx

# /usr/local/nginx/sbin/nginx

啟動成功後會輸入：

ngx_http_fastdfs_set pid=xxx

（重啟 Nginx 的命令為： /usr/local/nginx/sbin/nginx -s reload）

14、通過瀏覽器訪問測試時上傳的檔案

http://192.168.50.132:8888/group1/M00/00/00/wKgyhFkWubGAcwrWAAVFOL7FJU4.tar.gz

注意：千萬不要使用 kill -9 命令強殺 FastDFS 程式，否則可能會導致 binlog 資料丟失。另外，大家可以到連結http://download.csdn.net/detail/l1028386804/9841444下載FastDFS_v5.05_安裝包、工具包

好了，我們們今天就聊到這兒吧！別忘了給個在看和轉發，讓更多的人看到，一起學習一起進步！！

寫在最後

如果覺得文章對你有點幫助，請微信搜尋並關注「冰河技術」微信公眾號，跟冰河學習分散式儲存技術。

分散式檔案系統之FastDFS安裝部署
2020-09-19
分散式AST
分散式檔案系統fastdfs安裝以及python呼叫
2021-12-23
分散式ASTPython
FastDFS-分散式檔案系統
2020-11-07
AST分散式
分散式檔案系統之 FastDFS
2020-12-23
分散式AST
分散式檔案系統fastdfs_搭建和基本使用
2020-10-15
分散式AST
分散式檔案系統FastDFS在CentOS7上的安裝及與Springboot的整合
2021-09-25
分散式ASTCentOSSpring Boot
FASTDFS開源分散式檔案系統介紹
2023-04-28
AST分散式
分散式檔案儲存FastDFS（七）FastDFS配置檔案詳解
2018-04-02
分散式AST
最簡單的分散式檔案系統 go-fastdfs
2020-03-09
分散式GoAST
【FastDFS】如何打造一款高可用的分散式檔案系統？這次我明白了！！
2020-07-02
AST分散式
【FastDFS】SpringBoot整合FastDFS實戰，我只看這一篇！！
2020-09-29
ASTSpring Boot
分散式檔案儲存系統 fastdfs 的 Composer 包釋出！
2018-12-08
分散式AST
分散式事務，只看這一篇就夠了
2018-08-09
分散式
ZooKeeper分散式配置——看這篇就夠了
2021-10-21
分散式
虛擬機器安裝及使用Linux，看這一篇就夠了！
2019-11-28
虛擬機Linux
Git 看這一篇就夠了
2020-10-14
Git
索引？看這一篇就夠了！
2020-04-04
索引
Transformer 看這一篇就夠了
2020-12-03
ORM
linux安裝fastdfs
2024-05-06
LinuxAST
Spring中的BeanFactory與FactoryBean看這一篇就夠了
2020-11-03
SpringBean
分散式檔案系統之MogileFS的安裝使用
2020-09-16
分散式
代理模式看這一篇就夠了
2018-11-13
模式
Flutter DataTable 看這一篇就夠了
2020-03-04
Flutter
Java 集合看這一篇就夠了
2020-10-15
Java
macOS 安裝 Nebula Graph 看這篇就夠了
2022-04-25
Mac
FastDFS安裝及使用（開山篇）
2018-12-21
AST
2300+字！在不同系統上安裝Docker！看這一篇文章就夠了
2021-07-09
Docker
入門Hbase，看這一篇就夠了
2019-02-15
Spring入門看這一篇就夠了
2018-03-13
Spring
Mybatis入門看這一篇就夠了
2018-03-12
MyBatis
關於SwiftUI，看這一篇就夠了
2020-06-24
SwiftUI
瞭解 MongoDB 看這一篇就夠了
2020-01-08
MongoDB
flex佈局看這一篇就夠了
2020-11-15
Flex
Python操作MongoDB看這一篇就夠了
2018-04-23
PythonMongoDB
ActiveMq 之JMS 看這一篇就夠了
2021-07-11
MQ
Elasticsearch入門，看這一篇就夠了
2021-05-17
Elasticsearch
jQuery入門看這一篇就夠了
2021-04-18
jQuery
MySQL入門看這一篇就夠了
2020-12-09
MySql

【FastDFS】FastDFS 分散式檔案系統的安裝與使用，看這一篇就夠了！！

寫在前面

前期準備

所有伺服器執行的操作

1、編譯和安裝所需的依賴包

2、 安裝 libfastcommon

3、安裝 FastDFS

配置 FastDFS 跟蹤器(192.168.50.131)

1、複製 FastDFS 跟蹤器樣例配置檔案

2、編輯跟蹤器配置檔案

3、建立基礎資料目錄（參考基礎目錄 base_path 配置）

4、防火牆中開啟跟蹤器埠（預設為 22122）

5、啟動 Tracker

6、 關閉 Tracker

7、設定 FastDFS 跟蹤器開機啟動

配置 FastDFS 儲存(192.168.50.132)

1、 複製 FastDFS 儲存器樣例配置檔案

2、編輯儲存器樣例配置檔案

3、建立基礎資料目錄（參考基礎目錄 base_path 配置）

4、 防火牆中開啟儲存器埠（預設為 23000）

5、啟動 Storage

6、關閉 Storage

7、設定 FastDFS 儲存器開機啟動

檔案上傳測試(192.168.50.131)

1、修改 Tracker 伺服器中的客戶端配置檔案

2、執行如下檔案上傳命令

在每個儲存節點上安裝 nginx

1、 fastdfs-nginx-module 作用說明

2、上傳 fastdfs-nginx-module_v1.16.tar.gz 到/usr/local/src

3、解壓

4、修改 fastdfs-nginx-module 的 config 配置檔案

5、上傳當前的穩定版本 Nginx(nginx-1.13.0.tar.gz)到/usr/local/src 目錄

6、安裝編譯 Nginx 所需的依賴包

7、編譯安裝 Nginx（新增 fastdfs-nginx-module 模組）

8、複製 fastdfs-nginx-module

9、複製 FastDFS 的部分配置檔案到/etc/fdfs 目錄

10、在/fastdfs/storage 檔案儲存目錄下建立軟連線,將其連結到實際存放資料的目錄

11、配置 Nginx

12、防火牆中開啟 Nginx 的 8888 埠

13、啟動 Nginx

14、通過瀏覽器訪問測試時上傳的檔案

寫在最後

相關文章

2、安裝 libfastcommon

6、關閉 Tracker

1、複製 FastDFS 儲存器樣例配置檔案

4、防火牆中開啟儲存器埠（預設為 23000）