早在2020年，VMware就釋出了vSphere7、vSAN7、VCF4等等產品的更新，當時隨著雲原生的火熱，基於容器技術的現代應用程式快速發展，Docker、Kubernetes這些容器平臺被廣泛使用，用於構建、執行、管理、連線和保護這些現代化容器應用程式，隨後，VMware 也釋出了自己的雲原生Tanzu平臺，而當時在vSAN7的更新中也新增了這樣一個基於容器服務的功能，也就是vSAN 檔案服務。
官方的解釋，vSAN 檔案服務由vSAN分散式檔案系統(vDFS)和儲存服務平臺組成，前者透過聚合vSAN物件來提供可擴充套件檔案系統，後者提供彈性檔案伺服器端點和控制平面以用於部署、管理和監控。在配置vSAN檔案服務的時候，會在每個主機上放置一個檔案服務虛擬機器(FSVM)。FSVM用於管理vSAN資料儲存中的檔案共享。每個FSVM都包含一個可同時提供NFS和SMB服務的檔案伺服器。
vSAN 檔案服務利用了這個代理或Appliance虛擬機器，並且在每個代理虛擬機器中都執行一個容器或“Protocol Stack”，而這個“Protocol Stack”將檔案系統公開為NFS或SMB檔案共享所訪問的內容。
vSAN 檔案服務是作為vSAN的一部分進行管理、監控和更新的。可以為每一個檔案共享提供基於現有vSAN儲存策略的管理，與vSAN虛擬物件和Skyline Health完全整合，並針對檔案伺服器代理和實際檔案共享本身進行一組健康檢查。
vSAN 檔案服務在vSAN7，也就是vSphere7.0才提供該功能，如果你是之前的版本，則需要升級到7.0及更新的版本，其實7.0初版本的檔案服務功能並不完善，比如在7.0 U1之後才支援SMB檔案共享，在7.0 U2之後才支援雙節點和延伸vSAN叢集。所以，如果是傳統的vSAN架構，VMware叫Original Storage Architecture(OSA)原始儲存架構，可以直接升級到vSAN 7.0 U3及更新的版本，不過本次的主題不是OSA，而是VMware在最新的vSphere8、vSAN8中支援的全新一代vSAN架構，叫Express Storage Architecture(ESA)快速儲存架構，關於兩種架構的區別可以看這篇VMware中文部落格的文章（VMware vSAN OSA & ESA 技術簡介），vSAN 8 ESA架構在vSAN 8.0 U2才支援vSAN 檔案服務。
我們知道，早在vSAN7之前，vSAN服務就提供了基於塊儲存的iSCSI功能，現在基於檔案儲存的FS檔案服務功能也在vSAN得以實現，也算是彌補了vSAN分散式儲存的功能缺失吧，當然這些應用並不是說每個人都能用到，可能現在有點雞肋，也不是所有能力都能實現，我想既然存在即合理吧，未來某一天萬一恰巧需要呢，也許有總比沒有好是吧？！
本文主要涉及以下內容：
- vSAN檔案服務限制和注意。
- 配置和啟動vSAN檔案服務。
- vSAN檔案服務相關資訊。
- 建立和使用vSAN檔案共享。
- vSAN檔案服務升級更新。
一、vSAN檔案服務限制和注意
在配置和使用vSAN 檔案服務時，需要考慮以下限制和注意事項：
- vSAN7.0僅支援NFS v3和NFS v4.1。
- vSAN7.0 U1支援Kerberos身份認證、SMB v2.1和v3、Active Directory目錄服務身份驗證。但不支援以下選擇：
- 用於加入域的只讀域控制器 (Read-Only Domain Controller, RODC)，因為 RODC 無法建立計算機帳戶。最佳的安全做法是，在 Active Directory 中預先建立一個專用組織單位，並且這裡提到的使用者名稱應控制該組織。
- 非連續名稱空間。
- 組織單位 (Organizational Unit, OU) 名稱中使用空格。
- 多域和單域 Active Directory 林環境。
- vSAN7.0 U2在雙節點和延伸叢集受支援。
- vSAN7.0 U2開始支援傳輸中資料加密。
- vSAN7.0 U2開始支援SCSI剪裁/取消對映空間回收。
- vSAN7.0 U2開始支援每個叢集的檔案共享最大數為100個。
- vSAN7.0 U2開始及更高版本中，最多隻能置備64個活動FSVM虛擬機器代理。
- 使用vSAN7.0 U1，最多32個活動FSVM虛擬機器代理。
- 使用vSAN7.0，最多8個活動FSVM虛擬機器代理。
- vSAN7.0 U3開始支援基於訪問的列舉。
- vSAN8.0 支援使用IPv6網路建立檔案服務域。
- vSAN8.0 U1支援掛載用作vSphere 內容庫和ISO的儲存庫。
- vSAN8.0 U2在ESA快速儲存架構中受支援。
- FSVM虛擬機器代理預配了4個vCPU和8GB記憶體。
- ESXi主機可以掛載NFS檔案共享，但是上面不能執行虛擬機器（同iSCSI服務一樣）。
- ESXi主機進入維護模式時，FSVM虛擬機器將關閉電源，檔案服務將轉移至其他FSVM，並且不再被刪除（7.0 U3之後）。主機退出維護模式時，FSVM虛擬機器自動開啟電源。
- vSAN 檔案共享的最大大小等於vSAN叢集儲存的最大大小。
- vSAN 檔案服務不支援同時使用NFS 和 SMB訪問單個共享。
- vSAN 檔案服務透過軟共享配額和硬共享配額來管理容量消耗，達到硬共享配額後將不支援寫操作。
- vSAN 檔案服務在具有“僅計算”節點的群集上不受支援。
- vSAN 檔案服務可用於為雲原生容器工作負載和傳統工作負載置備檔案共享。
- vSAN 檔案服務開啟要求vSAN標準叢集中至少需要3臺主機，至多64臺主機（主要受叢集主機數量的限制）。
- vSAN 檔案服務虛擬機器(FSVM)Docker 內部網路使用了172.17.0.0/16網段，不應該將檔案服務網路與之重疊。
- vSAN 檔案服務虛擬機器(FSVM)服務網路：
- 如果使用的是基於VSS標準交換機的網路，則會在vSAN檔案服務啟用過程中啟用混雜模式和偽傳輸。
- 如果使用的是基於DVS的網路，則DVS版本6.6.0或更高版本支援vSAN檔案服務。請在DVS中為vSAN檔案服務建立專用埠組。在vSAN檔案服務啟用過程中會為提供的DVS埠組啟用MacLearning和偽傳輸。
- 如果使用的是基於NSX的網路，請確保從NSX管理控制檯為提供的網路實體啟用MacLearning，並將所有主機和檔案服務節點連線到所需的NSX-T網路。
二、配置和啟動vSAN檔案服務
vSAN 8 ESA標準叢集環境準備了4臺主機，每臺主機的ESXi版本是8.0 U2（內部版本號22380479），vCenter Server的版本是8.0 U2b（內部版本號23319993）。
點選叢集配置-vSAN-服務，展開檔案服務，點選啟用。
選擇FSVM代理虛擬機器所使用的網路，檔案服務代理選擇手動載入OVF-瀏覽-新增vSAN 8 U2檔案服務OVF部署模板，點選啟用。
如果新增的OVF模板不受ESA支援，則會提示報錯。
如果想要刪除上傳的OVF模板，預設OVF模板儲存在vCenter上的/storage/updatemgr/vsan/fileService/目錄當中，直接使用rm -rf /storage/updatemgr/vsan/fileService/ovf-8.0.2.1000-22380479命令刪除即可。
點選啟動後，OVF模板完成上傳，如果叢集配置了DRS，則會自動建立名為ESX Agents的資源池，並開始為叢集內每臺主機部署一個FSVM檔案服務虛擬機器。
下面開始配置檔案服務，展開叢集配置-vSAN-服務-檔案服務，點選配置檔案服務域。
設定檔案服務域名字，通常情況一個叢集為一個服務域。
設定FSVM代理虛擬機器的網路，包含靜態IP地址、閘道器、子網掩碼、DNS伺服器等，需要提前配好域名解析，預設情況下，IP池的第一行地址為檔案服務的主服務地址，也就是說預設情況會以這個地址作為對外提供檔案共享的單一訪問地址，可根據需要自行進行設定。
配置是否開啟Active Directory目錄服務，在檔案服務域中使用基於Kerberos身份驗證的SMB共享或NFS共享需要Active Directory配置。如果不勾選，則檔案服務域只能配置使用基於AUTH_SYS身份驗證的NFS共享，當然也可以在後期去重新勾選以啟用支援目錄服務。
最後，檢查配置，點選完成。
稍等片刻，檔案服務完成配置並啟動。
三、vSAN檔案服務相關資訊
我之前給FSVM虛擬機器選擇的網路基於標準交換機，所以可以看到混雜模式和偽傳輸被配置為了接受。
FSVM虛擬機器代理由 vSphere ESX Agent Manager 完全管理，你不應該對這些代理進行任何干預操作。
FSVM虛擬機器代理有自己的儲存策略（FSVM_Profile_DO_NOT_MODIFY），它是RAID-0，不受跨主機保護，彈性由容器層自動處理，你不應修改該策略！
可以透過vSAN虛擬機器物件檢視FSVM虛擬機器代理和檔案服務根檔案系統的詳細放置資訊，檢視哪些主機和哪些物理儲存裝置用於放置檔案共享物件的元件。
vSAN 檔案服務的健康狀況已被整合在Skyline Health統一監控告警介面，執行檢查可以更加直觀的檢視檔案服務的狀態。
啟動vSAN 檔案服務後，檔案系統開銷在vSAN儲存中所佔用的空間。
vSAN 效能監控皮膚檢視檔案共享的I/O、延遲等，目前還沒有檔案共享。
標準的vSAN 虛擬機器物件的Object class是vmnamespace。
如果是vSAN 檔案服務釋出的檔案共享虛擬物件的Object class被標識為了vdfs。
四、建立和使用vSAN檔案共享
目前環境中，準備了一臺131centos-vm01的虛擬機器（CentOS 7.9）充當檔案共享的客戶端進行測試。
對於Linux發行版以最小化方式進行安裝的話預設沒有安裝NFS服務，需要手動在Linux當中安裝NFS：
yum install -y nfs-utils //安裝nfs服務
systemctl start nfs //啟動nfs服務
systemctl enable nfs //將nfs服務加入開機自啟
systemctl status nfs //檢視nfs服務狀態
firewall-cmd --add-service=nfs --permanent //防火牆放開nfs注：對於基於 RHEL 的 Linux 分發版，RHEL 7.3 和執行核心 3.10.0-514 或更高版本的 CentOS 7.3-1611 中均提供了 NFS 4.1 支援。對於基於 Debian 的 Linux 分發版，Linux 核心版本 4.0.0 或更高版本中提供了 NFS 4.1 支援。所有 NFS 客戶端都必須具有唯一的主機名，這樣 NFSv 4.1 才能正常工作。
下面開始建立vSAN 檔案共享，展開叢集配置-vSAN-檔案共享，點選新增。
填入檔案共享的名字，選擇檔案共享的協議（支援NFS和SMB）和版本（預設選NFS 4.1和NFS 3都支援即可），安全模式沒法選擇（支援AUTH_SYS 或 Kerberos），因為目前沒有啟動目錄服務，選擇檔案共享的儲存策略，我這裡按vSAN 8 ESA選擇的最佳預設儲存策略即可，我這裡4臺主機，最佳的是RAID5（2+1），支援更少的主機（3臺），與RAID1相媲美的效能。儲存空間配額設定，因為是測試所以硬配額設為10GB，軟配額也就是告警閾值為8GB即可，標籤可設可不設，我這裡設定Linux:CentOS就行。
配置檔案共享的網路訪問許可權，可以設定為無權訪問、允許任何IP進行訪問或者指定某個網段進行訪問，以及訪問許可權是無權訪問、只讀還是讀取/寫入，根許可權壓縮（Root Squash）是可選項，該選項是NFS當中的一項安全功能，可以配置檔案共享客戶端是否具有同伺服器端相同的root使用者的許可權。
檢查確定沒問題，點選完成。
建立完後，點選檢視剛剛建立好的檔案共享的詳細資訊（名稱左邊的小長方形），可以看到檔案共享配置的資訊。
檢視vSAN檔案共享的實際物理儲存位置。
效能皮膚暫時沒有資料，目前還沒有客戶端訪問使用。
可以對該檔案共享建立快照，這是在vSAN 7 U2中引入的快照機制，允許VMware的備份合作伙伴和獨立軟體供應商（ISV）在其備份解決方案中提供vSAN 檔案服務共享中檔案的時間點備份和恢復功能。快照機制的全部功能可透過API訪問。使用檔案共享快照作為備份源需要支援該功能的備份產品。備份供應商目前正在努力為vSAN 檔案共享提供支援。在此之前，組織可以使用PowerCLI和備份供應商的PowerShell模組將新建立的快照新增為備份源。有關演示此功能的精彩部落格文章，請參閱“備份 vSAN 檔案共享”。
如果想新增、修改、刪除檔案共享，可以隨時在這個介面操作即可；如果客戶端要掛載共享，可以點選上面的複製路徑即可在客戶端進行配置，非常方便。
現在服務端檔案共享已經完成，下面在客戶端上配置和使用該NFS檔案共享。
我們先來看一下，我們在配置檔案服務域的時候為FSVM配置了靜態IP地址（一般建議是主機多少臺配置多少個），這裡面會設定一個主服務地址，一般配置了這個主服務地址後，所有的檔案共享都透過這個單一地址進行訪問。
我們在客戶端上使用showmount -e命令來看一下我們剛剛建立好的檔案共享是怎麼分配的（如下圖）。可以發現，只有在主服務地址下才有檔案共享，其他的地址下面沒有。
我們再來看一下NFS v3和NFS v4.1的檔案共享有什麼區別，透過上面的連結複製，你可以看到以下內容：
vsan8fs1.lab.com:/fs-to-centos-test01 //NFS v3檔案共享的連結
vsan8fs1.lab.com:/vsanfs/fs-to-centos-test01 //NFS v4.1檔案共享的連結當我們使用NFS v4.1進行檔案共享時，我們需要加上根共享（/vsanfs）掛載路徑；如果使用NFS v3進行共享時，則不用，當我們掛載的時候不指定共享協議時，則客戶端和服務端和自動進行協商選擇使用那個協議進行連線，預設會使用高版本的共享協議。
我在客戶端新建一個目錄，將剛剛建立的fs-to-centos-test01檔案共享以NFS 4.1協議掛載給這個目錄進行使用。
mkdir /test01
mount -t nfs -o vers=4.1 vsan8fs1.lab.com:/vsanfs/fs-to-centos-test01 /test01
df -hT
mount | grep /test01
如果想將掛載的檔案共享加入開機自啟動，需要將以下資訊加入開啟啟動配置檔案：
echo "mount -t nfs -o vers=4.1 vsan8fs1.lab.com:/vsanfs/fs-to-centos-test01 /test01" > /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local我們在test01目錄裡使用dd命令建立幾個空檔案來測試硬配額和軟配額及相關的警告事件。
dd if=/dev/zero of=file01 bs=1024 count=5000000
使用dd命令建立5G左右的檔案後，在vSAN 檔案共享配置資訊裡也顯示使用量達到快50%了。但是並沒有達到軟配額。
再次使用dd命令建立空檔案file02，檢視系統空間佔用情況，可以看到系統裡已經佔用92%了。
dd if=/dev/zero of=file02 bs=1024 count=4500000
在vSAN 檔案共享配置資訊裡檢視發現已經佔用91%了，提示“超過80%已用。可能很快達到上限。”，即達到設定的軟配額限制。
再次使用dd命令建立空檔案file03，檢視系統空間佔用情況，可以看到系統裡已經佔用100%了。它這裡沒有建立完，因為已經沒有空間了，沒法繼續往裡面寫了，提示“dd: error writing ‘file03’: Disk quota exceeded”錯誤。
dd if=/dev/zero of=file03 bs=1024 count=2000000
在vSAN 檔案共享配置資訊裡檢視發現已經佔用99%了，還是提示“超過80%已用。可能很快達到上限。“。已經達到設定的硬配額限制。此時平臺出現告警，提示”vSAN 檔案服務警報“共享執行狀況”“。
看一下檔案服務的效能。
我們重新調整一下這個檔案共享，將硬配額修改為20GB，軟配額15GB。
在檔案共享詳細資訊裡面，使用量/配額立刻就改變了。
在客戶端系統裡面也變了，又可以繼續往裡寫檔案了。
下面測試一下，在vSAN 分散式檔案系統中的取消對映回收vSAN儲存空間。預設情況下，最新的vSphere8、vSAN8上可以在高階選項裡面去啟用客戶機剪裁/取消對映功能，ESA架構則為預設開啟。
如果是vSAN7及之前的vSAN版本，預設未啟用該功能，vSphere Client也沒有提供該選項的設定，需要在vCenter Server上使用RVC命令啟用該功能。
vsan.unmap_support -e先看一下，vSAN儲存目前所佔用的空間。待會兒在客戶端系統裡刪除檔案後，可以對比佔用空間的變化。
為了更好的測試，我重新將檔案共享的硬配額加到100GB，在系統裡面檢視一下空間已經增加了。
我這裡建立了60GB左右的空檔案，系統裡面已經顯示佔用58GB，可用空間還剩58%左右。
再來看一下vSAN儲存的總空間佔用情況，可以看到，實際寫入空間才10GB左右，而壓縮就節省了50多個GB的空間，看來vSAN ESA的空間效率很厲害啊！
執行命令刪除檔案後，找到虛擬機器客戶端所在的主機，在主機監控-vSAN-效能裡找到虛擬機器/後端板塊，可以看到有一個剪裁/取消對映吞吐量的皮膚有流量顯示，表示剛剛執行刪除後已經自動開始執行空間回收了。
再來看一下vSAN儲存整體空間的佔用情況，可以看到整體的以及vSAN檔案共享類別的佔用空間已經減少了。
五、vSAN檔案服務升級更新
vSAN 檔案服務的升級過程中，正在進行升級的虛擬機器上執行的檔案伺服器容器將故障切換到其他虛擬機器。檔案共享在升級過程中仍可訪問。在升級過程中，您可能會在訪問檔案共享時遇到一些中斷情況。
升級vSAN 檔案服務之前，請確保提前升級了ESXi、vCenter、vSAN磁碟格式(產品互操作性和升級路徑)，升級的先後順序是vCenter>ESXi>vSAN磁碟格式>vSAN檔案服務。
由於環境中，vCenter Server已經是8.0 U2b了，所以只需要使用vLCM升級ESXi從8.0 U2到8.0 U2b即可，然後下載對應的vSAN 檔案服務OVF模板即可進行升級。
展開叢集配置-vSAN-服務-檔案服務，點選編輯-檢查升級。
選擇手動載入 OVF，瀏覽新增OVF升級檔案，點選升級。
在任務控制檯中抓取了一部分升級過程的記錄。
升級完成。
如果升級後，想要刪除舊的vSAN 檔案服務OVF來釋放空間，可以到vCenter Server以下目錄並使用rm命令進行刪除即可。
