分散式檔案儲存庫MinIO可還行？

江北、發表於2020-05-19
分散式

在傳統的單體應用架構中,一個應用程式對應一臺伺服器，提供單程式服務。

但是隨著業務的升級,技術的更新迭代，分散式、叢集架構、微服務等現已儼然成為主流。

幾乎所有的專案都會與檔案掛鉤,例如OA系統的報表檔案，電商系統的商品圖片等等...

我們來看一下傳統的(單體應用)檔案儲存與讀取方式

 一臺主機對於N個客戶端,如果是小專案還好,稍微大點的專案,伺服器分分鐘崩潰

進而演進為分散式架構

 將每一個大的模組進行拆分，以前單程式支撐的系統現在多程式協同。將檔案操作也進行剝離,部署到不同的伺服器進行維護，各司其職,減輕不同模組伺服器的壓力.

話又說回來了，怎樣實現呢？

這裡的話我主要說一下分散式檔案的儲存服務MinIO。當然還有其他的一些中介軟體及工具,大家隨意即可。

首先介紹一下MinIO,MinIO是一款高效能的物件資源儲存庫,而且自身很輕量。

GitHub上start數已經有20多K了

https://github.com/minio

 而且MinIO支援多種語言,也提供了豐富的API.

OK！現在要動手了。

用它肯定要先安裝它,我本次操作在Linux下。

首先在Docker中拉取一個映象並執行

docker pull minio/minio
docker run -p 9000:9000 minio/minio server /data

它會分配給你金鑰,用作登入。這個金鑰在後續專案中也會用到。

 在瀏覽器中輸入ip:port如果正常顯示,就證明你安裝成功了。如下：

 我們可以點選加號,建立一個桶(資料夾)

 注意資料夾的名稱不能大寫

 我們可以上傳一張圖片

 找到它的連結就可以在瀏覽器中訪問了

 

 接下來在程式碼中進行CRUD了?

 先在專案中引入Minio包

PM> Install-Package Minio

我的是webapi的專案,你可隨意

 上傳檔案：

        /// <summary>
        /// 上傳檔案
        /// </summary>
        /// <param name="file"></param>
        /// <returns></returns>
        [HttpPost]
        public async Task<IActionResult> Upload(IFormFile file)
        {
            try
            {
                var minio = new MinioClient(_configuration["Minio:endpoint"], _configuration["Minio:accessKey"], _configuration["Minio:secretKey"]);
                var data = await FileUpload.Run(minio, file);
                return new JsonResult(new
                {
                    success = true,
                    fileUrl = data.fileUrl,
                    message = data.message
                });
            }
            catch (Exception ex)
            {
                return new JsonResult(new
                {
                    success = false,
                    fileUrl = default(string),
                    message = ex.Message
                });
            }
        }
        public async static Task<FileData> Run(MinioClient minio, IFormFile formFile)
        {
            var bucketName = "picfile";
            var location = "us-east-1";
            var objectName = $"pic/{DateTime.Now.ToString("yyyy-MM-dd")}/" + Guid.NewGuid().ToString().Replace("-", string.Empty);
            var contentType = "image/jpeg";
            try
            {
                //判斷桶(資料夾)是否存在
                bool found = await minio.BucketExistsAsync(bucketName);
                if (!found)
                {
                    //新增桶(資料夾)
                    await minio.MakeBucketAsync(bucketName, location);
                }
                //檔案大小
                var len = formFile.Length;
                //開啟請求流以讀取上載的檔案
                var stream = formFile.OpenReadStream();
                //上傳檔案到桶(資料夾).
                await minio.PutObjectAsync(bucketName, objectName, stream, len, contentType, null, null);
                //返回url
                var url = await minio.PresignedGetObjectAsync(bucketName, objectName, 3600 * 24 * 7);
                //var data = await minio.StatObjectAsync("picfile", objectName);
                //... 對資料庫進行操作,例如存入檔名與桶(資料夾)的名稱
                return new FileData { success = true, fileUrl = url, message = "上傳成功" };
            }
            catch (MinioException ex)
            {
                return new FileData { success = false, fileUrl = default(string), message = ex.Message };
            }
        }

金鑰和ip這些配置項我們可以寫在appsettings.json中

 在控制器中已注入的形式使用

 下載檔案：

        /// <summary>
        /// 下載檔案
        /// </summary>
        /// <param name="bucketName">桶(資料夾)名稱</param>
        /// <param name="objextName">檔名稱</param>
        /// <returns></returns>
        [HttpGet]
        public async Task<IActionResult> DownLoadFile(string bucketName, string objextName)
        {
            try
            {
                if (string.IsNullOrEmpty(bucketName) && string.IsNullOrEmpty(objextName)) return new JsonResult(new { message = "桶(資料夾)名稱和檔名稱不能為空!" });
                //例項化minio客戶端
                var minio = new MinioClient(_configuration["Minio:endpoint"], _configuration["Minio:accessKey"], _configuration["Minio:secretKey"]);
                //獲得圖片的連結
                var url = await minio.PresignedGetObjectAsync("picfile", objextName, 3600 * 24 * 7);
                //例項化WebClient 物件
                var webClient = new WebClient();
                //根據圖片連結轉成byte位元組陣列
                var dataByte = webClient.DownloadData(url);
                return File(dataByte, "image/jpeg");
            }
            catch (Exception ex)
            {
                return new JsonResult(new
                {
                    message = ex.Message,
                    success = false
                });
            }
        }

移除檔案：

        /// <summary>
        /// 移除檔案
        /// </summary>
        /// <param name="bucketName"></param>
        /// <param name="objextName"></param>
        /// <returns></returns>
        [HttpDelete]
        public async Task<IActionResult> DeleteFile(string bucketName, string objextName)
        {
            try
            {
                if (string.IsNullOrEmpty(bucketName) && string.IsNullOrEmpty(objextName)) return new JsonResult(new { message = "桶(資料夾)名稱和檔名稱不能為空!" });
                //例項化minio客戶端
                var minio = new MinioClient(_configuration["Minio:endpoint"], _configuration["Minio:accessKey"], _configuration["Minio:secretKey"]);
                //移除檔案
                await minio.RemoveObjectAsync(bucketName, objextName);
                return new JsonResult(new
                {
                    message = "移除資原始檔成功",
                    success = true
                });
            }
            catch (Exception ex)
            {
                return new JsonResult(new
                {
                    message = ex.Message,
                    success = false
                });
            }
        }

這裡的話只列舉以上幾個較常用的api，MinIO其實還提供了很多api,大家可以慢慢研究。

 到此MinIO就介紹完了，大家可以根據自己需要在進行擴充套件。

中文官網：http://docs.minio.org.cn

Smiling Face with Smiling Eyes on Microsoft Windows 10 May 2019 Update

 

相關文章