基於Minio和Thumbor搭建獨立圖片服務

fengluo發表於2019-02-16

多數應用系統都會用到圖片儲存，從系統架構角度來說，像圖片儲存這樣的服務應該儘量從核心業務中剝離出來。很多人會選擇線上雲端儲存服務，比如七牛雲端儲存之類的。但是很多企業專案因為各種需求，還是會要求圖片服務部署在內部。所以我們還是可能會需要一個可獨立部署的圖片服務。

自己開發實現一套圖片儲存服務系統，會花不少功夫，但如果有現成的方案何樂而不為呢？我在Github上發現Minio和Thumbor這兩個專案可以幫我們達成需求。

Minio

Minio Cloud Storage是一個分散式物件儲存系統。它是一個基於Go的開源專案，並且實現了Amazon S3的API。也就是說Minio相當於一個開源的Amazon S3。

使用docker安裝可能是最省事的方式，兩行命令即可安裝下載並且執行起來。注意，這種啟動模式僅限於測試環境下，一旦命令終止，資料將會消失。生產環境下的安裝部署請參考文件。

docker pull minio/minio
docker run -p 9000:9000 minio/minio server /export

啟動之後，命令列中就會顯示一堆系統資訊。

Endpoint:  http://172.17.0.2:9000  http://127.0.0.1:9000
AccessKey: PT7TIDXEV7KH7S5R91JH
SecretKey: 17hdYH0mF2Ljd3ahZ7JGyi5l/ZPjunLlldUMY/A0
Region:    us-east-1
SQS ARNs:  <none>

之後就可以在瀏覽器中訪問 http://127.0.0.1:9000 並且使用AccessKey和SecretKey登入。

其核心功能很簡單，建立bucket，上傳檔案。其所有的檔案連結都是含有過期時間的私有連結。然後我們就可以使用其提供的SDK使用了，就是這麼簡單。

minio專注於檔案儲存，並沒有什麼圖片處理功能，但是我們可以使用thumbor這個服務來做圖片處理。

Thumbor

Thumbor是一個非常強大的圖片處理服務，可以實現圖片裁剪、縮放、濾鏡，甚至是人臉識別。

它是一個基於Python的開源專案，在python環境下可以通過pip安裝。

pip install thumbor

然後使用下面命令即可執行。

thumbor-config > ./thumbor.conf # 生成配置檔案
thumbor --port=8888 --conf=thumbor.conf

該服務執行在本地的8888埠，之後可以就可以直接通過url呼叫服務了。

比如這張圖片 https://www.apple.com/cn/home/images/gallery/iphone_alt_small_2x.jpg

就可以使用 http://localhost:8888/unsafe/300x200/https://www.apple.com/cn/home/images/gallery/iphone_alt_small_2x.jpg 這個url使其縮放到300×200大小。

Thumbor AWS

Thumbor處理圖片很強大，但是隻提供了很弱的圖片儲存功能。其圖片上傳修改介面沒有做驗證，所以預設情況下沒有開啟。但是Thumbor有一些社群支援，第三方開發者做了一些擴充套件。其中Thumbor AWS 這個擴充套件可以把Thumbor後端跟Amazon S3整合起來。在url上提交圖片檔案的key，Thumbor的後端會從Amazon S3中取出檔案做處理。而之前Minio相容Amazon S3的Api。所以意味著只需要做一點改動，就可以整合這兩個服務。最終就可以達成，利用Minio上傳儲存圖片，利用Thumbor取出圖片做處理。

我們利用pip來安裝這個擴充套件。

pip install tc_aws

Thumbor AWS這個擴充套件利用Boto3連線Amazon S3的SDK，根據Boto3文件中的配置，我們需要建立 ~/.aws/credentials 這個檔案，並且填寫剛才Minio提供的AccessKey和SecretKey，授權這個服務訪問Minio。

[default]
aws_access_key_id = YOUR_ACCESS_KEY
aws_secret_access_key = YOUR_SECRET_KEY

之後在剛才利用thumbor_conf生成的thumbor.conf中修改一些配置。

TC_AWS_REGION=`us-east-1` #填寫minio提供的Region
TC_AWS_ENDPOINT=`http://127.0.0.1:9000` #將預設的Amazon S3地址換成minio執行地址
LOADER = `tc_aws.loaders.s3_loader` #將Thumbor的loader換成tc_aws.loaders.s3_loader

重新啟動Thumbor，然後就可以在瀏覽器中通過Thumbor訪問Minio中的圖片了。

比如，在Minio的docker這個bucket中上傳了一張aaa.jpg，然後我們就可以通過 http://localhost:8888/unsafe/docker/aaa.jpg 這個地址訪問到這張圖片的原圖。當然，我們可以通過 http://localhost:8888/unsafe/300x200/docker/aaa.jpg 這種方式對這張圖片進行300×200的縮放。

這樣我們就大功告成了。

總結

各種服務都有其專精的一面，幸好Amazon S3在雲服務API層面上形成了某種事實上的標準，所以這點能夠幫助我們將一些服務整合在一起。

實現效果上來看，最終達成了圖片儲存和提取縮放需求，對於一些專案也足夠使用。不過圖片通過Thumbor處理後，其私有連結的屬性也沒了。這在一些要求高的企業服務專案中也是蠻尷尬的。

簡單看了下Thumbor的原始碼，其圖片輸出是tornado實現的，相信有時間hack一下原始碼，實現私有連結也不會太困難的。

Enjoy it!

相關文章