送你4句口訣 雲端儲存選型不再犯難

京東科技開發者發表於2020-10-09
雲妹導讀:

明天就是中秋節了,雲妹祝大家月圓餅圓,人圓家圓,一桌團圓。雖然佳節將近,但是雲妹還要繼續站好最後一班崗,繼續為大家分享好玩、實用、前沿的技術應用經驗。今天,我們來聊聊月餅餡兒…(串場了,關於月餅餡兒的話題大家看今天次條推文),不對,是雲端儲存——儲存技術大佬為你總結出4句口訣,從此儲存選型不再犯難!


隨著雲上提供的儲存產品種類越來越多,規格越來越豐富,如何在雲硬碟、雲檔案服務、物件儲存這些產品中,選用最適合自己的產品,以及選擇什麼規格最匹配,這還真不是一件容易的事兒。本篇文章就將為你提供幾種辦法,讓你不必瞭解很多艱澀難懂的理論知識與引數,只要記住4句口訣,就能選到適合自己應用特點的雲端儲存。
嚴格來說,雲上儲存產品選型要 看功能、看效能、看可靠性。其中,如果單從效能方面展開的話,還要 看吞吐,看 IOPS,看時延。 在此基礎上,如果你已經足夠了解自己所需功能、效能以及可靠性指標,那麼你就可以用這些指標與雲廠商所提供的雲硬碟、物件儲存、檔案儲存三種產品的功能、效能引數做詳細比較,從而選擇一款滿足自己應用需求的儲存產品。但是大部分情況下,我們可能並不太理解這些種類繁多的技術指標,我們對雲端儲存產品的需求可能只是“速度快點”,“好用點”,“穩定點”,很難將這些描述直接與我們的需求聯絡起來。 那麼,有沒有不仔細研究這些引數,也能選對雲端儲存產品的方法呢? 記住接下來的這4句口訣,就可以幫助你在大部分時間裡選到合用的雲端儲存產品。隨著對應用需求和儲存產品特點理解的加深,再進一步最佳化對儲存產品的使用。
第一句口訣是 “上雲先用雲硬碟,通用規格最全能”。雖然雲上第一款儲存產品是物件儲存,但是大部分使用者上雲用的第一款儲存產品都是雲硬碟。
送你4句口訣 雲端儲存選型不再犯難
雲硬碟可以理解為 使用分散式儲存技術,向使用者呈現的一個高可靠、可彈性擴容,與本地塊儲存裝置使用體驗非常相似的儲存產品。 雲硬碟適合以下兩個場景:
  1. 初次上雲。希望使用儲存時和使用伺服器本地儲存的體驗儘量相同,以降低初次上雲的學習成本;
  2. 單個計算節點對儲存的時延比較敏感。一般發生在資料庫應用,單個IO比較小且頻繁。
這兩種場景下,我們根據所需的儲存容量,建立一塊雲硬碟,掛載到雲主機上就可以使用了。 建立雲硬碟的時候,我們可能又有疑惑了:雲硬碟有三種規格,效能型SSD,通用型SSD和容量型HDD。這三種規格怎麼選呢?其實看名字就可以得到很好的參考了。如果對效能要求不高,也不必要犧牲效能來降低儲存成本的話,選用通用型SSD規格的雲硬碟最合適。作為一個賣雲硬碟的,我也可以負責任地告訴你,通用型SSD規格的雲硬碟售賣量確實是最高的。 如果你需要很高的IOPS效能,就適合選用效能型SSD雲硬碟;如果你有大量的資料要儲存,又不需要很頻繁的讀寫,那麼用容量型HDD規格就能為你省下一大筆儲存成本。
有些場景下,我們會發現雲硬碟並不能滿足所有的儲存需求。比如你有成百上千臺雲主機處理同型別的任務,但不想把同樣的資料儲存成百上千份,而是希望有一個共享儲存滿足資料的讀寫需求;又或者需要這個儲存能夠自動擴容,有PB級的容量,總吞吐或者總IOPS高出雲硬碟很多。這時就需要用到第二句口訣—— “共享資料高併發,檔案物件兩相宜”
▲雲檔案服務▲
▲物件儲存▲ 雲檔案服務和物件儲存都能夠滿足上述需求:
  • 能被多個節點同時訪問,進行資料讀寫;
  • 有PB級的容量,可以根據實際的使用資料量自動彈縮;
  • 數GB/s的吞吐頻寬和高IOPS效能。
同時,這兩款儲存又分別適合不同的場景,我們可以從以下角度進行區分:
送你4句口訣 雲端儲存選型不再犯難
首先,從資料讀寫方式來看就要記住第三句口訣—— “頻繁讀寫用檔案,一寫多讀選物件”。雲檔案服務設計上支援追加寫,也支援從一個檔案的中間進行修改;而物件儲存想要修改一個檔案,就必須先把檔案下載下來,修改後再重新上傳覆蓋。所以如果需要頻繁地對已經儲存的資料進行修改,雲檔案服務會更適宜。
其次,從附加功能上來看,物件儲存圍繞著已儲存的資料,提供了很多額外的功能。如果資料的寫入方或者讀取方中,有一方是在Internet上,有大量的併發讀請求,或者需要資料能夠異地容災、CDN加速,或者對圖片的轉換、鑑黃等功能,首選必然是物件儲存。 大量的網際網路APP、網站、影片都使用物件儲存作為其後端儲存,因為物件儲存可以方便地將資料推送到CDN,對透過Internet訪問的使用者非常友好,還可以自動實現對圖片的處理或者對資料的生命週期管理,比如資料儲存30天后就歸檔到更低成本的儲存中,3個月後就自動刪除。 物件儲存也是雲硬碟、雲檔案服務和物件儲存這三種儲存服務中,單位容量價格最低的儲存。如果你的資料有合規要求,必須在不同城市做容災備份,或者你有大量的資料就是歸檔用的,很少讀取,那麼你甚至可以選擇物件儲存的“歸檔儲存”型別,進一步降低你的資料儲存成本。
送你4句口訣 雲端儲存選型不再犯難
對於選擇物件還是檔案,還有第三點需要考慮——遷移難易程度。 雲檔案服務使用的是POSIX語義,而物件儲存使用的是Restful介面,兩者的使用方式是有很大不同的。簡單來說,如果需要部署的應用在遷移前是對硬碟的檔案系統直接讀寫,那麼遷移到使用雲檔案服務並不需要對儲存的讀寫方式做變更。 而要使用物件儲存,就需要把應用對資料的讀寫都轉換成對物件儲存介面的呼叫才能實現。當然,如果本身就是用了物件儲存的語義,在雲上也就可以直接使用了。 這裡需要注意的是,在生產業務上不太推薦使用S3fs一類的物件儲存轉檔案語義工具來使用物件儲存。因為S3fs這類工具會將檔案語義轉換成物件儲存的語義再進行操作,不利於發揮物件儲存本身的效能。 綜合上述的功能、成本和遷移門檻,就需要根據實際情況,權衡各方面做出選擇了。
如果上面這些方法你都理解了,但還是在使用儲存產品時遇到這樣或那樣的效能瓶頸,仍然覺得儲存“不夠快”。這時,就需要進一步把需求裡的“速度快點”再進行細化。這就要用到第四句口訣—— “初窺門徑再進步,細分併發與時延”。 儲存產品的效能瓶頸一般存在於三個方面: 吞吐頻寬、IOPS時延。 在具體應用場景中,任何一個達到了上限,總體效能也就到達了上限。那怎麼識別哪一方面達到了上限呢?答案就是需要對應用讀寫的IO大小和併發數有所瞭解。比如應用讀寫儲存的IO大小是4KB,128KB還是1MB?是多個讀寫並行,還是序列一次一個請求? 分析瓶頸時大致可以沿著這樣的方向來判斷:如果是併發讀寫到達瓶頸128KB以下的小IO,IOPS到達瓶頸的可能性大;反之如果IO大小在128KB以上,吞吐頻寬達到瓶頸的可能性就比較大了;如果是序列的請求,那麼一般都是時延到達了瓶頸。 到達了瓶頸該怎麼最佳化呢?一個方向是提高讀寫請求的併發數量或者接收請求的儲存數量;另外一個方向是將小IO就近在時延低的儲存上進行讀寫。時延效能都是越小越好,幾種儲存產品的時延由小到大依次為: 伺服器本地盤<雲硬碟<雲檔案服務<物件儲存。 相信大家看到這裡,就已經對怎樣選雲端儲存產品有大致的瞭解了。下次需要選雲端儲存產品時,記得根據這些口訣,核對一下功能點和效能指標,一定能快速選出合適的雲端儲存產品。最後,我們再來複習一下這4句口訣:

上雲先用雲硬碟,通用規格最全能

共享資料高併發,檔案物件兩相宜

頻繁讀寫用檔案,一寫多讀選物件

初窺門徑再進步,細分併發與時延

中秋活動獲獎公佈從2020年9月28日起,截至2020年9月30日18點整,參與 【京東中秋禮盒福利回饋】 活動的開發者們,針對 “ 你最討厭的月餅是什麼餡兒?” 進行了評論留言。
截至活動結束,恭喜以下評論獲贊數最高的3位使用者獲得京東中秋禮盒。
點贊排行名次
賬號名
獲贊數
No.1
jd_5913bbf7a0a8f
247
No.2
jd_5d0763e48a454
216
No.3
jcloud_AhEBvgk
204
領獎方式請以上3位獲獎使用者, 新增京東智聯雲小助手京小云 【微訊號:jdcloud_dev】 備註 【中秋家禮】,併傳送給小助手您的 含有使用者名稱的使用者中心截圖郵寄地址,我們會盡快為您安排快遞發出禮盒。 最後,再次感謝大家的熱情參與,以及對京東智聯雲開發者社群的持續關注。 雙節重逢,願大家好事成雙!


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69912185/viewspace-2725921/,如需轉載,請註明出處,否則將追究法律責任。

相關文章