洞察秋毫—— JFrog 日誌分析

協助監視 Docker Hub 上的拉取操作

一、背景

大家已經注意到，Docker Hub現在開始對映象拉取進行限制，無論是免費的匿名使用者，還是認證使用者。在六個小時內，從一個IP地址映象拉取的請求次數超過固定閾值（匿名使用者100次，認證使用者200次）後，Docker Hub就會限制其拉取頻寬。雖然使用者仍然可以拉取到Docker映象，但是速度要慢得多。

您可以閱讀我們之前的部落格文章《繞開Docker Hub下載限制：JFrog Artifactory》（https://mp.weixin.qq.com/s/I8VvxKSddQ5vXO2YLMye9w），以瞭解Docker Hub的相關策略，以及JFrog Artifactory如何幫助您繞過這個限制。

對於依賴Docker Hub並將其作為Docker映象中心的企業，這項新政策可能對其生產力產生重大影響。由於閾值是基於IP的，而不是基於使用者的，因此這些限制可能會更快、更頻繁地影響到企業的交付效率。 

您知道這些變化如何影響您的交付嗎？透過對JFrog日誌分析的最新改進，現在JFrog Artifactory的使用者可以透過JFrog的日誌分析來查詢並決策如何減輕這些限制的影響。本文將就此作簡單的介紹。

二、使用 Artifactory 快取 Docker Hub 的拉取請求

Artifactory 的使用者已經可以透過為Docker Hub建立遠端倉庫來降低拉取的頻率。該遠端倉庫將代理並快取從Docker Hub拉取的每個Docker映象，以便將來從您的企業級製品庫/映象中心中直接拉取該映象。 

這樣，只有從Docker Hub到快取的第一次拉取才會計入Docker Hub的拉取限制。您最常使用的Docker映象將始終以全速傳遞到您的構建中。而且一旦做了快取，即使Docker Hub上的相應映象變得不可用，這些映象在企業級製品庫/映象中心中將始終保持可用。

您還可以在Artifactory中維護自己安全的、私有的Docker映象中心，以進一步減少對Docker Hub的依賴。 

三、 Docker 倉庫分析

對於由Artifactory支援的JFrog DevOps平臺的自主安裝，我們提供了一個整合工具，該工具可透過Fluentd資料收集提供統一的JFrog日誌資料。我們還提供了其他一些應用程式和整合方式，可以使用這些資料，並呈現到流行的分析程式（包括Splunk、Elastic Stack、Prometheus/Grafana和DataDog等）儀表板上。

透過最適合您的分析工具，您可以檢視有價值的運維統計資料，例如資料傳輸量、哪些倉庫正在被誰使用，以及哪些使用者被拒絕訪問等。

我們更新了這些整合，以提供一個新的Docker統計資訊選項卡，可幫助您監視Docker Hub的使用情況。下面就讓我們一一介紹一下它們，以及它們在Splunk的 中的顯示方式。

1 、拉取請求趨勢

單個計數指示最近6個小時對Docker Hub發出的拉取請求的數量，以及趨勢是加速還是下降。該計數不包括遠端倉庫快取滿足的計數（即快取未命中），因此它僅計算符合Docker Hub限制策略的拉取請求。

2 、Docker倉庫快取命中率

快取滿足Docker映象請求的頻率以比率表示，其中值1表示快取滿足所有請求。例如，下面顯示的比率0.703是70.3％的快取命中率。因此，儘管快取記憶體未命中總計269次（29.7％），但Artifactory以全傳輸速度處理了628個拉取請求。

 

3 、Docker Hub拉取請求

該圖顯示了在6小時滾動時間內發出的Docker Hub拉取請求的數量。每個欄顯示從該小時標記開始的前六個小時內發出的拉取請求的總數。

 

該統計資訊將幫助您檢視您的企業是否接近或超過了Docker Hub限制策略，以及拉取高峰在什麼時間。

4 、十大使用者和IP

這些統計資料按使用者和IP地址揭示了Docker倉庫的主要使用者是誰。如果您發現超出了拉取請求，則此資訊可以幫助您確定主要的負責方。

 

四、總結

Docker Hub 推出了對拉取請求的限速策略，使用Artifactory作為企業級映象中心可以幫助您繞過這個限制，而JFrog的日誌分析可以幫助您分析企業Docker Hub拉取請求的狀態。

您可以在Github上找到JFrog日誌分析整合的資料收集和分析工具（）。 

它始於與開源資料收集器Fluentd的整合，該整合可隨JFrog Platform部署的每個產品例項一起安裝。Fluentd在JFrog平臺中為每個產品執行日誌輸入、欄位提取和記錄轉換，並將此資料的輸出標準化為JSON，以傳輸到分析和BI儀表板。

使用此解決方案，您可以管理從Docker Hub拉取的次數和頻率，並減輕新限制策略的影響。