Logtail從入門到精通（二）：開啟日誌採集之旅

元乙發表於2018-04-22
AI

Logtail相關概念

為了更好的瞭解日誌採集，這裡我們首先對日誌採集中遇到的基本概念進行簡要的介紹。

概念介紹

  • 專案： 專案（Project）是日誌服務中的資源管理單元，用於資源隔離和控制。您可以通過專案來管理某一個應用的所有日誌及相關的日誌源。它管理著使用者的所有日誌庫（Logstore），採集日誌的機器配置等資訊，同時它也是使用者訪問日誌服務資源的入口。
  • 日誌庫： 日誌庫（Logstore）是日誌服務中日誌資料的採集、儲存和查詢單元。每個日誌庫隸屬於一個專案，且每個專案可以建立多個日誌庫。
  • Logtail客戶端： Logtail是一款執行日誌收集工作的Agent，一般安裝在需要收集日誌的伺服器上，作為獨立軟體執行。
  • 機器組： 一個機器組包含一或多臺需要收集一類日誌的機器。通過繫結一組Logtail配置到一個機器組，可以讓日誌服務根據同樣的Logtail配置採集一個機器組內所有伺服器上的日誌。
  • 採集配置： 是Logtail收集日誌的策略集合，採集配置一般包括需要採集的資料來源、解析方式、過濾方式等引數，所有采集配置均在控制檯進行管理。

各概念間關係

image.png

  1. 日誌庫直接負責日誌儲存，所有Logtail採集的資料最終都會儲存到日誌庫中。
  2. 日誌庫由專案進行管理，專案和日誌庫的關係類似於資料庫和表之間的關係。
  3. 一個日誌庫中可包含多個不同的採集配置，日誌庫下的採集配置預設將資料採集到該日誌庫。
  4. 採集配置並不直接應用於Logtail客戶端，而是應用於中間層的機器組，便於大規模叢集和應用的靈活管理。
  5. 一個Logtail可屬於多個機器組，一個機器組可包含多個Logtail，實現Logtail與機器組的解耦。
  6. 一個採集配置可應用到多個機器組，一個機器組可關聯多個採集配置，實現機器組與採集配置的解耦。

安裝配置流程

image.png

Logtail的安裝配置流程相對比較簡單，如果日誌服務和ECS在同一賬號下，則只需5個步驟即可實現採集。

  • 日誌服務已經和ECS打通，可自動獲取ECS對應的owner資訊，因此不需要設定aliuid資訊。

安裝Logtail

ECS安裝

  1. 購買一臺ECS
    image.png

  2. 根據ECS所在區域選擇Logtail安裝指令碼（參見Logtail安裝指南）

    • 例如華東1的經典網路，使用wget http://logtail-release.oss-cn-hangzhou-internal.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou
  3. 使用/etc/init.d/ilogtaild status檢查Logtail執行狀態，如輸出ilogtail is running表示安裝成功

image.png

自建主機安裝

  1. 選擇任意公網Logtail安裝指令碼（參見Logtail安裝指南）

    • 例如選擇華東1公網安裝，使用wget http://logtail-release.oss-cn-hangzhou.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou_internet
  2. 使用/etc/init.d/ilogtaild status檢查Logtail執行狀態，如輸出ilogtail is running表示安裝成功
  3. 配置賬號標識檔案（參見非本人ECS/線下機器，配置完成後無需重啟Logtail）

配置

建立專案和日誌庫

  1. 在阿里雲官網產品中選擇日誌服務或直接點選進入日誌服務控制檯，若您當前沒有開通，會提示您開通日誌服務，點選開通。
  2. 點選建立Project按鈕，地域(Region)中選擇Logtail安裝時所選的地域，例如選擇華東1（杭州）。
    image.png

image.png

  1. Project建立成功後會提示建立Logstore，點選建立；這裡我們輸入Logstore名稱，其他引數無需修改，點選確認。
    image.png

建立採集配置

  1. Logstore建立完畢後，會提示進行資料接入。如下圖所示，可通過三個入口建立採集配置：
    image.png
  2. 在彈出的資料接入頁面中，我們選擇自定義資料中的文字檔案接入。
    image.png
  3. 在採集配置中我們選擇極簡模式，日誌路徑中的資料夾和檔名分別輸入/var/log和message，點選下一步。
    image.png

建立機器組並應用

  1. 配置頁面點選下一步後，會提示您選擇機器組，這裡我們點選建立機器組。
    image.png
  2. 機器組配置頁面中選擇IP地址型別的機器組，IP輸入ECS的內網IP（Logtail獲取的IP地址可通過cat /usr/local/ilogtail/app_info.json檢視）
    image.png
  3. 儲存機器組後，勾選該機器組並點選應用到機器組。後續設定無需關心，直接點選下一步。
    image.png

檢視日誌

此時採集配置已經建立完畢，您可以嘗試退出重新登入主機或輸入命令echo "test message" >> /var/log/message，這時本地/var/log/message檔案會有新的日誌產生，Logtail就會採集到這些資料了。

點選日誌庫頁面的預覽或查詢連結，即可看到Logtail採集上來的日誌了。

image.png

image.png

image.png


相關文章