任務運維 | 怎麼補資料？這有一篇實踐案例

　　在任務運維同學的日常工作中，經常需要使用補資料功能，例如當一個新的資料開發任務提交上線後，需要將歷史的資料也能寫入對應的時間分割槽；或者當發現某個任務產出資料有誤時，需要重新重新整理資料，這時候也會需要用到補資料功能。

　　透過本篇文章，你能夠收穫：

　　瞭解補資料的場景和流程；

　　掌握補資料的步驟和內容，體驗Easydata補資料的產品功能。

　　 01 實踐內容

　　1.1 場景說明

　　假設你是一名勤勤懇懇的資料開發兼運維同學，今天早上如往常一樣登陸平臺檢視任務運維情況，突然收到來自資料分析師的一條資訊，對方表示今天有一個重要報表突然沒有產出資料，需要你幫忙緊急排查問題。

　　你連忙定位到具體任務，再根據血緣定位上游任務，經過一番排查與操作，發現原來是ods層的有一個開發同學對錶進行了變更，原先依賴的ods表已經不再產出，於是你雖然抱怨上游開發的粗心大意，但仍然吭哧吭哧認真地把所有相關下游任務程式碼改好並重新提交上線。但你的任務不僅是把下游任務的程式碼編輯完成，你還需要把昨天的資料恢復正常，於是你在運維中心的任務詳情頁面，點選了“補資料”按鈕……

　　1.2 實操階段

　　（1）建立補資料任務

　　進入任務運維中心，補資料入口有三處：分別是任務列表的右側操作欄，可以支援單個任務補資料；任務列表的左上操作按鈕，可以支援批次補資料；以及任務詳情頁右上角支援單個任務補資料。

　　本次實踐帶大家體驗批次補資料的功能，點選任務列表，點選上方“批次補資料”按鈕，即可進入批次補資料頁面：

　　下游任務選擇完成後，進入配置補資料設定的頁面，配置項都已係統預設填充，本次實驗需要體驗通知功能，因此請確保通知條件的三個勾選項均已被勾選、通知物件為實驗者本人，通知方式需至少勾選郵件、POPO之一。　　

　　（2）檢視補資料任務詳情

　　點選建立補資料任務後，頁面自動返回補資料例項運維列表，使用者可以檢視補資料任務進展、對補資料任務進行暫停、終止等操作：　　

　　（3）補資料任務運維

　　讓我們回到本次實踐場景中。

　　你建立完補資料任務後，終於舒了一口氣，想著終於找到了問題，還算是有驚無險，但是萬萬沒想到緊接著就收到了來自運維中心的報警資訊：　　

　　你趕緊點選連結，回到任務運維中心，連結自動跳轉到了失敗例項的詳情頁面，原來是最下游的任務出現了問題。於是你點選節點狀態旁邊的“放大鏡”圖示，進入智慧診斷頁面　　

　　在智慧診斷頁面顯示，Hive語法錯誤，需要檢查程式碼。　　

　　於是你來到離線開發，重新檢視程式碼，發現是在剛剛改程式碼的時候，不小心寫錯了一個欄位，你這才想起來，剛剛修改程式碼的時候，匆匆忙忙之中忘記先在開發模式試執行，竟然沒有測試就直接就把程式碼提交到了線上！你趕緊把程式碼重新改好，並測試了節點，在測試透過後將任務重新提交上線。　　

　　你的工作還沒有完成。修改完程式碼後，最後還需要回到運維中心，將剛剛失敗的補資料例項重跑。　　

　　

　　

　　（4）補資料任務完成通知

　　點選執行後，例項開始重跑。在等待幾分鐘後，終於，系統再次發來通知，宣告這次資料補救行動圓滿結束，撒花。　　

　　 02 小結

　　“補資料”是任務運維中心十分重要的功能。目前產品能夠支援單個任務補資料與批次補資料，由於有些任務的上下游鏈路十分複雜，為方便使用者快速選擇需要補資料的任務和節點，產品也支援流程檢視的補資料功能。感興趣的同學歡迎點選原文連結瞭解產品~