經驗總結1—資料核對

1、做資料核對的時候，要具體情況具體分析，不要思維固化，不要一看到少資料，就各種查上游表

2、先動腦再動手，深度思考，抽絲剝繭，一步步到位，最終定位問題

3、如果資料對不上，看上游表的跑數日期的任務是否跑成功了(看任務日誌是否有報錯)，或者是否有重跑資料

4、從SVN上取生產指令碼時，要確定是否與生產環境日誌中的一致，有可能開發同事修改過指令碼，然後直接替換了生產指令碼，但是沒有更新到SVN，這樣你從SVN拿到的就不是最新的

5、如果hive跑任務失敗了，可以在hadoop日誌頁面點選不同的看不同的日誌，有3個click here，可以檢視不同的內容

6、寫hql指令碼時，嚴禁全選程式碼轉大、小寫，一行一行來轉，最好的方式是將sql關鍵字全部轉大、小寫，再將業務欄位轉大、小寫，這樣就不會改動傳入的引數及其他資訊，比如part='STU’這樣轉會出問題

7、複製、貼上要謹慎，做複製、貼上前必須要保證程式碼一致

8、跑sc或其他需要配置的工具時，如果需要配置的內容較多，那每次跑之前都要走下完整流程，別隻認為改一處就可以了，否則失敗了再改浪費時間

9、如果指令碼中需要用union all 從同一張表中多次查詢資料，可以使用create temporary table as select * from sour_table建臨時表，然後下面的sql從臨時表中取資料

10、如果是做新模組需求，那在發版時，必須多趕上幾個測試版本，否則問題會很多