Transwarp元件Trasporter工具資料抽取

Jeff_Shi發表於2019-01-15
元件

1、當將inceptor的IDAP安全認證開啟之後，transporter元件不能啟動，參看日誌檔案/var/log/transporter1/發現是無法連線資料庫，使用者名稱密碼錯？不是，是沒有開配置項裡的IDAP模式，將tdt-site.xml配置裡的

<property>
  <name>tdt.inceptor.auth.mode</name>
  <value>NONE</value>
</property>
複製程式碼

改成IDAP,需要底層改，不能直接在介面上更改 改完之後還是不能成功，需要開啟inceptor和transporter的kerberos認證

開啟認證又遇到了問題，transwarp不能開單元件的安全認證，最後我們只能一鍵全開kerberos認證

2、用jdbcreader連線oracle資料庫，jdbc bunch接收

報錯 Task MAPRED-SPARK error SparkException: [Error 1] Job aborted due to stage failure: Task 0 in stage 17.0 failed 4 times, most recent failure: Lost task 0.3 in stage 17.0 (TID 16, 10.10.12.210): java.lang.RuntimeException: Exception found during closeOp. See more detail on executor log. SQLState: 08S01

已知的版本問題：資料型別decimal不能為空，為空就報錯，將目標表的資料格式改成了double，測試成功

相關文章