Sqoop splitkey支援的型別

boylook發表於2013-09-17

前階段一個Sqoop抽取Job指定了一個xxx_id作為splitkey,後來抽取失敗;想當然以為PK就是int,發現其實是varchar還不被支援),後來換了一列抽取成功;

Sqoopsplitkey在文件裡只是簡單的介紹了演算法,但是沒有介紹具體支援的splitkey column type 檢視原始碼支援的型別如下:BigDecimal,Boolean,Date,Float,Integer

BigDecimalSplitter.java

BooleanSplitter.java

DBSplitter.java

DateSplitter.java

FloatSplitter.java

IntegerSplitter.java

OracleDateSplitter.java

另外,關於int作為splitkey還有一個bug就是當int的範圍特別小的時候,最後一個mapper會有一定傾斜(

Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE [@more@]

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/11676357/viewspace-1060922/,如需轉載,請註明出處,否則將追究法律責任。

相關文章