Sqoop splitkey支援的型別
前階段一個Sqoop抽取Job指定了一個xxx_id作為splitkey,後來抽取失敗;想當然以為PK就是int,發現其實是varchar(還不被支援),後來換了一列抽取成功;
Sqoop的splitkey在文件裡只是簡單的介紹了演算法,但是沒有介紹具體支援的splitkey column type, 檢視原始碼支援的型別如下:BigDecimal,Boolean,Date,Float,Integer
BigDecimalSplitter.java
BooleanSplitter.java
DBSplitter.java
DateSplitter.java
FloatSplitter.java
IntegerSplitter.java
OracleDateSplitter.java
另外,關於int作為splitkey還有一個bug就是當int的範圍特別小的時候,最後一個mapper會有一定傾斜()
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/11676357/viewspace-1060922/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Java 支援的資料型別與 MySQL 支援的資料型別對比Java資料型別MySql
- FMDB支援的事務型別型別
- Mysql支援的資料型別(總結)MySql資料型別
- LangChain4j支援的API型別LangChainAPI型別
- Golang 庫 Redis 對 data 型別的支援GolangRedis型別
- redis 支援哪些資料型別Redis資料型別
- (2)mysql 支援的資料型別總結MySql資料型別
- goldengate 支援ddl的資料庫型別Go資料庫型別
- proto 3支援的基礎型別型別
- Python支援哪些資料型別Python資料型別
- Xamarin.Forms支援的地圖顯示型別ORM地圖型別
- ETLCloud支援的資料處理型別包括哪些?Cloud型別
- Android 與 JavaScript 互動 支援的資料型別AndroidJavaScript資料型別
- IIS增加未知MIME型別檔案的下載支援型別
- 支援多種資料庫型別的遷移工具資料庫型別
- BlueHost主機支援哪些資料庫型別?資料庫型別
- 操作型系統和決策支援系統的區別
- Java中Switch支援String字串?為什麼不支援long型別?Java字串型別
- 車牌識別服務-JAVA+ONNX版本,支援全型別的車牌Java型別
- Kotlin 1.1新增協程、型別別名特性,提升了對JavaScript的支援Kotlin型別JavaScript
- sqoop 的使用OOP
- C#的型別——值型別與引用型別C#型別
- 原生JS以後也支援型別註解啦?JS型別
- 代理型別升級,APISIX 支援 Kafka 作為上游型別APIKafka
- Oracle動態SQL引數支援複雜型別OracleSQL型別
- C#模擬C++模板特化對型別的值的支援C#C++型別
- sqlite 資料庫 支援的資料型別 以及常用的函式SQLite資料庫資料型別函式
- Web API對application/json內容型別的CORS支援WebAPIAPPJSON型別CORS
- ASP.NET Web API預設支援的媒體型別(SupportedMediaTypes)ASP.NETWebAPI型別
- 淺談程式語言型別的強型別,弱型別,動態型別,靜態型別型別
- 值型別與引用型別的區別型別
- [譯] Scala 型別的型別(四)型別
- [譯] Scala 型別的型別(二)型別
- [譯] Scala 型別的型別(三)型別
- [譯] Scala 型別的型別(六)型別
- [譯] Scala 型別的型別(五)型別
- Sqoop之 Sqoop 1.4.6 安裝OOP
- sqoopOOP