@[TOC](使用sqoop 抽數)
>Survive by day and develop by night.
>talk is cheap, show me the code,make a better result.
# 目錄
我們一般用sqoop抽取資料，可是有時由於單表資料量太大（每天千萬級別）導致sqoop抽數使用單例項報記憶體溢位以及抽數時間過長，這時我們該怎麼辦？現總結方法如下供借鑑。

## 概述
sqoop 的引數：
````java
/opt/module/sqoop/bin/sqoop import \
--connect \
--username \
--password \
--target-dir \
--delete-target-dir \
--fields-terminated-by \
--query "$2" and $CONDITIONS
--mum-mappers \
--null-string "\\N" \
--null-non-string "\\N" \
--split-by

````
### 需求：
匯入單表資料
## 設計思路
sqoop 抽數的並行化主要涉及到兩個引數：num-mappers：啟動N個map來並行匯入資料，預設4個；split-by：按照某一列來切分表的工作單元。
最後每個map各自獲取各自SQL中的資料進行匯入工作。
--query "$2" and $CONDITIONS中，$CONDITIONS 到底是幹什麼用的呢？其實它的作用是資料分割條件的佔位符，也就是說最終資料查詢語句中的$CONDITIONS 會被split-by>=501 and split-by<=1000 這樣的分割條件替換。

我們透過num-mappers 引數控制並行度，split-by引數控制資料分割欄位，就可以做到抽數並行化。

## 實現思路分析
### 1.避免資料傾斜的方法
從此得出結論想要避免資料傾斜，對split-by指定欄位的要求是 int型別同時資料分佈均勻。

### 2.資料抽數

方案一：提高並行度，儘量不要用全量的方式匯入，採集增量，新增或變化匯入，減少匯入資料量
補充：sqoop import 抽數查詢願資料的時候主要有兩者方式：
–table 方式：全量資料抽取
–query 方式：增加檢索條件部分資料抽數，當然也可以where 1=1 進行全量操作
我們可以用sqoop，以–query的方式匯入新增資料,如果要求是全量可以full join 上一天的資料；

## 擴充實現
--query "select use_id,user_name,sex,id_card,create_time,updated_time from (select f.* ,row_number() over() as rank from finc.user_info f where updated_time >=2021-06-06 00:00:00 and updated_time <=2021-06-07 00:00:00)m"  where $CONDITIONS
--split-by rank \
--mum-mappers 6

## 效能引數測試：
無

# 參考資料和推薦閱讀
1.  [sqoop 解決資料傾斜](https://blog.csdn.net/weixin_43597208/article/details/118307426).

>歡迎閱讀，各位老鐵，如果對你有幫助，點個贊加個關注唄！~

Sqoop 並行抽數

相關文章