hadoop 多表join：Map side join及Reduce side join範例

九天高遠發表於2013-09-15

最近在準備抽取資料的工作。有一個id集合200多M，要從另一個500GB的資料集合中抽取出所有id集合中包含的資料集。id資料集合中每一個行就是一個id的字串（Reduce side join要在每行的行尾加“,”號，而Map side join不必，如果加了也可以處理掉），類似，500GB的資料集合中每一行是某一id對應的全記錄，用“,”號分隔。

為什麼不在hive或者pig下面搞這個操作呢？主要是因為Hive配置了Kerberos認證之後，還有一個問題沒有解決，包含metastore的主機無法從namenode主機獲取票據，所以就暫時放一放吧。用MapReduce來搞吧。在Hive下比較方便，但在MapReduce中實現就比較麻煩。

1、概述

在傳統資料庫（如：MySql）中，JOIN操作常常是非常耗時的。而在HADOOP中進行JOIN操作，同樣常見且耗時，由於Hadoop的獨特設計思想，當進行JOIN操作時，有一些特殊的技巧。下面分別介紹MapReduce中的幾種常見join，比如有最常見的 map side join，reduce side join，semi join（這些在Hive中都有）等。Map side join在處理多個小表關聯大表時非常有用，而 reduce join 在處理多表關聯時是比較麻煩的，會造成大量的網路IO，效率低下，但在有些時候也是非常有用的。

2. 常見的join方法介紹

2.1 map side join

Map side join是針對以下場景進行的最佳化：兩個待連線表中，有一個表非常大，而另一個表非常小，以至於小表可以直接存放到記憶體中。這樣，我們可以將小表複製多份，讓每個map須 task記憶體中存在一份（比如存放到hash table中），然後只掃描大表：對於大表中的每一條記錄key/value，在hash table中查詢是否有相同的key的記錄，如果有，則連線後輸出即可。

為了支援檔案的複製，Hadoop提供了一個類DistributedCache，使用該類的方法如下：

（1）使用者使用靜態方法DistributedCache.addCacheFile()指定要複製的檔案，它的引數是檔案的URI（如果是HDFS上的檔案，可以這樣：hdfs://namenode:9000/home/XXX/file，其中9000是自己配置的NameNode埠號）。JobTracker在作業啟動之前會獲取這個URI列表，並將相應的檔案複製到各個TaskTracker的本地磁碟上。（2）使用者使用DistributedCache.getLocalCacheFiles()方法獲取檔案目錄，並使用標準的檔案讀寫API讀取相應的檔案。

package com.unionpayadvisors;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.HashSet;
import java.util.Set;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.filecache.DistributedCache;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import org.hsqldb.lib.StringUtil;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;

public class AccountTableJoin extends Configured implements Tool {
    private static WriteLog log = WriteLog.getInstance();
    

    private static String parseRaw(String str) {
        if (StringUtil.isEmpty(str)) {
            return str;
        }
        str = str.trim();
        if (str.startsWith("\"")) {
            str = str.substring(1);
        }
        if (str.endsWith("\"")) {
            str = str.substring(0, str.length() - 1);
        }
        return str.trim();
    }

    public static class MapClass extends
            Mapper<LongWritable, Text, Text, NullWritable> {
        // 用於快取 user_account 中的資料

         private Set<String> accountSet = new HashSet<String>();

        private Text accKey = new Text();
        private NullWritable nullValue = NullWritable.get();
        private String[] kv;

        private Jedis jedis = new JedisPool("192.168.2.101", 6379).getResource();
        // 此方法會在map方法執行之前執行
        // @Override
         protected void setup(Context context) throws
         IOException,InterruptedException {
         BufferedReader in = null;
         try {
         // 從當前作業中獲取要快取的檔案
        
         Path[] paths = DistributedCache.getLocalCacheFiles(context
        
         .getConfiguration());
        
         String accountLine = null;
        
         for (Path path : paths) {
        
         if (path.toString().contains("account")) {
        
         in = new BufferedReader(new FileReader(path.toString()));
        
         while (null != (accountLine = in.readLine())) {
         log.logger("AccountTableJoin",
         "accountSet="+parseRaw(accountLine.split(",", -1)[0]));
         accountSet.add(parseRaw(accountLine.split(",", -1)[0]));
                            
         }
        
         }
        
         }
    
                
         } catch (IOException e) {
        
         e.printStackTrace();
        
         } finally {
        
         try {
        
         if (in != null) {
        
         in.close();
        
         }
        
         } catch (IOException e) {
        
         e.printStackTrace();
        
         }
        
         }

         }

        public void map(LongWritable key, Text value, Context context)

        throws IOException, InterruptedException {

            kv = value.toString().split(",");

             //map join: 在map階段過濾掉不需要的資料
             if(kv.length==4&&accountSet.contains(parseRaw(kv[0]))){
             accKey.set(value);
             context.write(accKey, nullValue);
             }
            
            }
        }

    

    public int run(String[] args) throws Exception {

        log.logger("XXXXXXXXX", "begin in");
        
        Job job = new Job(getConf(), "AccountTableJoin");

        job.setJobName("AccountTableJoin");

        job.setJarByClass(AccountTableJoin.class);

        job.setMapperClass(MapClass.class);

        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);
        String[] otherArgs = new GenericOptionsParser(job.getConfiguration(),
                args).getRemainingArgs();

        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

        return job.waitForCompletion(true) ? 0 : 1;

    }

    public static void main(String[] args) throws Exception {
                int res = ToolRunner.run(new Configuration(), new AccountTableJoin(),
                args);        
        System.exit(res);

    }

    /*
     * hadoop jar AccountTableJoin.jar AccountTableJoin
     * /user/he/sample_account.del /user/he/SAMPLE_SUM_2012070809101112.del
     * /user/he/ACCOUNT_JOIN_RESULT
     */
}

WriteLog程式碼：

package com.unionpayadvisors;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.PrintWriter;
import java.util.Calendar;

public class WriteLog {
/**寫日誌<br>
* 寫logString字串到./log目錄下的檔案中
* @param logString 日誌字串
* @author tower
*/

    private static WriteLog instance = null;
    private WriteLog(){};
    public static WriteLog getInstance() {
        if( instance == null ) {
            instance = new WriteLog();
        }
        return instance;
    }   

public void logger(String fileNameHead,String logString) {
   try {
    String logFilePathName=null;
    Calendar cd = Calendar.getInstance();//日誌檔案時間
    int year=cd.get(Calendar.YEAR);
    String month=addZero(cd.get(Calendar.MONTH)+1);
    String day=addZero(cd.get(Calendar.DAY_OF_MONTH));
    String hour=addZero(cd.get(Calendar.HOUR_OF_DAY));
    String min=addZero(cd.get(Calendar.MINUTE));
    String sec=addZero(cd.get(Calendar.SECOND));
   
   
    File fileParentDir=new File("./log");//判斷log目錄是否存在
    if (!fileParentDir.exists()) {
     fileParentDir.mkdir();
    }
    if (fileNameHead==null||fileNameHead.equals("")) {
     logFilePathName="./log/"+year+month+day+hour+".log";//日誌檔名
    }else {
     logFilePathName="./log/"+fileNameHead+year+month+day+hour+".log";//日誌檔名
    }
   
    PrintWriter printWriter=new PrintWriter(new FileOutputStream(logFilePathName, true));//緊接檔案尾寫入日誌字串
    String time="["+year+month+day+"-"+hour+":"+min+":"+sec+"] ";
    printWriter.println(time+logString);
    printWriter.flush();
   
   } catch (FileNotFoundException e) {
    // TODO Auto-generated catch block
    e.getMessage();
   }
}

/**整數i小於10則前面補0
* @param i
* @return
* @author tower
*/
public static String addZero(int i) {
   if (i<10) {
    String tmpString="0"+i;
    return tmpString;
   }
   else {
    return String.valueOf(i);
   }  
}

}

2.2 reduce side join

reduce side join是一種最簡單的join方式，之所以存在reduce side join，是因為在map階段不能獲取所有需要的join欄位，即：同一個key對應的欄位可能位於不同map中。Reduce side join是非常低效的，因為shuffle階段要進行大量的資料傳輸。

假設要進行join的資料分別來自File1和File2.

在map階段，map函式同時讀取兩個檔案File1和File2，為了區分兩種來源的key/value資料對，對每條資料打一個標籤（tag）,比如：tag=0表示來自檔案File1，tag=2表示來自檔案File2。即：map階段的主要任務是對不同檔案中的資料打標籤。

在reduce階段，reduce函式獲取key相同的來自File1和File2檔案的value list，然後對於同一個key，對File1和File2中的資料進行join（笛卡爾乘積）。即：reduce階段進行實際的連線操作。

程式碼如下（需要再次修改）：

package com.unionpayadvisors;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.HashSet;
import java.util.Set;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.filecache.DistributedCache;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import org.hsqldb.lib.StringUtil;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;

public class AccountTableJoin extends Configured implements Tool {
    private static WriteLog log = WriteLog.getInstance();
    

    private static String parseRaw(String str) {
        if (StringUtil.isEmpty(str)) {
            return str;
        }
        str = str.trim();
        if (str.startsWith("\"")) {
            str = str.substring(1);
        }
        if (str.endsWith("\"")) {
            str = str.substring(0, str.length() - 1);
        }
        return str.trim();
    }

    public static class MapClass extends
            Mapper<LongWritable, Text, Text, NullWritable> {
        // 用於快取 user_account 中的資料

         private Set<String> accountSet = new HashSet<String>();

        private Text accKey = new Text();
        private NullWritable nullValue = NullWritable.get();
        private String[] kv;

        private Jedis jedis = new JedisPool("192.168.2.101", 6379).getResource();
        // 此方法會在map方法執行之前執行
        // @Override
         protected void setup(Context context) throws
         IOException,InterruptedException {
         BufferedReader in = null;
         try {
         // 從當前作業中獲取要快取的檔案
        
         Path[] paths = DistributedCache.getLocalCacheFiles(context
        
         .getConfiguration());
        
         String accountLine = null;
        
         for (Path path : paths) {
        
         if (path.toString().contains("account")) {
        
         in = new BufferedReader(new FileReader(path.toString()));
        
         while (null != (accountLine = in.readLine())) {
         log.logger("AccountTableJoin",
         "accountSet="+parseRaw(accountLine.split(",", -1)[0]));
         accountSet.add(parseRaw(accountLine.split(",", -1)[0]));
                            
         }
        
         }
        
         }
    
                
         } catch (IOException e) {
        
         e.printStackTrace();
        
         } finally {
        
         try {
        
         if (in != null) {
        
         in.close();
        
         }
        
         } catch (IOException e) {
        
         e.printStackTrace();
        
         }
        
         }

         }

        public void map(LongWritable key, Text value, Context context)

        throws IOException, InterruptedException {

            kv = value.toString().split(",");

             //map join: 在map階段過濾掉不需要的資料
             if(kv.length==4&&accountSet.contains(parseRaw(kv[0]))){
             accKey.set(value);
             context.write(accKey, nullValue);
             }
            
//            log.logger("XXXXXXXXX", "length!" + kv.length);
//            if (kv.length == 53) {
//            context.write(new Text(String.valueOf(parseRaw(kv[53 - 1])+":"+jedis.exists(parseRaw(kv[53 - 1])))), nullValue);
//                
//                log.logger("XXXXXXXXX", "Jedis!" + parseRaw(kv[53 - 1]));
//                if (jedis.exists(parseRaw(kv[53 - 1]))) {
//
//                    log.logger("XXXXXXXXX", "jedis.exists"
//                            + jedis.exists(parseRaw(kv[53 - 1])));
//                    accKey.set(value);
//                    context.write(accKey, nullValue);
//                }
            }
        }

    

    public int run(String[] args) throws Exception {

        log.logger("XXXXXXXXX", "begin in");
        
        Job job = new Job(getConf(), "AccountTableJoin");

        job.setJobName("AccountTableJoin");

        job.setJarByClass(AccountTableJoin.class);

        job.setMapperClass(MapClass.class);

        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);
        String[] otherArgs = new GenericOptionsParser(job.getConfiguration(),
                args).getRemainingArgs();

        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

        return job.waitForCompletion(true) ? 0 : 1;

    }

    public static void main(String[] args) throws Exception {
        log.logger("XXXXXXXXX", "begin connection Jedis!");

        // jedis=jedisPool.getResource();
//        log.logger("XXXXXXXXX", "find \"7a5abdf04ce2350424907bf234d8ac80\""
//                + jedis.get("7a5abdf04ce2350424907bf234d8ac80"));
//        log.logger("XXXXXXXXX", "exsit \"7a5abdf04ce2350424907bf234d8ac80\""
//                + jedis.exists("7a5abdf04ce2350424907bf234d8ac80"));
        int res = ToolRunner.run(new Configuration(), new AccountTableJoin(),
                args);
        // jedisPool.returnResource(jedis);
        // jedisPool.destroy();
        log.logger("XXXXXXXXX", "connection Jedis end!");

        System.exit(res);

    }

    /*
     * hadoop jar AccountTableJoin.jar AccountTableJoin
     * /user/he/sample_account.del /user/he/SAMPLE_SUM_2012070809101112.del
     * /user/he/ACCOUNT_JOIN_RESULT
     */
}

2.3 SemiJoin

SemiJoin，也叫半連線，是從分散式資料庫中借鑑過來的方法。它的產生動機是：對於reduce side join，跨機器的資料傳輸量非常大，這成了join操作的一個瓶頸，如果能夠在map端過濾掉不會參加join操作的資料，則可以大大節省網路IO。

實現方法很簡單：選取一個小表，假設是File1，將其參與join的key抽取出來，儲存到檔案File3中，File3檔案一般很小，可以放到記憶體中。在map階段，使用DistributedCache將File3複製到各個TaskTracker上，然後將File2中不在File3中的key對應的記錄過濾掉，剩下的reduce階段的工作與reducee side join相同。

2.4 reduce side join + BloomFilter

在某些情況下，SemiJoin抽取出來的小表的key集合在記憶體中仍然存放不下，這時候可以使用BloomFiler以節省空間。

BloomFilter最常見的作用是：判斷某個元素是否在一個集合裡面。它最重要的兩個方法是：add() 和contains()。最大的特點是不會存在false negative，即：如果contains()返回false，則該元素一定不在集合中，但會存在一定的true negative，即：如果contains()返回true，則該元素可能在集合中。

因而可將小表中的key儲存到BloomFilter中，在map階段過濾大表，可能有一些不在小表中的記錄沒有過濾掉（但是在小表中的記錄一定不會過濾掉），這沒關係，只不過增加了少量的網路IO而已。

Hadoop面試的時候也會問到 Hadoop上Join的實現，幾乎是一道必問的問題，而極個別公司還會涉及到DistributedCache原理以及怎樣利用DistributedCache進行Join操作。

數倉工具—Hive語法之map join、reduce join、smb join(8)
2021-01-03
Hive
LEFT JOIN 和JOIN 多表連線
2018-08-27
MySQL LEFT JOIN/ INNER JOIN/RIGHT JOIN
2019-04-19
MySql
頁面展示多表join的sql
2010-07-06
SQL
sql中的join、left join、right join
2017-07-31
SQL
多表連線的三種方式詳解 hash join、merge join、 nested loop
2021-02-03
OOP
Mysql join 的本質，Nested Loop Join 和 Hash Join
2020-09-25
MySqlOOP
MYSQL 怎麼 LEFT JOIN 多表聯查
2018-11-23
MySql
mysql left join轉inner join
2021-06-30
MySql
sql之left join、right join、inner join的區別
2017-08-28
SQL
連線查詢簡析 join 、 left join 、 right join
2013-12-17
hash join\nest loop join\sort merge join的實驗
2012-12-25
OOP
通過swap_join_inputs來控制多表連線hash join中的build table
2011-08-04
UI
ZT：簡單介紹join,outer-join,semi-join,anti-join的區別
2007-04-25
HASH JOIN ,MERGE JOIN ,NESTED LOOP
2010-07-05
OOP
SQL中聯表查詢操作（LEFT JOIN, RIGHT JOIN, INNER JOIN）
2012-10-24
SQL
sql join例項圖解
2016-11-07
SQL圖解
sql的left join 、right join 、inner join之間的區別
2018-07-02
SQL
nested loop,sort merge join,hash join
2012-06-04
OOP
JavaScript join()
2018-08-29
JavaScript
FILTER JOIN
2014-09-29
Filter
SQL join
2007-05-09
SQL
left join,right join,inner join的條件on和where的區別
2013-01-24
hadoop 用MR實現join操作
2016-07-08
Hadoop
資料庫實踐丨MySQL多表join分析
2020-09-03
資料庫MySql
HINT no_swap_join_inputs/swap_join_inputs
2014-08-29
sql left join 和 right join解釋
2007-05-14
SQL
Flink的join操作樣例
2019-03-28
Inner Join, Left Outer Join和Association的區別
2018-03-02
HASH JOIN ,MERGE JOIN ,NESTED LOOP(R2)
2014-03-07
OOP
HASH JOIN ,MERGE JOIN ,NESTED LOOP的比較
2009-03-19
OOP
Hadoop--Map/Reduce實現多表連結
2014-07-07
Hadoop
mysql新建表和多表查詢，關鍵字join
2018-07-30
MySql
Fork/Join 框架
2021-03-27
框架
mysql + left join
2018-11-15
MySql
Thread join
2020-12-23
thread
Fork/Join框架
2017-08-13
框架
MySQL Join Buffer
2014-05-12
MySql