foreach

官方文件描述：

Applies a function f to all elements of this RDD.

函式原型：

def foreach(f: VoidFunction[T])

**
foreach用於遍歷RDD,將函式f應用於每一個元素。
**

原始碼分析：

def foreach(f: T => Unit): Unit = withScope {  
  val cleanF = sc.clean(f)  
  sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))
}

例項：

List<Integer> data = Arrays.asList(5, 1, 1, 4, 4, 2, 2);
JavaRDD<Integer> javaRDD = javaSparkContext.parallelize(data,3);
javaRDD.foreach(new VoidFunction<Integer>() {    
  @Override    
  public void call(Integer integer) throws Exception {        
    System.out.println(integer);    
  }
});

foreachPartition

官方文件描述：

Applies a function f to each partition of this RDD.

函式原型：

def foreachPartition(f: VoidFunction[java.util.Iterator[T]])

**
foreachPartition和foreach類似，只不過是對每一個分割槽使用f。
**

原始碼分析：

def foreachPartition(f: Iterator[T] => Unit): Unit = withScope {  
  val cleanF = sc.clean(f)  
  sc.runJob(this, (iter: Iterator[T]) => cleanF(iter))
}

例項：

List<Integer> data = Arrays.asList(5, 1, 1, 4, 4, 2, 2);
JavaRDD<Integer> javaRDD = javaSparkContext.parallelize(data,3);//獲得分割槽IDJavaRDD<String> partitionRDD = javaRDD.mapPartitionsWithIndex(new Function2<Integer, Iterator<Integer>, Iterator<String>>() {    
  @Override    
  public Iterator<String> call(Integer v1, Iterator<Integer> v2) throws Exception {        
      LinkedList<String> linkedList = new LinkedList<String>();        
      while(v2.hasNext()){            
        linkedList.add(v1 + "=" + v2.next());        
      }     return linkedList.iterator();    
  }
},false);
System.out.println(partitionRDD.collect());
javaRDD.foreachPartition(new VoidFunction<Iterator<Integer>>() {    
  @Override    
   public void call(Iterator<Integer> integerIterator) throws Exception {        
    System.out.println("___________begin_______________");        
    while(integerIterator.hasNext())            
      System.out.print(integerIterator.next() + "      ");        
    System.out.println("n___________end_________________");    
   }
});

lookup

官方文件描述：

Return the list of values in the RDD for key `key`. This operation is done efficiently 
if the RDD has a known partitioner by only searching the partition that the key maps to.

函式原型：

def lookup(key: K): JList[V]

**
lookup用於(K,V)型別的RDD,指定K值，返回RDD中該K對應的所有V值。
**

原始碼分析：

def lookup(key: K): Seq[V] = self.withScope {  
  self.partitioner match {    
    case Some(p) =>      
      val index = p.getPartition(key)      
      val process = (it: Iterator[(K, V)]) => {        
        val buf = new ArrayBuffer[V]        
        for (pair <- it if pair._1 == key) {          
          buf += pair._2        
        }        
        buf      
      } : Seq[V]      
      val res = self.context.runJob(self, process, Array(index), false)      
      res(0)    
    case None =>      
      self.filter(_._1 == key).map(_._2).collect()  
  }
}

**
從原始碼中可以看出，如果partitioner不為空，計算key得到對應的partition，在從該partition中獲得key對應的所有value；如果partitioner為空，則透過filter過濾掉其他不等於key的值，然後將其value輸出。
**

例項：

List<Integer> data = Arrays.asList(5, 1, 1, 4, 4, 2, 2);
JavaRDD<Integer> javaRDD = javaSparkContext.parallelize(data, 3);
JavaPairRDD<Integer,Integer> javaPairRDD = javaRDD.mapToPair(new PairFunction<Integer, Integer, Integer>() {    
  int i = 0;    
  @Override    
  public Tuple2<Integer, Integer> call(Integer integer) throws Exception {        
    i++;        
    return new Tuple2<Integer, Integer>(integer,i + integer);    
  }
});
System.out.println(javaPairRDD.collect());
System.out.println("lookup------------" + javaPairRDD.lookup(4));

作者：小飛_俠_kobe
連結：