MapReduce關於key的定義、hashCode()、equals(Object obj)、compareTo(CustomCombineKey other)

csdnmrliu發表於2018-10-23

1. mapreduce中自定義mapout、reduceinput的key

key需實現WritableComparable<KEY> 介面

1.1 重寫下面的三個方法

1.2 重寫hashCode()和equals(Object obj)

2. mapreduce何時呼叫hashCode()、equals(Object obj)、compareTo(CustomCombineKey other)

2.1 compareTo(CustomCombineKey other)

spill(溢位)到磁碟時,會先進行一次快排,此時呼叫key的compareTo方法。

相關文章