MapReduce關於key的定義、hashCode()、equals(Object obj)、compareTo(CustomCombineKey other)

csdnmrliu發表於2018-10-23
Object

1. mapreduce中自定義mapout、reduceinput的key

key需實現WritableComparable<KEY> 介面

1.1 重寫下面的三個方法

1.2 重寫hashCode()和equals(Object obj)

2. mapreduce何時呼叫hashCode()、equals(Object obj)、compareTo(CustomCombineKey other)

2.1 compareTo(CustomCombineKey other)

spill（溢位）到磁碟時，會先進行一次快排，此時呼叫key的compareTo方法。

相關文章