原始碼分析——HashMap

蔡鎮浩發表於2019-06-12

前言

HashMap:它根據鍵的hashCode值儲存資料,大多數情況下可以直接定位到它的值,因而訪問的時間複雜度為常數級,但遍歷的順序卻是無序的。 HashMap最多隻允許一個key為null,允許多個key的value值為null。HashMap非執行緒安全,即任一時刻可以有多個執行緒同時寫HashMap,可能會導致資料的不一致。如果需要滿足執行緒安全,可以使用ConcurrentHashMap。以下是它的類關係圖:

原始碼分析——HashMap

1. 儲存結構

從資料結構實現來講,HashMap是陣列+連結串列+紅黑樹(JDK1.8增加了紅黑樹部分)實現的

原始碼分析——HashMap

這裡需要講明白兩個問題:資料底層具體儲存的是什麼?這樣的儲存方式有什麼優點呢?

(1) 從原始碼可知,HashMap類中有一個非常重要的欄位,就是 Node[] table,即雜湊桶陣列,明顯它是一個Node的陣列。我們先來看看Node是什麼。

static class Node implements Map.Entry<K,V> {
        final int hash;
        final K key;
        V value;
        Node next;//指向連結串列的下一個node

        Node(int hash, K key, V value, Node next) { ... }
        public final K getKey(){ ... }
        public final V getValue() { ... }
        public final String toString() { ... }
        public final int hashCode() { ... }
        public final V setValue(V newValue) { ... }
        public final boolean equals(Object o) { ... }
}複製程式碼
Node是HashMap的一個內部類,實現了Map.Entry介面,本質是就是一個對映(鍵值對)。上圖中的每個黑色圓點就是一個Node物件。

(2) HashMap就是使用雜湊表來儲存的。雜湊表為解決衝突,可以採用開放地址法和鏈地址法等來解決問題,Java中HashMap採用了鏈地址法

鏈地址法,簡單來說,就是陣列加連結串列的結合。在每個陣列元素上都有一個連結串列結構,當資料被Hash後,得到陣列下標,把資料放在對應下標元素的連結串列上(具體內容下文會說到)。

在理解Hash和擴容流程之前,我們得先了解下HashMap的幾個欄位。從HashMap的預設建構函式原始碼可知,建構函式就是對下面幾個欄位進行初始化,原始碼如下:

int threshold;             // 所能容納的key-value對極限 
final float loadFactor;    // 負載因子
int modCount;  
int size;複製程式碼
首先,Node[] table的初始化長度length(預設值是16),Load factor為負載因子(預設值是0.75),threshold是HashMap所能容納的最大資料量的Node(鍵值對)個數。threshold = length * Load factor。也就是說,在陣列定義好長度之後,負載因子越大,所能容納的鍵值對個數越多。

結合負載因子的定義公式可知,threshold就是在此Load factor和length(陣列長度)對應下允許的最大元素數目,超過這個數目就重新resize(擴容),擴容後的HashMap容量是之前容量的兩倍。預設的負載因子0.75是對空間和時間效率的一個平衡選擇。

size這個欄位其實很好理解,就是HashMap中實際存在的鍵值對數量。注意和table的長度length、容納最大鍵值對數量threshold的區別。

modCount欄位主要用來記錄HashMap內部結構發生變化的次數,主要用於迭代的快速失敗。強調一點,內部結構發生變化指的是結構發生變化,例如put新鍵值對,但是某個key對應的value值被覆蓋不屬於結構變化。

這裡存在一個問題,即使負載因子和Hash演算法設計的再合理,也免不了會出現拉鍊過長的情況,一旦出現拉鍊過長,則會嚴重影響HashMap的效能。於是,在JDK1.8版本中,對資料結構做了進一步的優化,引入了紅黑樹。而當連結串列長度太長(預設超過8)時,連結串列就轉換為紅黑樹,利用紅黑樹快速增刪改查的特點提高HashMap的效能,其中會用到紅黑樹的插入、刪除、查詢等演算法。

1.1. 拉鍊法的工作原理

HashMap<String, String> map = new HashMap<>(); map.put("K1", "V1"); map.put("K2", "V2"); map.put("K3", "V3");
  • 新建一個 HashMap,預設大小為 16;
  • 插入 <K1,V1> 鍵值對,先計算 K1 的 hashCode 為 115,使用除留餘數法得到所在的桶下標 115%16=3。
  • 插入 <K2,V2> 鍵值對,先計算 K2 的 hashCode 為 118,使用除留餘數法得到所在的桶下標 118%16=6。
  • 插入 <K3,V3> 鍵值對,先計算 K3 的 hashCode 為 118,使用除留餘數法得到所在的桶下標 118%16=6,插在 <K2,V2> 前面。
應該注意到連結串列的插入是以頭插法方式進行的,例如上面的 <K3,V3> 不是插在 <K2,V2> 後面,而是插入在連結串列頭部。
查詢需要分成兩步進行:
  • 計算鍵值對所在的桶;
  • 在連結串列上順序查詢,時間複雜度顯然和連結串列的長度成正比。

1.2. 建構函式解析

計算陣列容量
HashMap 建構函式允許使用者傳入的容量不是 2 的 n 次方,因為它可以自動地將傳入的容量轉換為 2 的 n 次方。
以下是 HashMap 中計算陣列容量的程式碼:

static final int tableSizeFor(int cap) {
    int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}複製程式碼

2. 實現原理

HashMap的內部功能實現很多,本文主要從根據key獲取雜湊桶陣列索引位置、put方法的詳細執行、擴容過程三個具有代表性的點深入展開講解。

2.1. 確定雜湊桶陣列索引位置

不管增加、刪除、查詢鍵值對,定位到雜湊桶陣列的位置都是很關鍵的第一步。前面說過HashMap的資料結構是陣列和連結串列的結合,所以我們當然希望這個HashMap裡面的元素位置儘量分佈均勻些,儘量使得每個位置上的元素數量只有一個,那麼當我們用hash演算法求得這個位置的時候,馬上就可以知道對應位置的元素就是我們要的,不用遍歷連結串列,大大優化了查詢的效率。HashMap定位陣列索引位置,直接決定了hash方法的離散效能。先看看原始碼的實現(方法一+方法二):

方法一:
static final int hash(Object key) {   //jdk1.8 & jdk1.7
     int h;
     // h = key.hashCode() 為第一步 取hashCode值
     // h ^ (h >>> 16)  為第二步 高位參與運算
     return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}
方法二:
static int indexFor(int h, int length) {
//jdk1.7的原始碼,jdk1.8沒有這個方法,原理是一樣的只不過放到其他方法中去,例如put()
     return h & (length-1);  //第三步 取模運算
}複製程式碼
這裡的Hash演算法分為三步:取key的hashCode值、高位運算、取模運算。

對於任意給定的物件,只要它的hashCode()返回值相同,那麼程式呼叫方法一所計算得到的Hash碼值總是相同的。我們首先想到的就是把hash值對陣列長度取模運算,這樣一來,元素的分佈相對來說是比較均勻的。但是,模運算的消耗還是比較大的,在HashMap中是這樣做的:呼叫方法二來計算該物件應該儲存在table陣列的哪個索引處。

這個方法非常巧妙,它通過h & (table.length -1)來得到該物件的儲存位,而HashMap底層陣列的長度總是2的n次方,這是HashMap在速度上的優化。當length總是2的n次方時,h& (length-1)運算等價於對length取模,也就是h%length,但是&比%具有更高的效率。

取模的原理解析
令 x = 1<<4,即 x 為 2 的 4 次方,它具有以下性質:

x   : 00010000
x-1 : 00001111
複製程式碼
令一個數 y 與 x-1 做與運算,可以去除 y 位級表示的第 4 位以上數:

y       : 10110010
x-1     : 00001111
y&(x-1) : 00000010複製程式碼
這個性質和 y 對 x 取模效果是一樣的:

y   : 10110010
x   : 00010000
y%x : 00000010複製程式碼
位運算的代價比求模運算小的多,因此在進行這種計算時用位運算的話能帶來更高的效能。
確定桶下標的最後一步是將 key 的 hash 值對桶個數取模:hash%capacity,如果能保證 capacity 為 2 的 n 次方,那麼就可以將這個操作轉換為位運算。

2.2. 分析HashMap的put方法

HashMap的put方法執行過程可以通過下圖來理解,通過該圖對比原始碼可以更清楚地研究學習。

原始碼分析——HashMap

put執行過程
①.判斷鍵值對陣列table[i]是否為空或為null,否則執行resize()進行擴容;
②.根據鍵值key計算hash值得到插入的陣列索引i,如果table[i]==null,直接新建節點新增,轉向⑥,如果table[i]不為空,轉向③;
③.判斷table[i]的首個元素是否和key一樣,如果相同直接覆蓋value,否則轉向④,這裡的相同指的是hashCode以及equals;
④.判斷table[i] 是否為treeNode,即table[i] 是否是紅黑樹,如果是紅黑樹,則直接在樹中插入鍵值對,否則轉向⑤;
⑤.遍歷table[i],判斷連結串列長度是否大於8,大於8的話把連結串列轉換為紅黑樹,在紅黑樹中執行插入操作,否則進行連結串列的插入操作;遍歷過程中若發現key已經存在直接覆蓋value即可;
⑥.插入成功後,判斷實際存在的鍵值對數量size是否超多了最大容量threshold,如果超過,進行擴容。
JDK1.8HashMap的put方法原始碼如下:

public V put(K key, V value) {
      // 對key的hashCode()做hash
      return putVal(hash(key), key, value, false, true);
  }
  
  final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
                 boolean evict) {
      Node<K,V>[] tab; Node<K,V> p; int n, i;
      // 步驟1:tab為空則建立
     if ((tab = table) == null || (n = tab.length) == 0)
         n = (tab = resize()).length;
     // 步驟2:計算index,並對null做處理 
     if ((p = tab[i = (n - 1) & hash]) == null) 
         tab[i] = newNode(hash, key, value, null);
     else {
         Node<K,V> e; K k;
         // 步驟3:節點key存在,直接覆蓋value
         if (p.hash == hash &&
             ((k = p.key) == key || (key != null && key.equals(k))))
             e = p;
         // 步驟4:判斷該鏈為紅黑樹
         else if (p instanceof TreeNode)
             e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
         // 步驟5:該鏈為連結串列
         else {
             for (int binCount = 0; ; ++binCount) {
                 if ((e = p.next) == null) {
                     p.next = newNode(hash, key,value,null);
                      //連結串列長度大於8轉換為紅黑樹進行處理
                     if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st  
                         treeifyBin(tab, hash);
                     break;
                 }
                    // key已經存在直接覆蓋value
                 if (e.hash == hash &&
                     ((k = e.key) == key || (key != null && key.equals(k)))) 
							break;
                 p = e;
             }
         }
         
         if (e != null) { // existing mapping for key
             V oldValue = e.value;
             if (!onlyIfAbsent || oldValue == null)
                 e.value = value;
             afterNodeAccess(e);
             return oldValue;
         }
     }

     ++modCount;
     // 步驟6:超過最大容量 就擴容
     if (++size > threshold)
         resize();
     afterNodeInsertion(evict);
     return null;
 }複製程式碼
HashMap 允許插入key為 null 的鍵值對。但是因為無法呼叫 null 的 hashCode() 方法,也就無法確定該鍵值對的桶下標,只能通過強制指定一個桶下標來存放。HashMap 使用第 0 個桶存放鍵為 null 的鍵值對。

private V putForNullKey(V value) {
    for (Entry<K,V> e = table[0]; e != null; e = e.next) {
        if (e.key == null) {
            V oldValue = e.value;
            e.value = value;
            e.recordAccess(this);
            return oldValue;
        }
    }
    modCount++;
    addEntry(0, null, value, 0);
    return null;
}複製程式碼
使用連結串列的頭插法,也就是新的鍵值對插在連結串列的頭部,而不是連結串列的尾部。
在jdk1.8之前是插入頭部的,在jdk1.8中是插入尾部的。

void addEntry(int hash, K key, V value, int bucketIndex) {
    if ((size >= threshold) && (null != table[bucketIndex])) {
        resize(2 * table.length);
        hash = (null != key) ? hash(key) : 0;
        bucketIndex = indexFor(hash, table.length);
    }

    createEntry(hash, key, value, bucketIndex);
}

void createEntry(int hash, K key, V value, int bucketIndex) {
    Entry<K,V> e = table[bucketIndex];
    // 頭插法,連結串列頭部指向新的鍵值對
    table[bucketIndex] = new Entry<>(hash, key, value, e);
    size++;
}

Entry(int h, K k, V v, Entry<K,V> n) {
    value = v;
    next = n;
    key = k;
    hash = h;
}
複製程式碼

2.3. 擴容-基本原理

擴容(resize)就是重新計算table桶容量,向HashMap物件裡不停的新增元素,而HashMap物件內部的陣列無法裝載更多的元素時,物件就需要擴大陣列的長度,以便能裝入更多的元素。當然Java裡的陣列是無法自動擴容的,方法是使用一個新的陣列代替已有的容量小的陣列,就像我們一個小教室只能坐一個班,如果想更多的學生進來聽課,就得換大教室上課。

和擴容相關的引數主要有:capacity、size、threshold 和 load_factor。

引數
含義
capacity
table 的容量大小,預設為 16。需要注意的是 capacity 必須保證為 2 的 n 次方。
size
table 的實際使用量。
threshold
size 的臨界值,size 必須小於 threshold,如果大於等於,就必須進行擴容操作。
loadFactor
裝載因子,table 能夠使用的比例,threshold = capacity * loadFactor。

static final int DEFAULT_INITIAL_CAPACITY = 16;
static final int MAXIMUM_CAPACITY = 1 << 30;
static final float DEFAULT_LOAD_FACTOR = 0.75f;
transient Entry[] table;
transient int size;
int threshold;
final float loadFactor;
transient int modCount;複製程式碼
從下面的新增元素程式碼中可以看出,當需要擴容時,令 capacity 為原來的兩倍。

void addEntry(int hash, K key, V value, int bucketIndex) {
    Entry<K,V> e = table[bucketIndex];
    table[bucketIndex] = new Entry<>(hash, key, value, e);
    if (size++ >= threshold)
        resize(2 * table.length);
}複製程式碼
擴容使用 resize() 實現,需要注意的是,擴容操作同樣需要把 oldTable 的所有鍵值對重新插入 newTable 中,因此這一步是很費時的。

我們分析下resize的原始碼,這裡使用的是JDK1.7的程式碼,好理解一些,本質上區別不大。

void resize(int newCapacity) {   //傳入新的容量
     Entry[] oldTable = table;    //引用擴容前的Entry陣列
     int oldCapacity = oldTable.length;         
     if (oldCapacity == MAXIMUM_CAPACITY) {  //擴容前的陣列大小如果已經達到最大(2^30)了
         threshold = Integer.MAX_VALUE; //修改閾值為int的最大值(2^31-1),這樣以後就不會擴容了
         return;
     }
  
     Entry[] newTable = new Entry[newCapacity];  //初始化一個新的Entry陣列
    transfer(newTable);                         //將資料轉移到新的Entry陣列裡
    table = newTable;                           //HashMap的table屬性引用新的Entry陣列
    threshold = (int)(newCapacity * loadFactor);//修改閾值
}
複製程式碼
這裡就是使用一個容量更大的陣列來代替已有的容量小的陣列,transfer()方法將原有Entry陣列的元素拷貝到新的Entry陣列裡。

void transfer(Entry[] newTable) {
    Entry[] src = table;                   //src引用了舊的Entry陣列
    int newCapacity = newTable.length;
    for (int j = 0; j < src.length; j++) { //遍歷舊的Entry陣列
        Entry e = src[j];       //取得舊Entry陣列的每個元素
        if (e != null) {
//釋放舊Entry陣列的物件引用(for迴圈後,舊的Entry陣列不再引用任何物件)
            src[j] = null;
            do {
                Entry next = e.next;
                //!!重新計算每個元素在陣列中的位置
               int i = indexFor(e.hash, newCapacity);
               e.next = newTable[i]; //標記[1]
               newTable[i] = e;      //將元素放在陣列上
               e = next;             //訪問下一個Entry鏈上的元素
           } while (e != null);
       }
   }
} 複製程式碼

其實上面的陣列擴容、重新計算下標值並將舊資料插入到新陣列的過程並不難,有意思的一點是JDK1.8在這裡對擴容後的元素移動操作做了優化,具體過程如下。

經過觀測可以發現,我們使用的是2次冪的擴充套件(指長度擴為原來2倍),所以,元素的位置要麼是在原位置,要麼是在原位置再移動2次冪的位置。

看下圖可以明白這句話的意思,n為table的長度,圖(a)表示擴容前的key1和key2兩種key確定索引位置的示例,圖(b)表示擴容後key1和key2兩種key確定索引位置的示例,其中hash1是key1對應的雜湊與高位運算結果。

原始碼分析——HashMap
元素在重新計算hash之後,因為n變為2倍,那麼n-1的範圍在高位多1bit(紅色),因此新的index就會發生這樣的變化:
原始碼分析——HashMap
因此,我們在擴充HashMap的時候,不需要像JDK1.7的實現那樣重新計算hash,只需要看看原來的hash值新增的那個bit是1還是0就好了,是0的話索引沒變,是1的話索引變成“原索引+oldCap”。

具體細節大家不妨可以去看看JDK1.8的原始碼中resize是怎麼寫的,這個思路的確十分巧妙。

3. 為什麼HashMap執行緒不安全?

在多執行緒使用場景中,應該儘量避免使用執行緒不安全的HashMap,而使用執行緒安全的ConcurrentHashMap。那麼為什麼說HashMap是執行緒不安全的,下面舉例子說明在併發的多執行緒使用場景中使用HashMap可能造成死迴圈。程式碼例子如下(便於理解,仍然使用JDK1.7的環境):

public class HashMapInfiniteLoop {  
    private static HashMap map = new HashMap(2,0.75f);  
    public static void main(String[] args) {  
        map.put(5, "C");  
        new Thread("Thread1") {  
            public void run() {  
                map.put(7, "B");  
                System.out.println(map);  
            };  
        }.start();  
        new Thread("Thread2") {  
            public void run() {  
                map.put(3, "A);  
                System.out.println(map);  
            };  
        }.start();        
    }  
} 複製程式碼
其中,map初始化為一個長度為2的陣列,loadFactor=0.75,threshold=2*0.75=1,也就是說當put第二個key的時候,map就需要進行resize。

通過設定斷點讓執行緒1和執行緒2同時debug到transfer方法(3.3小節程式碼塊)的首行。注意此時兩個執行緒已經成功新增資料。放開thread1的斷點至transfer方法的“Entry next = e.next;” 這一行;然後放開執行緒2的的斷點,讓執行緒2進行resize。結果如下圖。

原始碼分析——HashMap

注意,Thread1的 e 指向了key(3),而next指向了key(7),其線上程二rehash後,指向了執行緒二重組後的連結串列。

執行緒一被排程回來執行,先是執行 newTalbe[i] = e, 然後是e = next,導致了e指向了key(7),而下一次迴圈的next = e.next導致了next指向了key(3)。

原始碼分析——HashMap

e.next = newTable[i] 導致 key(3).next 指向了 key(7)。注意:此時的key(7).next 已經指向了key(3), 環形連結串列就這樣出現了。

原始碼分析——HashMap

於是,當我們用執行緒一呼叫map.get(11)時,就會發現問題,進入一個死迴圈了。

4. 與 HashTable 的比較

  • hashmap不是執行緒安全的、hashtable是安全的
  • HashMap允許將 null 作為一個 entry 的 key 或者 value,而 Hashtable 不允許。
  • HashMap 把 Hashtable 的 contains 方法去掉了,改成 containsValue 和 containsKey。因為 contains 方法容易讓人引起誤解。
  • HashTable 繼承自 Dictionary 類,而 HashMap 是 Java1.2 引進的 Map interface 的一個實現。
  • HashTable 的方法是 Synchronized 的,而 HashMap 不是,在多個執行緒訪問 Hashtable 時,不需要自己為它的方法實現同步,而 HashMap 就必須為之提供外同步,或者改為使用ConcurrentHashMap。
  • Hashtable 和 HashMap 採用的 hash/rehash 演算法都大概一樣,所以效能不會有很大的差異。
  • HashMap 不能保證隨著時間的推移 Map 中的元素次序是不變的。
  • HashMap 的迭代器是 fail-fast 迭代器。

5. 總結

  1. 擴容是一個特別耗效能的操作,所以當程式設計師在使用HashMap的時候,估算map的大小,初始化的時候給一個大致的數值,避免map進行頻繁的擴容。
  2. 負載因子是可以修改的,也可以大於1,但是建議不要輕易修改。
  3. HashMap是執行緒不安全的,不要在併發的環境中同時操作HashMap,建議使用ConcurrentHashMap。
  4. JDK1.8引入紅黑樹很大程度優化了HashMap的效能。

閱讀原始碼是一件十分耗費精力的事情,但從中你可以領悟到JDK作者的巧妙思路,在原始碼層面去理解為什麼HashMap是執行緒不安全的,HashMap的擴容機制等等,而不是僅僅停留在會用HashMap這個容器的表面理解上。


參考自:tech.meituan.com/2016/06/24/…


相關文章