HashMap原始碼分析(JDK 1.8)

zuckerbergJu2.0發表於2018-02-04

一、概述

HashMap是我們在程式設計中遇到極其頻繁、非常重要的一個集合類,如果能對HashMap做進一步的效能優化是非常有價值的而JDK 1.8做到了,所以非常有必要學習HashMap的重點原始碼,瞭解大師的手法。

二、底層資料結構

HashMap原始碼分析(JDK 1.8)

HashMap原始碼分析(JDK 1.8)
畫圖真的是個累活,好的畫圖工具很重要啊,上面這兩張圖分別畫出了JDK 1.7、1.8底層資料結構,在JDK 1.7、1.8中都使用 了雜湊演算法,但是在JDK 1.8中引入了紅黑樹,在連結串列的長度大於等於8並且hash桶的長度大於等於64的時候,會將連結串列進行樹化。這裡的樹使用的資料結構是紅黑樹,紅黑樹是一個自平衡的二叉查詢樹,查詢效率會從連結串列的o(n)降低為o(logn),效率是非常大的提高。

那為什麼不將連結串列全部換成二叉樹呢?這裡主要有兩個方面。

  • 第一個是連結串列的結構比紅黑樹簡單,構造紅黑樹要比構造連結串列複雜,所以在連結串列的節點不多的情況下,從整體的效能看來, 陣列+連結串列+紅黑樹的結構不一定比陣列+連結串列的結構效能高。

  • 第二個是HashMap頻繁的resize(擴容),擴容的時候需要重新計算節點的索引位置,也就是會將紅黑樹進行拆分和重組其實 這是很複雜的,這裡涉及到紅黑樹的著色和旋轉,有興趣的可以看看紅黑樹的原理,這又是一個比連結串列結構耗時的操作,所以為連結串列樹化設定一個閥值是非常有必要的。

三、原始碼分析

3.1 類結構

HashMap原始碼分析(JDK 1.8)
上圖是HashMap的類結構,大家看看有個概念

3.2 類註釋

我建議大家在讀原始碼時可以先看看類註釋,往往類註釋會給我們一些重要的資訊,這裡LZ給大家總結一下。

(1)允許NULL值,NULL鍵

(2)不要輕易改變負載因子,負載因子過高會導致連結串列過長,查詢鍵值對時間複雜度就會增高,負載因子過低會導致hash桶的 數量過多,空間複雜度會增高

(3)Hash表每次會擴容長度為以前的2倍

(4)HashMap是多執行緒不安全的,我在JDK1.7進行多執行緒put操作,之後遍歷,直接死迴圈,CPU飆到100%,在JDK 1.8中進行多執行緒操作會出現節點和value值丟失,為什麼JDK1.7與JDK1.8多執行緒操作會出現很大不同,是因為JDK 1.8的作者對resize方法進行了優化不會產生連結串列閉環。這也是本章的重點之一,具體的細節大家可以去查閱資料。這裡我就不解釋太多了

(5)儘量設定HashMap的初始容量,尤其在資料量大的時候,防止多次resize

3.3 類常量

  //預設hash桶初始長度16
  static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; 

  //hash表最大容量2的30次冪
  static final int MAXIMUM_CAPACITY = 1 << 30;

  //預設負載因子 0.75
  static final float DEFAULT_LOAD_FACTOR = 0.75f;

  //連結串列的數量大於等於8個並且桶的數量大於等於64時連結串列樹化 
  static final int TREEIFY_THRESHOLD = 8;

  //hash表某個節點連結串列的數量小於等於6時樹拆分
  static final int UNTREEIFY_THRESHOLD = 6;

  //樹化時最小桶的數量
  static final int MIN_TREEIFY_CAPACITY = 64;
複製程式碼

3.4 例項變數

  //hash桶
  transient Node<K,V>[] table;                         

  //鍵值對的數量
  transient int size;

  //HashMap結構修改的次數
  transient int modCount;

  //擴容的閥值,當鍵值對的數量超過這個閥值會產生擴容
  int threshold;

  //負載因子
  final float loadFactor;
複製程式碼

3.5 建構函式

public HashMap(int initialCapacity, float loadFactor) {                                                                   
        if (initialCapacity < 0)
            throw new IllegalArgumentException("Illegal initial capacity: " +
                                               initialCapacity);
        if (initialCapacity > MAXIMUM_CAPACITY)
            initialCapacity = MAXIMUM_CAPACITY;
        if (loadFactor <= 0 || Float.isNaN(loadFactor))
            throw new IllegalArgumentException("Illegal load factor: " + loadFactor);
        this.loadFactor = loadFactor;
        //下面介紹一下這行程式碼的作用
        this.threshold = tableSizeFor(initialCapacity);
    }

    public HashMap(int initialCapacity) {
        this(initialCapacity, DEFAULT_LOAD_FACTOR);
    }

    public HashMap() {
        this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted
    }

    public HashMap(Map<? extends K, ? extends V> m) {
        this.loadFactor = DEFAULT_LOAD_FACTOR;
        putMapEntries(m, false);
    }
複製程式碼

HashMap有4個建構函式。

hash桶沒有在建構函式中初始化,而是在第一次儲存鍵值對的時候進行初始化。 這裡重點看下 tableSizeFor(initialCapacity)方法,這個方法的作用是,將你傳入的initialCapacity做計算,返回一個大於等於initialCapacity 最小的2的冪次方。

所以這個操作保證無論你傳入的初始化Hash桶長度引數是多少,最後hash表初始化的長度都是2的冪次方。比如你輸入的是6,計算出來結果就是8。

下面貼出原始碼。

static final int tableSizeFor(int cap) {                                                                      
        int n = cap - 1;
        n |= n >>> 1;
        n |= n >>> 2;
        n |= n >>> 4;
        n |= n >>> 8;
        n |= n >>> 16;
        return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
    }
複製程式碼

3.6 插入

public V put(K key, V value) {
    return putVal(hash(key), key, value, false, true);
}
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,                                     
               boolean evict) {
    Node<K,V>[] tab; Node<K,V> p; int n, i;
    //當table為空時,這裡初始化table,不是通過建構函式初始化,而是在插入時通過擴容初始化,有效防止了初始化HashMap沒有資料插入造成空間浪費可能造成記憶體洩露的情況
    if ((tab = table) == null || (n = tab.length) == 0)
        n = (tab = resize()).length;
    //存放新鍵值對
    if ((p = tab[i = (n - 1) & hash]) == null)
        tab[i] = newNode(hash, key, value, null);
    else {
        Node<K,V> e; K k;
        //舊鍵值對的覆蓋
        if (p.hash == hash &&
            ((k = p.key) == key || (key != null && key.equals(k))))
            e = p;
        //在紅黑樹中查詢舊鍵值對更新
        else if (p instanceof TreeNode)
            e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
        else {
            //將新鍵值對放在連結串列的最後
            for (int binCount = 0; ; ++binCount) {
                if ((e = p.next) == null) {
                    p.next = newNode(hash, key, value, null);
                    //當連結串列的長度大於等於樹化閥值,並且hash桶的長度大於等於MIN_TREEIFY_CAPACITY,連結串列轉化為紅黑樹
                    if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                        treeifyBin(tab, hash);
                    break;
                }
                //連結串列中包含鍵值對
                if (e.hash == hash &&
                    ((k = e.key) == key || (key != null && key.equals(k))))
                    break;
                p = e;
            }
        }
        //map中含有舊key,返回舊值
        if (e != null) { 
            V oldValue = e.value;
            if (!onlyIfAbsent || oldValue == null)
                e.value = value;
            afterNodeAccess(e);
            return oldValue;
        }
    }
    //map調整次數加1
    ++modCount;
    //鍵值對的數量達到閾值需要擴容
    if (++size > threshold)
        resize();
    afterNodeInsertion(evict);
    return null;
}
複製程式碼

HashMap插入跟我們平時使用時的感覺差不多,下面總結一下。

(1)插入的鍵值對是新鍵值對,如果hash表沒有初始化會進行初始化,否則將鍵值對插入連結串列尾部,可能需要連結串列樹化和 擴容

(2)插入的鍵值對中的key已經存在,更新鍵值對在put的方法裡我們注意看下hash(key)方法,這是計算鍵值對hash值的方法,下面給出原始碼

static final int hash(Object key) {                                                                          
        int h;
        return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
    }
複製程式碼

hashCode()是一個int型別的本地方法,也就將key的hashCode無符號右移16位然後與hashCode異或從而得到hash值在putVal方法中(n - 1)& hash計算得到桶的索引位置 ,那麼現在有兩個疑問,為什麼要計算hash值?為什麼不用 hash % n?

  • 為什麼要計算hash值,而不用hashCode,用為通常n是很小的,而hashCode是32位,如果(n - 1)& hashCode那麼當n大於2的16次方加1,也就是65537後(n - 1)的高位資料才能與hashCode的高位資料相與,當n很小是隻能使用上hashCode低 16位的資料,這會產生一個問題,既鍵值對在hash桶中分佈不均勻,導致連結串列過長,而把hashCode>>>16無符號右移16位讓 高16位間接的與(n - 1)參加計算,從而讓鍵值對分佈均勻。降低hash碰撞。

  • 為什麼使用(n - 1)& hash 而不使用hash% n呢?其實這兩種結果是等價的,但是&的效率比%高,原因因為&運算是二 進位制直接運算,而計算機天生就認得二進位制。下面畫圖說明一下

HashMap原始碼分析(JDK 1.8)
上圖 hash&(n - 1)的結果是2,而其實hash%n 的結果也是2, hash&(n - 1)與hash%n的結果是等價的。

3.7 擴容

final Node<K,V>[] resize() {
        Node<K,V>[] oldTab = table;
        int oldCap = (oldTab == null) ? 0 : oldTab.length;
        int oldThr = threshold;
        int newCap, newThr = 0;
        //如果舊hash桶不為空
        if (oldCap > 0) {
            //超過hash桶的最大長度,將閥值設為最大值
            if (oldCap >= MAXIMUM_CAPACITY) {
                threshold = Integer.MAX_VALUE;
                return oldTab;
            }
            //新的hash桶的長度2被擴容沒有超過最大長度,將新容量閥值擴容為以前的2倍
            else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                     oldCap >= DEFAULT_INITIAL_CAPACITY)
                newThr = oldThr << 1; // double threshold
        }
        //如果hash表閾值已經初始化過
        else if (oldThr > 0) // initial capacity was placed in threshold
            newCap = oldThr;
        //如果舊hash桶,並且hash桶容量閾值沒有初始化,那麼需要初始化新的hash桶的容量和新容量閥值
        else {              
            newCap = DEFAULT_INITIAL_CAPACITY;
            newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
        }
        //新的區域性變數閥值賦值
        if (newThr == 0) {
            float ft = (float)newCap * loadFactor;
            newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                      (int)ft : Integer.MAX_VALUE);
        }
        //為當前容量閥值賦值
        threshold = newThr;
        @SuppressWarnings({"rawtypes","unchecked"})
            //初始化hash桶
            Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
        table = newTab;
        //如果舊的hash桶不為空,需要將舊的hash表裡的鍵值對重新對映到新的hash桶中
        if (oldTab != null) {
            for (int j = 0; j < oldCap; ++j) {
                Node<K,V> e;
                if ((e = oldTab[j]) != null) {
                    oldTab[j] = null;
                    //只有一個節點,通過索引位置直接對映
                    if (e.next == null)
                        newTab[e.hash & (newCap - 1)] = e;
                    //如果是紅黑樹,需要進行樹拆分然後對映
                    else if (e instanceof TreeNode)
                        ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                    else { 
                    //如果是多個節點的連結串列,將原連結串列拆分為兩個連結串列,兩個連結串列的索引位置,一個為原索引,一個為原索引加上舊Hash桶長度的偏移量       
                        Node<K,V> loHead = null, loTail = null;
                        Node<K,V> hiHead = null, hiTail = null;
                        Node<K,V> next;
                        do {
                            next = e.next;
                            //連結串列1
                            if ((e.hash & oldCap) == 0) {
                                if (loTail == null)
                                    loHead = e;
                                else
                                    loTail.next = e;
                                loTail = e;
                            }
                            //連結串列2
                            else {
                                if (hiTail == null)
                                    hiHead = e;
                                else
                                    hiTail.next = e;
                                hiTail = e;
                            }
                        } while ((e = next) != null);
                        //連結串列1存於原索引
                        if (loTail != null) {
                            loTail.next = null;
                            newTab[j] = loHead;
                        }
                        //連結串列2存於原索引加上原hash桶長度的偏移量
                        if (hiTail != null) {
                            hiTail.next = null;
                            newTab[j + oldCap] = hiHead;
                        }
                    }
                }
            }
        }
        return newTab;
    }
複製程式碼

那麼什麼時候回產生擴容呢?

(1)初始化HashMap時,第一次進行put操作

(2)當鍵值對的個數大於threshold閥值時產生擴容,threshold=size*loadFactor

上面就是HashMap擴容的原始碼,我已經加上了註釋,相信大家都能看懂了。總結一下,HaspMap擴容就是就是先計算 新的hash表容量和新的容量閥值,然後初始化一個新的hash表,將舊的鍵值對重新對映在新的hash表裡。這裡實現的細節當然 沒有我說的那麼簡單,如果在舊的hash表裡涉及到紅黑樹,那麼在對映到新的hash表中還涉及到紅黑樹的拆分。

在擴容的原始碼中作者有一個使用很巧妙的地方,是鍵值對分佈更均勻,不知道讀者是否有看出來。在遍歷原hash桶時的 一個連結串列時,因為擴容後長度為原hash表的2倍,假設把擴容後的hash表分為兩半,分為低位和高位,如果能把原連結串列的鍵值對, 一半放在低位,一半放在高位,這樣的索引效率是最高的。那看看原始碼裡是怎樣寫的。大師通過e.hash & oldCap == 0來判斷, 這和e.hash & (oldCap - 1) 有什麼區別呢。下面我通過畫圖來解釋一下。

HashMap原始碼分析(JDK 1.8)
因為n是2的整次冪,二進位制表示除了最高位為1外,其他低位全為0,那麼e.hash & oldCap 是否等於0,取決於n對應最高位 相對於e.hash那一位是0還是1,比如說n = 16,二進位制為10000,第5位為1,e.hash & oldCap 是否等於0就取決於e.hash第5 位是0還是1,這就相當於有50%的概率放在新hash表低位,50%的概率放在新hash表高位。大家應該明白了e.hash & oldCap == 0的好處與作用了吧。

其實,到這裡基本上HashMap的核心內容都講完了,相信大家對HashMap的原始碼有一定了解了。在原始碼中還有鍵值對的查詢和刪除都比較簡單,這裡就不在過多贅述了,對於紅黑樹的構造、旋轉、著色,我覺得大家有興趣可以瞭解一下,畢竟我們不 是HashMap的開發者,不用瞭解過多的細節,鑽牆角。知道大致的原理即可。

3.8 清除

本來到這裡就要結束了,但是LZ還是想跟大家聊一下HashMap總的clear()方法,下面貼出原始碼。

public void clear() {
        Node<K,V>[] tab;
        modCount++;
        if ((tab = table) != null && size > 0) {
            size = 0;
            for (int i = 0; i < tab.length; ++i)
                tab[i] = null;
        }
    }
複製程式碼

HashMap其實這段程式碼特別簡單,為什麼貼出來呢,是因為我在看過別的部落格裡產生過疑問,到底是clear好還是新建一 個HashMap好。我認為clear()比新建一個HashMap好。下面從空間複雜度和時間複雜度來解釋一下。

從時間角度來看,這個迴圈是非常簡單無複雜邏輯,並不十分耗資源。而新建一個HashMap,首先他在在堆記憶體中年輕代中檢視是否有足夠空間能夠儲存,如果能夠儲存,那麼建立順利完成,但如果HashMap非常大,年輕代很難有足夠的空間儲存,如果老年代中有足夠空間儲存這個HashMap,那麼jvm會將HashMap直接儲存在老年代中,如果老年代中空間不夠,這時候會觸發一次minor gc,會產生小規模的gc停頓,如果發生minor gc之後仍不能儲存HashMap,那麼會發生整個堆的gc,也就是 full gc,這個gc停頓是很恐怖的。實際上的gc順序就是這樣的,並且可能發生多次minor gc和full gc,如果發現年輕代和老年代 均不能儲存HashMap,那麼就會觸發OOM,而clear()是肯定不會觸發OOM的,所以資料裡特別大的情況下,千萬不要建立一 個新的HashMap代替clear()方法。

從空間角度看,原HashMap雖然不用,如果資料未被清空,是不可能被jvm回收的,因為HashMap是強引用型別的,從而造成記憶體洩漏。所以綜上所述我 是不建議新建一個HashMap代替clear()的,並且很多原始碼中clear()方法很常用,這就是最好的證明。

四、總結

(1)HashMap允許NULL值,NULL鍵

(2)不要輕易改變負載因子,負載因子過高會導致連結串列過長,查詢鍵值對時間複雜度就會增高,負載因子過低會導致hash桶的數量過多,空間複雜度會增高

(3)Hash表每次會擴容長度為以前的2倍

(4)HashMap是多執行緒不安全的,我在JDK 1.7進行多執行緒put操作,之後遍歷,直接死迴圈,CPU飆到100%,在JDK 1.8中 進行多執行緒操作會出現節點和value值丟失,為什麼JDK1.7與JDK1.8多執行緒操作會出現很大不同,是因為JDK 1.8的作者對resize 方法進行了優化不會產生連結串列閉環。這也是本章的重點之一,具體的細節大家可以去查閱資料。這裡我就不解釋太多了

(5)儘量設定HashMap的初始容量,尤其在資料量大的時候,防止多次resize

(6)HashMap在JDK 1.8在做了很好效能的提升,我看到過在JDK1.7和JDK1.8get操作效能對比JDK1.8是要優於JDK 1.7的, 大家感興趣的可以自己做個測試,所以還沒有升級到JDK1.8的小夥伴趕緊的吧。

總結就把類註釋的給搬過來了,其實在本篇文章中有一個知識點沒有詳細分析,就是HashMap在多執行緒不安全的原因,尤其擴 容在JDK 1.7 會產生連結串列閉環,因為要畫很多圖,我還沒找到合適的工具,後期補充吧。

相關文章