你真的瞭解過 ConcurrentHashMap 嗎?
首先,我們需要先了解一下 HashMap 和 HashTable。
HashMap :是一個用於儲存Key-Value鍵值對的集合,每一個鍵值對也叫做Entry。這些個鍵值對(Entry)分散儲存在一個陣列當中,這個陣列就是HashMap的主幹。在方法中都沒有加鎖或相關的鎖機制,所有執行緒是不安全的。
HashTable:和 HashMap 一樣,只是它在方法上都加上了鎖,保證了執行緒的安全,但是降低了速度。
由於 HashMap 速度快,但是保證不了執行緒安全,而 HashTable 可以保證執行緒安全,但是速度卻無法保證,那麼有沒有什麼可以平衡兩者的優點呢?
這時候 ConcurrentHashMap 就誕生了,他通過自旋和CAS機制(之前部落格有)來保證執行緒的安全,同時也保證了速度。ConcurrentHashMap 在 JDK1.7 和 JDK1.8 中底層是不一樣的。在一些方法上的實現也是不一樣的。
JDK1.7 和 JDK1.8 的區別
JDK1.8版本的ConcurrentHashMap的資料結構已經接近HashMap,相對而言,ConcurrentHashMap只是增加了同步的操作來控制併發,從JDK1.7版本的ReentrantLock+Segment+HashEntry,到JDK1.8版本中synchronized+CAS+HashEntry+紅黑樹。
-
JDK1.8的實現降低鎖的粒度,JDK1.7版本鎖的粒度是基於Segment的,包含多個HashEntry,而JDK1.8鎖的粒度就是HashEntry(首節點)
-
JDK1.8 版本的資料結構變得更加簡單,使得操作也更加清晰流暢,因為已經使用synchronized來進行同步,所以不需要分段鎖的概念,也就不需要Segment這種資料結構了,由於粒度的降低,實現的複雜度也增加了
-
JDK1.8 使用紅黑樹來優化連結串列,基於長度很長的連結串列的遍歷是一個很漫長的過程,而紅黑樹的遍歷效率是很快的,代替一定閾值的連結串列。
-
JDK1.8為什麼使用內建鎖synchronized來代替重入鎖ReentrantLock,我覺得有以下幾點
-
因為粒度降低了,在相對而言的低粒度加鎖方式,synchronized並不比ReentrantLock差,在粗粒度加鎖中ReentrantLock可能通過Condition來控制各個低粒度的邊界,更加的靈活,而在低粒度中,Condition的優勢就沒有了
-
JVM的開發團隊從來都沒有放棄synchronized,而且基於JVM的synchronized優化空間更大,使用內嵌的關鍵字比使用API更加自然
-
在大量的資料操作下,對於JVM的記憶體壓力,基於API的ReentrantLock會開銷更多的記憶體,雖然不是瓶頸,但是也是一個選擇依據
-
JDK1.7 底層資料結構
- 在JDK1.7中,put和 get 兩次Hash到達指定的HashEntry,第一次hash到達Segment,第二次到達Segment裡面的Entry,然後在遍歷entry連結串列。
- HashEntry最小的容量為2
- Segment的初始化容量是16;
Segment陣列的作用就是將一個大的table分割成多個小的table來進行加鎖,降低了加鎖的粒度,而每一個Segment元素儲存的是HashEntry陣列+連結串列,這個和HashMap的資料儲存結構一樣。在初始化時會用 ssize 來表示,且初始值為16(DEFAULT_CONCURRENCY_LEVEL )。每一個Segment元素下的HashEntry的初始化也是按照位於運算來計算,並且也都是 2的N次方(cap <<=1), cap的初始值為1,所以HashEntry最小的容量為2。
put 操作:
我們先來看一下Segment是什麼?
static class Segment<K,V> extends ReentrantLock implements Serializable {
private static final long serialVersionUID = 2249069246763182397L;
final float loadFactor;
Segment(float lf) { this.loadFactor = lf; }
}
Segment的繼承體系可以看出,Segment實現了ReentrantLock,也就帶有鎖的功能,當執行put操作時,會進行第一次key的hash來定位Segment的位置,如果該Segment還沒有初始化,即通過CAS操作進行賦值,然後進行第二次hash操作,找到相應的HashEntry的位置,這裡會利用繼承過來的鎖的特性,在將資料插入指定的HashEntry位置時(連結串列的尾端),會通過繼承ReentrantLock的tryLock()方法嘗試去獲取鎖,如果獲取成功就直接插入相應的位置,如果已經有執行緒獲取該Segment的鎖,那當前執行緒會以自旋的方式去繼續的呼叫tryLock()方法去獲取鎖,超過指定次數就掛起,等待喚醒
get操作:
ConcurrentHashMap的get操作跟HashMap類似,只是ConcurrentHashMap第一次需要經過一次hash定位到Segment的位置,然後再hash定位到指定的HashEntry,遍歷該HashEntry下的連結串列進行對比,成功就返回,不成功就返回null
size操作:
計算ConcurrentHashMap的元素個數涉及到併發操作,所以是ConcurrentHashMap的一個重點之一,你在插入的時候可能會有其他執行緒來進行插入,這時候你的計算就不準確了
- 第一種方案他會使用不加鎖的模式去嘗試多次計算ConcurrentHashMap的size,最多三次,比較前後兩次計算的結果,結果一致就認為當前沒有元素加入,計算的結果是準確的
- 第二種方案是如果第一種方案不符合,他就會給每個Segment加上鎖,然後計算ConcurrentHashMap的size返回
try {
for (;;) {
if (retries++ == RETRIES_BEFORE_LOCK) {
for (int j = 0; j < segments.length; ++j) ensureSegment(j).lock(); // force creation
}
sum = 0L;
size = 0;
overflow = false;
for (int j = 0; j < segments.length; ++j) {
Segment<K,V> seg = segmentAt(segments, j);
if (seg != null) { sum += seg.modCount; int c = seg.count; if (c < 0 || (size += c) < 0)
overflow = true;
} }
if (sum == last) break;
last = sum; } }
finally {
if (retries > RETRIES_BEFORE_LOCK) {
for (int j = 0; j < segments.length; ++j)
segmentAt(segments, j).unlock();
}
}
JDK1.8 底層資料結構
- 改變一:取消segments欄位,直接採用transient volatile HashEntry<K,V>[] table儲存資料,採用table陣列元素作為鎖,從而實現了對每一行資料進行加鎖,進一步減少併發衝突的概率。
- 改變二:將原先table陣列+單向連結串列的資料結構,變更為table陣列+單向連結串列+紅黑樹的結構。對於hash表來說,最核心的能力在於將key hash之後能均勻的分佈在陣列中。如果hash之後雜湊的很均勻,那麼table陣列中的每個佇列長度主要為0或者1。但實際情況並非總是如此理想,雖然ConcurrentHashMap類預設的載入因子為0.75,但是在資料量過大或者運氣不佳的情況下,還是會存在一些佇列長度過長的情況,如果還是採用單向列表方式,那麼查詢某個節點的時間複雜度為O(n);因此,對於個數超過8(預設值)的列表,jdk1.8中採用了紅黑樹的結構,那麼查詢的時間複雜度可以降低到O(logN),可以改進效能。
ConcurrentHashMap在JDK1.8中的實現
基礎屬性
// node陣列最大容量:2^30=1073741824
private static final int MAXIMUM_CAPACITY = 1 << 30;
// 預設初始值,必須是2的幕數
private static final int DEFAULT_CAPACITY = 16
//陣列可能最大值,需要與toArray()相關方法關聯
static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8;
//併發級別,遺留下來的,為相容以前的版本
private static final int DEFAULT_CONCURRENCY_LEVEL = 16;
// 負載因子
private static final float LOAD_FACTOR = 0.75f;
// 連結串列轉紅黑樹閥值,> 8 連結串列轉換為紅黑樹
static final int TREEIFY_THRESHOLD = 8;
//樹轉連結串列閥值,小於等於6(tranfer時,lc、hc=0兩個計數器分別++記錄原bin、新binTreeNode數量,<=UNTREEIFY_THRESHOLD 則untreeify(lo))
static final int UNTREEIFY_THRESHOLD = 6;
//要轉樹時的最小陣列長度
static final int MIN_TREEIFY_CAPACITY = 64;
private static final int MIN_TRANSFER_STRIDE = 16;
private static int RESIZE_STAMP_BITS = 16;
// 2^15-1,help resize的最大執行緒數
private static final int MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1;
// 32-16=16,sizeCtl中記錄size大小的偏移量
private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS;
// forwarding nodes的hash值
static final int MOVED = -1;
// 樹根節點的hash值
static final int TREEBIN = -2;
// ReservationNode的hash值
static final int RESERVED = -3;
// 可用處理器數量
static final int NCPU = Runtime.getRuntime().availableProcessors();
//存放node的陣列
transient volatile Node<K,V>[] table;
/*控制識別符號,用來控制table的初始化和擴容的操作,不同的值有不同的含義
*當為負數時:-1代表正在初始化,-N代表有N-1個執行緒正在 進行擴容
*當為0時:代表當時的table還沒有被初始化
*當為正數時:表示初始化或者下一次進行擴容的大小
prvate transient volatile int sizeCtl;
資料結構的定義
- Node是ConcurrentHashMap儲存結構的基本單元,繼承於HashMap中的Entry,用於儲存資料,原始碼如下
static class Node<K,V> implements Map.Entry<K,V> {
final int hash;
final K key;
volatile V val;
volatile Node<K,V> next;
Node(int hash, K key, V val, Node<K,V> next) {
this.hash = hash;
this.key = key;
this.val = val;
this.next = next;
}
public final K getKey() { return key; }
public final V getValue() { return val; }
public final int hashCode() { return key.hashCode() ^ val.hashCode(); }
public final String toString(){ return key + "=" + val; }
public final V setValue(V value) {
throw new UnsupportedOperationException();
}
public final boolean equals(Object o) {
Object k, v, u; Map.Entry<?,?> e;
return ((o instanceof Map.Entry) &&
(k = (e = (Map.Entry<?,?>)o).getKey()) != null &&
(v = e.getValue()) != null &&
(k == key || k.equals(key)) &&
(v == (u = val) || v.equals(u)));
}
/**
* Virtualized support for map.get(); overridden in subclasses.
*/
Node<K,V> find(int h, Object k) {
Node<K,V> e = this;
if (k != null) {
do {
K ek;
if (e.hash == h &&
((ek = e.key) == k || (ek != null && k.equals(ek))))
return e;
} while ((e = e.next) != null);
}
return null;
}
}
- TreeNode繼承與Node,但是資料結構換成了二叉樹結構,它是紅黑樹的資料的儲存結構,用於紅黑樹中儲存資料,當連結串列的節點數大於8且陣列長度大於64時會轉換成紅黑樹的結構,他就是通過TreeNode作為儲存結構代替Node來轉換成黑紅樹原始碼如下
static final class TreeNode<K,V> extends Node<K,V> {
TreeNode<K,V> parent; // red-black tree links
TreeNode<K,V> left;
TreeNode<K,V> right;
TreeNode<K,V> prev; // needed to unlink next upon deletion
boolean red;
TreeNode(int hash, K key, V val, Node<K,V> next,
TreeNode<K,V> parent) {
super(hash, key, val, next);
this.parent = parent;
}
Node<K,V> find(int h, Object k) {
return findTreeNode(h, k, null);
}
/**
* Returns the TreeNode (or null if not found) for the given key
* starting at given root.
*/
final TreeNode<K,V> findTreeNode(int h, Object k, Class<?> kc) {
if (k != null) {
TreeNode<K,V> p = this;
do {
int ph, dir; K pk; TreeNode<K,V> q;
TreeNode<K,V> pl = p.left, pr = p.right;
if ((ph = p.hash) > h)
p = pl;
else if (ph < h)
p = pr;
else if ((pk = p.key) == k || (pk != null && k.equals(pk)))
return p;
else if (pl == null)
p = pr;
else if (pr == null)
p = pl;
else if ((kc != null ||
(kc = comparableClassFor(k)) != null) &&
(dir = compareComparables(kc, k, pk)) != 0)
p = (dir < 0) ? pl : pr;
else if ((q = pr.findTreeNode(h, k, kc)) != null)
return q;
else
p = pl;
} while (p != null);
}
return null;
}
}
- TreeBin從字面含義中可以理解為儲存樹形結構的容器,而樹形結構就是指TreeNode,所以TreeBin就是封裝TreeNode的容器,它提供轉換黑紅樹的一些條件和鎖的控制,部分原始碼結構如下
static final class TreeBin<K,V> extends Node<K,V> {
TreeNode<K,V> root;
volatile TreeNode<K,V> first;
volatile Thread waiter;
volatile int lockState;
// values for lockState
static final int WRITER = 1; // set while holding write lock
static final int WAITER = 2; // set when waiting for write lock
static final int READER = 4; // increment value for setting read lock
/**
* Tie-breaking utility for ordering insertions when equal
* hashCodes and non-comparable. We don't require a total
* order, just a consistent insertion rule to maintain
* equivalence across rebalancings. Tie-breaking further than
* necessary simplifies testing a bit.
*/
static int tieBreakOrder(Object a, Object b) {
int d;
if (a == null || b == null ||
(d = a.getClass().getName().
compareTo(b.getClass().getName())) == 0)
d = (System.identityHashCode(a) <= System.identityHashCode(b) ?
-1 : 1);
return d;
}
/**
* Creates bin with initial set of nodes headed by b.
*/
TreeBin(TreeNode<K,V> b) {
super(TREEBIN, null, null, null);
this.first = b;
TreeNode<K,V> r = null;
for (TreeNode<K,V> x = b, next; x != null; x = next) {
next = (TreeNode<K,V>)x.next;
x.left = x.right = null;
if (r == null) {
x.parent = null;
x.red = false;
r = x;
}
else {
K k = x.key;
int h = x.hash;
Class<?> kc = null;
for (TreeNode<K,V> p = r;;) {
int dir, ph;
K pk = p.key;
if ((ph = p.hash) > h)
dir = -1;
else if (ph < h)
dir = 1;
else if ((kc == null &&
(kc = comparableClassFor(k)) == null) ||
(dir = compareComparables(kc, k, pk)) == 0)
dir = tieBreakOrder(k, pk);
TreeNode<K,V> xp = p;
if ((p = (dir <= 0) ? p.left : p.right) == null) {
x.parent = xp;
if (dir <= 0)
xp.left = x;
else
xp.right = x;
r = balanceInsertion(r, x);
break;
}
}
}
}
this.root = r;
assert checkInvariants(root);
}
初始化
ConcurrentHashMap 在一開始初始化的時候並不會去分配空間,只是初始化一個物件,若傳入初始容量時,它不會和 JDK 1.7 一樣為大於傳入值的最小 2 的冪數次個,而是先加上初始容量的一半,再加 1,最後得到的值傳入tableSizeFor中得到該值的最小 2 的冪數次的值。(預設為16)
//ConcurrentHashMap 的 5 種建構函式
public ConcurrentHashMap() {
}
//32 --- JDK1.7 ---32 32 --- JDK1.8 --- 64
public ConcurrentHashMap(int initialCapacity) {
if (initialCapacity < 0)
throw new IllegalArgumentException();
int cap = ((initialCapacity >= (MAXIMUM_CAPACITY >>> 1)) ?
MAXIMUM_CAPACITY :
tableSizeFor(initialCapacity + (initialCapacity >>> 1) + 1));
this.sizeCtl = cap;//sizeCtl很重要
}
public ConcurrentHashMap(Map<? extends K, ? extends V> m) {
this.sizeCtl = DEFAULT_CAPACITY;
putAll(m);
}
public ConcurrentHashMap(int initialCapacity, float loadFactor) {
this(initialCapacity, loadFactor, 1);
}
public ConcurrentHashMap(int initialCapacity,
float loadFactor, int concurrencyLevel) {
if (!(loadFactor > 0.0f) || initialCapacity < 0 || concurrencyLevel <= 0)
throw new IllegalArgumentException();
if (initialCapacity < concurrencyLevel) // Use at least as many bins
initialCapacity = concurrencyLevel; // as estimated threads
long size = (long)(1.0 + (long)initialCapacity / loadFactor);
int cap = (size >= (long)MAXIMUM_CAPACITY) ?
MAXIMUM_CAPACITY : tableSizeFor((int)size);
this.sizeCtl = cap;
}
sizeCtl 含義
注意∶以上這些構造方法中,都涉及到一個變數
sizectl
,這個變數是一個非常重要的變數,而且具有非常豐富的含義,它的值不同,對應的含義也不一樣,這裡我們先對這個變數不同的值的含義做一下說明,後續原始碼分析過程中,進一步解釋
sizectl
為0,代表陣列未初始化,且陣列的初始容量為16
sizecl
為正數: 如果陣列未初始化,那麼其記錄的是陣列的初始容量。
如果陣列已經初始化,那麼其記錄的是陣列的擴容詞值(陣列的初始容量*0.75)。
sizectl
為-1,表示陣列正在進行初始化。
sizecl
小於0,並且不是-1(為一個很大的負數),表示陣列正在擴容,-(x+n),表示此時有n個執行緒正在共同完成陣列的擴容操作。
put方法以及陣列的初始化
- put 方法:直接呼叫 putVal
public V put(K key, V value) {
return putVal(key, value, false);
}
- putVal 方法:第一個引數為 key,第二個引數為 value,第三個引數不用管,是JVM裡面的設定
- 如果沒有初始化就先呼叫initTable()方法來進行初始化過程
- 如果沒有hash衝突就直接CAS插入
- 如果還在進行擴容操作就先進行擴容
- 如果存在hash衝突,就加鎖來保證執行緒安全,這裡有兩種情況,一種是連結串列形式就直接遍歷到尾端插入,一種是紅黑樹就按照紅黑樹結構插入,
- 最後一個如果該連結串列的數量大於閾值8且長度大於64,就要先轉換成黑紅樹的結構,break再一次進入迴圈
- 如果新增成功就呼叫addCount()方法統計size,並且檢查是否需要擴容
final V putVal(K key, V value, boolean onlyIfAbsent) {
if (key == null || value == null) throw new NullPointerException(); //不允許空值和空鍵
int hash = spread(key.hashCode());//獲取hash值(一定為正數)
int binCount = 0;//記錄某個桶上面元素的個數,如果超過8則轉成紅黑樹
for (Node<K,V>[] tab = table;;) {
Node<K,V> f; int n, i, fh;
//如果陣列為初始化,先對陣列進行初始化
if (tab == null || (n = tab.length) == 0)
tab = initTable();
//如果hash值對應的桶位置沒有元素,利用CAS進行元素新增
else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
//CAS + 自旋,保證插入時執行緒安全
if (casTabAt(tab, i, null,
new Node<K,V>(hash, key, value, null)))
break; // no lock when adding to empty bin
}
//如果該位置元素hash值為MOVE,則陣列正在擴容,那麼久協助它擴容
else if ((fh = f.hash) == MOVED)
tab = helpTransfer(tab, f);
else {
//hash計算位置不為空,且沒有在進行擴容操作,進行元素的新增
V oldVal = null;
//對當前的桶進行加鎖,保證插入時執行緒安全
synchronized (f) {
//再次判斷,防止該節點被插入前被變成了樹,位置變化了
if (tabAt(tab, i) == f) {
//普通連結串列節點
if (fh >= 0) {
binCount = 1;
for (Node<K,V> e = f;; ++binCount) {
K ek;
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
oldVal = e.val;
if (!onlyIfAbsent)
e.val = value;
break;
}
Node<K,V> pred = e;
//鏈到尾部,尾插法
if ((e = e.next) == null) {
pred.next = new Node<K,V>(hash, key,
value, null);
break;
}
}
}
//樹結構
else if (f instanceof TreeBin) {
Node<K,V> p;
binCount = 2;
if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
value)) != null) {
oldVal = p.val;
if (!onlyIfAbsent)
p.val = value;
}
}
}
}
if (binCount != 0) {
//是否要變成樹,如果陣列小於64時是不會變成樹的(具體在方法實現裡面),所以不一定會被樹化
if (binCount >= TREEIFY_THRESHOLD)
treeifyBin(tab, i);
if (oldVal != null)
return oldVal;
break;
}
}
}
//維護集合的長度
addCount(1L, binCount);
return null;
}
- initTable方法:table陣列初始化方法。
private final Node<K,V>[] initTable() {
Node<K,V>[] tab; int sc;
//判斷陣列為空
while ((tab = table) == null || tab.length == 0) {
//表示有別的執行緒正在對陣列正在初始化
if ((sc = sizeCtl) < 0)
Thread.yield(); // lost initialization race; just spin
//加鎖,獲取對陣列的使用權
else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
try {
if ((tab = table) == null || tab.length == 0) {
//計算當前陣列的長度,若我們有給初始值則長度為初始值,沒有則為預設長度
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = tab = nt;
//計算擴容時的閾值
sc = n - (n >>> 2);
}
} finally {
//將sc賦給sizeCtl,成功初始化則為擴容的閾值,初始化失敗則會回到初始情況
sizeCtl = sc;
}
break;
}
}
return tab;
}
- helpTransfer方法:其他執行緒幫助擴容,加快擴容速度
**
*幫助從舊的table的元素複製到新的table中
*/
final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
Node<K,V>[] nextTab; int sc;
if (tab != null && (f instanceof ForwardingNode) &&
(nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) { //新的table nextTba已經存在前提下才能幫助擴容
int rs = resizeStamp(tab.length);
while (nextTab == nextTable && table == tab &&
(sc = sizeCtl) < 0) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || transferIndex <= 0)
break;
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
transfer(tab, nextTab);//呼叫擴容方法
break;
}
}
return nextTab;
}
return table;
}
- addCount方法:重新計算table陣列的長度,並且判斷是否要擴容(需要則會擴容)。
private final void addCount(long x, int check) {
CounterCell[] as; long b, s;
if ((as = counterCells) != null || //儲存其他執行緒值的陣列,預設是空的,如果是空的判斷下面的
!U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) { //主存值和目前拿到的值是否一樣,一樣則原子操作去使baseCount+x(一般是+1),如果加失敗繼續走if裡面的
CounterCell a; long v; int m;
boolean uncontended = true;
//陣列是否為空,或者長度為0
if (as == null || (m = as.length - 1) < 0 ||
(a = as[ThreadLocalRandom.getProbe() & m]) == null ||
!(uncontended =
U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
//空的直接走下面這個
fullAddCount(x, uncontended);//對其他執行緒值的陣列的value做加運算
return;
}
if (check <= 1)
return;
s = sumCount();//獲取容器數量
}
if (check >= 0) {//ConcurrentHashMap擴容機制,check 如果新增就是大於0,移除就小於0
Node<K,V>[] tab, nt; int n, sc;
while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&//判斷是否要擴容
(n = tab.length) < MAXIMUM_CAPACITY) {
int rs = resizeStamp(n);
if (sc < 0) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)//判斷當前擴容執行緒是否都完成了,或者可以同時進行擴容的執行緒已經到達最大值
break;
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))//先將sc加 + 1,表示有一個執行緒來幫忙了
transfer(tab, nt);//幫忙完返回,然後會迴圈進一步判斷是否還有繼續幫忙
}
else if (U.compareAndSwapInt(this, SIZECTL, sc,//CAS修改SIZECTL表示要擴容
(rs << RESIZE_STAMP_SHIFT) + 2))//把sc改為負很大的數
transfer(tab, null);
s = sumCount();//集合長度
}
}
}
- fullAddCount方法:如果直接+1失敗,則會進入這個方法裡,方法裡面會在其相應的陣列位置 +1
private final void fullAddCount(long x, boolean wasUncontended) {
int h;
//拿到執行緒當前的隨機值,用來計算當前執行緒在陣列的座標
if ((h = ThreadLocalRandom.getProbe()) == 0) {
ThreadLocalRandom.localInit();
h = ThreadLocalRandom.getProbe();
wasUncontended = true;
}
boolean collide = false;
//死迴圈
for (;;) {
CounterCell[] as; CounterCell a; int n; long v;
//陣列不為空
if ((as = counterCells) != null && (n = as.length) > 0) {//8.1、初始化後就可以自旋進入這個裡面,因為當前位置沒有物件值
if ((a = as[(n - 1) & h]) == null) {//9、計算執行緒在當前陣列中的位置,沒有陣列就進入
if (cellsBusy == 0) {
CounterCell r = new CounterCell(x); //10、建立可以放入CounterCell裡面的物件,建立時把x賦值給CounterCell的value
//11、放入到陣列中的邏輯開始
if (cellsBusy == 0 &&
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {//12、獲得鎖,表示正在忙
boolean created = false;
try {
//13、對陣列進行元素的新增
CounterCell[] rs; int m, j;
if ((rs = counterCells) != null &&
(m = rs.length) > 0 &&
rs[j = (m - 1) & h] == null) {
rs[j] = r;
created = true;
}
} finally {
cellsBusy = 0;
}
if (created)
break;
continue;
}
}
collide = false;
}
else if (!wasUncontended) //1、加失敗或者空的時候走這裡
wasUncontended = true;
else if (U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))//8.2、如果CounterCell裡面有值,那把那個位置的值 加x(x 為 1)
break;
else if (counterCells != as || n >= NCPU)//如果陣列大於當前CPU的核數,就不繼續進行擴容了,因為並行能力有限
collide = false;
else if (!collide)
collide = true;
else if (cellsBusy == 0 && //2、接下來會進入這個方法裡 //8.3、如果有值並且多次加失敗,那麼就會再走到這裡,對陣列進行擴容了
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {//3、CAS加鎖獲取陣列的使用權,對其進行初始化,其他執行緒進不來
try {
if (counterCells == as) {//4、兩個變數都為空
//5、初始化 CounterCell ,容量為 n(n為0)左移一位,變為 2,即初始容量為2
CounterCell[] rs = new CounterCell[n << 1];
for (int i = 0; i < n; ++i)//6、第一次初始化不走,第二次擴容才走,並且拷貝陣列的內容
rs[i] = as[i];
counterCells = rs;
}
} finally {
cellsBusy = 0;
}
collide = false;
continue;
}
h = ThreadLocalRandom.advanceProbe(h);//7、重新計算執行緒隨機值,使他可以不用一直去獲取某個counterCells的使用權
}
else if (cellsBusy == 0 && counterCells == as && //陣列為空時,建立陣列
U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
boolean init = false;
try {
if (counterCells == as) {
CounterCell[] rs = new CounterCell[2];
rs[h & 1] = new CounterCell(x);
counterCells = rs;
init = true;
}
} finally {
cellsBusy = 0;
}
if (init)
break;
}
else if (U.compareAndSwapLong(this, BASECOUNT, v = baseCount, v + x))//陣列正在被建立,嘗試對BASECOUNT進行增加
break;
}
}
baseCount 資料結構:
邏輯圖:
- sumCount方法:累加baseCount陣列
final long sumCount() {
CounterCell[] as = counterCells; CounterCell a;
long sum = baseCount;//獲取baseCount
if (as != null) {//as不為空,就需要累加
for (int i = 0; i < as.length; ++i) {
if ((a = as[i]) != null)//將陣列裡面的value累加上去
sum += a.value;
}
}
return sum;
}
- helpTransfer方法:就是呼叫多個工作執行緒一起幫助進行擴容,這樣的效率就會更高,而不是隻有檢查到要擴容的那個執行緒進行擴容操作,其他執行緒就要等待擴容操作完成才能工作
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
int n = tab.length, stride;
// 每核處理的量小於16,則強制賦值16
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE; // subdivide range
if (nextTab == null) { // initiating
try {
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1]; //構建一個nextTable物件,其容量為原來容量的兩倍
nextTab = nt;
} catch (Throwable ex) { // try to cope with OOME
sizeCtl = Integer.MAX_VALUE;
return;
}
nextTable = nextTab;
transferIndex = n;
}
int nextn = nextTab.length;
// 連線點指標,用於標誌位(fwd的hash值為-1,fwd.nextTable=nextTab)
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
// 當advance == true時,表明該節點已經處理過了
boolean advance = true;
boolean finishing = false; // to ensure sweep before committing nextTab
for (int i = 0, bound = 0;;) {
Node<K,V> f; int fh;
// 控制 --i ,遍歷原hash表中的節點
while (advance) {
int nextIndex, nextBound;
if (--i >= bound || finishing)
advance = false;
else if ((nextIndex = transferIndex) <= 0) {
i = -1;
advance = false;
}
// 用CAS計算得到的transferIndex
else if (U.compareAndSwapInt
(this, TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0))) {
bound = nextBound;
i = nextIndex - 1;
advance = false;
}
}
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
// 已經完成所有節點複製了
if (finishing) {
nextTable = null;
table = nextTab; // table 指向nextTable
sizeCtl = (n << 1) - (n >>> 1); // sizeCtl閾值為原來的1.5倍
return; // 跳出死迴圈,
}
// CAS 更擴容閾值,在這裡面sizectl值減一,說明新加入一個執行緒參與到擴容操作
if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return;
finishing = advance = true;
i = n; // recheck before commit
}
}
// 遍歷的節點為null,則放入到ForwardingNode 指標節點
else if ((f = tabAt(tab, i)) == null)
advance = casTabAt(tab, i, null, fwd);
// f.hash == -1 表示遍歷到了ForwardingNode節點,意味著該節點已經處理過了
// 這裡是控制併發擴容的核心
else if ((fh = f.hash) == MOVED)
advance = true; // already processed
else {
// 節點加鎖
synchronized (f) {
// 節點複製工作
if (tabAt(tab, i) == f) {
Node<K,V> ln, hn;
// fh >= 0 ,表示為連結串列節點
if (fh >= 0) {
// 構造兩個連結串列 一個是原連結串列 另一個是原連結串列的反序排列
int runBit = fh & n;
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null; p = p.next) {
int b = p.hash & n;
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
if (runBit == 0) {
ln = lastRun;
hn = null;
}
else {
hn = lastRun;
ln = null;
}
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
if ((ph & n) == 0)
ln = new Node<K,V>(ph, pk, pv, ln);
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
// 在nextTable i 位置處插上鍊表
setTabAt(nextTab, i, ln);
// 在nextTable i + n 位置處插上鍊表
setTabAt(nextTab, i + n, hn);
// 在table i 位置處插上ForwardingNode 表示該節點已經處理過了
setTabAt(tab, i, fwd);
// advance = true 可以執行--i動作,遍歷節點
advance = true;
}
// 如果是TreeBin,則按照紅黑樹進行處理,處理邏輯與上面一致
else if (f instanceof TreeBin) {
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> lo = null, loTail = null;
TreeNode<K,V> hi = null, hiTail = null;
int lc = 0, hc = 0;
for (Node<K,V> e = t.first; e != null; e = e.next) {
int h = e.hash;
TreeNode<K,V> p = new TreeNode<K,V>
(h, e.key, e.val, null, null);
if ((h & n) == 0) {
if ((p.prev = loTail) == null)
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null)
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
// 擴容後樹節點個數若<=6,將樹轉連結串列
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0) ? new TreeBin<K,V>(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0) ? new TreeBin<K,V>(hi) : t;
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true;
}
}
}
}
}
}
擴容機制
多執行緒協助擴容,會先把新的陣列劃分為多個小塊,然後每個陣列負責一個小塊,遷移時從後往前遷移,遷移完後會賦值一個ForwardingNode,裡面的hash為MOVE(-1),JDK1.7前是單執行緒來擴容(segment),JDK1.8是多執行緒協助擴容
- transfer 方法:
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
int n = tab.length, stride;
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE) //計算每個小陣列多大,然後分配給每個執行緒,MIN_TRANSFER_STRIDE為16
//多核CPU:>>>除以8再除以CPU的核數
//單核:直接給一個陣列負責
stride = MIN_TRANSFER_STRIDE; // 當然,最小一個執行緒負責16個
if (nextTab == null) { // 第一個進來,nextTab是null,進入
try {
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];//陣列大小為原來容量的 2 倍
nextTab = nt;
} catch (Throwable ex) { // try to cope with OOME
sizeCtl = Integer.MAX_VALUE;
return;
}
nextTable = nextTab; //記錄擴容時記錄新的陣列
transferIndex = n;//記錄舊陣列的size
}
int nextn = nextTab.length;
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);//遷移完的地方會塞一個ForwardingNode節點
boolean advance = true;
boolean finishing = false; // to ensure sweep before committing nextTab
for (int i = 0, bound = 0;;) {
Node<K,V> f; int fh;
while (advance) {//計算執行緒改負責哪一部分,如果執行緒負責的部分遷移完了會再次迴圈來遷移另一部分
int nextIndex, nextBound;//由nextIndex記錄目前負責到哪一部分
if (--i >= bound || finishing)
advance = false;
else if ((nextIndex = transferIndex) <= 0) {
i = -1;
advance = false;
}
else if (U.compareAndSwapInt
(this, TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0))) {//具體在這個裡面算,第一次進入會執行這部分
bound = nextBound;//修改下一個執行緒要負責擴容的位置
i = nextIndex - 1;
advance = false;
}
}
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
if (finishing) {//做擴容完成
nextTable = null;
table = nextTab;//將最新的賦給table
sizeCtl = (n << 1) - (n >>> 1);//重新計算最大負載容量
return;
}
if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {//判斷全部執行緒是否都做完了,不是繼續走
if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)//sc為初始值,每增加一個執行緒來幫忙都會讓這個值-1,當目前值等於原來那個值時即所有執行緒都完成了
return;
finishing = advance = true;//當所有執行緒都搞完時,標記finishing為true,讓後面修改一些引數
i = n; // recheck before commit
}
}
資料遷移模部分 /
else if ((f = tabAt(tab, i)) == null)
advance = casTabAt(tab, i, null, fwd);//為空就直接差一個fwd
else if ((fh = f.hash) == MOVED)
advance = true; // already processed(已經完成遷移了)
else {
synchronized (f) {//給該節點加鎖,賦值在資料遷移的時候,其他執行緒要在這個點進行新增
if (tabAt(tab, i) == f) {
Node<K,V> ln, hn;
if (fh >= 0) {
int runBit = fh & n;
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null; p = p.next) {
int b = p.hash & n;
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
if (runBit == 0) {
ln = lastRun;
hn = null;
}
else {
hn = lastRun;
ln = null;
}
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
if ((ph & n) == 0)
ln = new Node<K,V>(ph, pk, pv, ln);
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true;
}
else if (f instanceof TreeBin) {
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> lo = null, loTail = null;
TreeNode<K,V> hi = null, hiTail = null;
int lc = 0, hc = 0;
for (Node<K,V> e = t.first; e != null; e = e.next) {
int h = e.hash;
TreeNode<K,V> p = new TreeNode<K,V>
(h, e.key, e.val, null, null);
if ((h & n) == 0) {
if ((p.prev = loTail) == null)
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null)
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0) ? new TreeBin<K,V>(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0) ? new TreeBin<K,V>(hi) : t;
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);//塞一個fwd
advance = true;
}
}
}
}
}
}
Get 方法
public V get(Object key) {
Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
int h = spread(key.hashCode()); //計算hash
if ((tab = table) != null && (n = tab.length) > 0 &&
(e = tabAt(tab, (n - 1) & h)) != null) {//讀取首節點的Node元素
if ((eh = e.hash) == h) { //如果該節點就是首節點就返回
if ((ek = e.key) == key || (ek != null && key.equals(ek)))
return e.val;
}
//hash值為負值表示正在擴容,這個時候查的是ForwardingNode的find方法來定位到nextTable來
//查詢,查詢到就返回
else if (eh < 0)
return (p = e.find(h, key)) != null ? p.val : null;
while ((e = e.next) != null) {//既不是首節點也不是ForwardingNode,那就往下遍歷
if (e.hash == h &&
((ek = e.key) == key || (ek != null && key.equals(ek))))
return e.val;
}
}
return null;
}
- 計算hash值,定位到該table索引位置,如果是首節點符合就返回
- 如果遇到擴容的時候,會呼叫標誌正在擴容節點ForwardingNode的find方法,查詢該節點,匹配就返回
- 以上都不符合的話,就往下遍歷節點,匹配就返回,否則最後就返回null
相關文章
- 你真的瞭解@Async嗎?
- 你真的瞭解HTAP嗎
- ViewStub你真的瞭解嗎View
- 你真的瞭解 Array 嗎?
- 你真的瞭解mongoose嗎?Go
- 你真的瞭解URLEncode嗎?
- 你真的瞭解RPC嗎?RPC
- JavaScript 你真的瞭解this指向嗎JavaScript
- 你真的瞭解前端路由嗎?前端路由
- 你真的瞭解 Cookie 和 Session 嗎CookieSession
- 高併發,你真的瞭解嗎?
- 你真的瞭解 sync.Once 嗎
- 你真的瞭解深度學習嗎?深度學習
- 你真的瞭解 Cookie 和 Session 嗎?CookieSession
- 你真的瞭解 Session 和 Cookie 嗎?SessionCookie
- 你真的瞭解js運算子嗎JS
- 你真的瞭解npm-scripts嗎?NPM
- 你真的瞭解python嗎?這篇文章帶你快速瞭解!Python
- 你真的瞭解 React 生命週期嗎React
- 每天都在用String,你真的瞭解嗎?
- 你真的瞭解Event Loop(事件環)嗎?OOP事件
- 你真的瞭解 OkHttp 快取控制嗎?HTTP快取
- 靈魂拷問,你真的瞭解DNS嗎?DNS
- TestNg中的斷言你真的瞭解嗎
- 你真的對 Linux 中的 Inode 瞭解嗎?Linux
- 你真的瞭解 Unicode 和 UTF-8 嗎?Unicode
- 你真的瞭解響應式佈局嗎?
- 注意!JS的結構你真的瞭解嗎?JS
- Java併發(7)- 你真的瞭解 ReentrantReadWriteLock 嗎?Java
- 【UI設計師】你真的瞭解色彩嗎?UI
- Python讀寫檔案你真的瞭解嗎?Python
- 你真的瞭解延時佇列嗎(一)佇列
- 你真的瞭解Java記憶體模型JMM嗎?Java記憶體模型
- stl中的sort函式,你真的瞭解嗎函式
- TCP/IP、HTTP、socket 這些,你真的瞭解嗎?TCPHTTP
- 你真的瞭解JS陣列的那些方法嗎?JS陣列
- 你真的瞭解你的團隊嗎? ONA告訴你真相
- platform 模組 你真的瞭解你的計算機嗎?Platform計算機