Java併發系列 — 阻塞佇列（BlockingQueue）

牛覓發表於2019-03-02
Java佇列BloC

本文系《Java併發程式設計讀書筆記》

什麼是阻塞佇列

阻塞佇列（BlockingQueue）是一個支援兩個附加操作的佇列。這兩個附加的操作支援阻塞的插入和移除方法。

  • 支援阻塞的插入方法：當佇列滿時，佇列會阻塞插入元素的執行緒，直到佇列不滿。
  • 支援阻塞的移除方法：當佇列為空時，獲取元素的執行緒會等待佇列變為非空。

阻塞佇列常用於生產者和消費者的場景，生產者是向佇列裡新增元素的執行緒，消費者是從佇列裡取元素的執行緒。阻塞佇列就是生產者用來存放元素、消費者用來獲取元素的容器。

在阻塞佇列不可用時，這兩個附加操作提供了4種處理方式，如下所示：

阻塞佇列插入和移除操作的4種處理方式.png

  • 丟擲異常：當佇列滿時，如果再往佇列裡插入元素，會丟擲IllegalArgumentException異常。當佇列空時，從佇列裡獲取元素會丟擲NoSuchElementException異常。

  • 返回特殊值：當往佇列插入元素時，會返回元素是否插入成功，成功返回true。如果是移除方法，則是從佇列裡取出一個元素，如果沒有則返回null。

  • 一直阻塞：當阻塞佇列滿時，如果生產者執行緒往佇列裡put元素，佇列會一直阻塞生產者執行緒，直到佇列可用或者響應中斷退出。當佇列空時，如果消費者從佇列裡take元素，佇列會阻塞住消費者執行緒，直到佇列不為空。

tips:如果是無界阻塞佇列，佇列不可能會出現滿的情況，所以使用put或offer方法永遠不會被阻塞，而且使用offer方法時，該方法永遠返回true。

JDK提供的阻塞佇列

JDK 8提供的阻塞佇列.png

ArrayBlockingQueue

ArrayBlockingQueue是一個用陣列實現的有界阻塞佇列。此佇列按照先進先出的原則對元素進行排序。構造方法如下：

public ArrayBlockingQueue(int capacity) {
    this(capacity, false);
}

public ArrayBlockingQueue(int capacity, boolean fair) {
    if (capacity <= 0)
        throw new IllegalArgumentException();
    this.items = new Object[capacity];
    lock = new ReentrantLock(fair);
    notEmpty = lock.newCondition();
    notFull =  lock.newCondition();
}

public ArrayBlockingQueue(int capacity, boolean fair,
                          Collection<? extends E> c) {
    this(capacity, fair);

    final ReentrantLock lock = this.lock;
    lock.lock(); // Lock only for visibility, not mutual exclusion
    try {
        int i = 0;
        try {
            for (E e : c) {
                checkNotNull(e);
                items[i++] = e;
            }
        } catch (ArrayIndexOutOfBoundsException ex) {
            throw new IllegalArgumentException();
        }
        count = i;
        putIndex = (i == capacity) ? 0 : i;
    } finally {
        lock.unlock();
    }
}
複製程式碼

引數fair用於設定執行緒是否公平訪問佇列。所謂公平訪問是指阻塞的執行緒，可以按照阻塞的先後順序訪問佇列，即先阻塞執行緒先訪問佇列。非公平性是對先等待的執行緒是非公平的，當佇列可用時，阻塞的執行緒都可以爭奪訪問佇列的資格，有可能先阻塞的執行緒最後才訪問佇列。為了保證公平性，通常會降低吞吐量。

LinkedBlockingQueue

LinkedBlockingQueue是一個用連結串列實現的有界阻塞佇列。此佇列的預設和最大長度為Integer.MAX_VALUE。此佇列按照先進先出的原則對元素進行排序。

PriorityBlockingQueue

PriorityBlockingQueue是一個支援優先順序的無界阻塞佇列。預設情況下元素採取自然順序升序排列。也可以自定義類實現compareTo()方法來指定元素排序規則，或者初始化PriorityBlockingQueue時，指定構造引數Comparator來進行排序。需要注意的是不能保證同優先順序元素的順序。

DelayQueue

DelayQueue是一個支援延時獲取元素的無界阻塞佇列。佇列使用PriorityBlockingQueue來實現。佇列中的元素必須實現Delayed介面，在建立元素時可以指定多久才能從佇列中獲取當前元素。只有在延遲期滿時才能從佇列中提取元素。

DelayQueue運用在以下應用場景：

  • 快取系統的設計：可以用DelayQueue儲存快取元素的有效期，使用一個執行緒迴圈查詢DelayQueue，一旦能從DelayQueue中獲取元素時，表示快取有效期到了。
  • 任務超時處理：比如下單後15分鐘內未付款，自動關閉訂單。

如何實現Delayed介面

DelayQueue佇列的元素必須實現Delayed介面。可以參考ScheduledThreadPoolExecutor裡ScheduledFutureTask類的實現，步驟如下：

  1. 在物件建立的物件，初始化基本資料。使用time記錄當前物件延遲到什麼時候可以使用，使用sequenceNumber來標識元素在佇列中的先後順序。程式碼如下：

    private static final AtomicLong sequencer = new AtomicLong();

ScheduledFutureTask(Runnable r, V result, long ns) {
    super(r, result);
    this.time = ns;
    this.period = 0;
    this.sequenceNumber = sequencer.getAndIncrement();
}
複製程式碼

  2. 實現getDelay方法，該方法返回當前元素還需要延長多長時間，單位是納秒。程式碼如下：

     public long getDelay(TimeUnit unit) {
     return unit.convert(time - now(), NANOSECONDS);
 }
複製程式碼

    通過建構函式可以看出延遲時間引數ns的單位是納秒，自己設計的時候最好使用納秒，實現getDelay()方法時可以指定任意單位，一旦以秒或分作為單位，而延時時間精確不到納秒就麻煩了。使用時注意當time小於當前時間時，getDelay會返回負數。

  3. 實現compareTo方法來指定元素的順序。例如，讓延時時間最長的放在佇列的末尾。程式碼如下

    public int compareTo(Delayed other) {
       if (other == this) // compare zero if same object
           return 0;
       if (other instanceof ScheduledFutureTask) {
           ScheduledFutureTask<?> x = (ScheduledFutureTask<?>)other;
           long diff = time - x.time;
           if (diff < 0)
               return -1;
           else if (diff > 0)
               return 1;
           else if (sequenceNumber < x.sequenceNumber)
               return -1;
           else
               return 1;
       }
       long diff = getDelay(NANOSECONDS) - other.getDelay(NANOSECONDS);
       return (diff < 0) ? -1 : (diff > 0) ? 1 : 0;
}
複製程式碼

如何實現延時阻塞佇列

延時阻塞佇列的實現很簡單，當消費者從佇列裡獲取元素時，如果元素沒有達到延時時間，就阻塞當前執行緒。

private Thread leader = null;
   
private final Condition available = lock.newCondition();

public E take() throws InterruptedException {
    final ReentrantLock lock = this.lock;
    lock.lockInterruptibly();
    try {
        for (;;) {
            E first = q.peek();
            if (first == null)
                available.await();
            else {
                long delay = first.getDelay(NANOSECONDS);
                if (delay <= 0)
                    return q.poll();
                first = null; // don't retain ref while waiting
                if (leader != null)
                    available.await();
                else {
                    Thread thisThread = Thread.currentThread();
                    leader = thisThread;
                    try {
                        available.awaitNanos(delay);
                    } finally {
                        if (leader == thisThread)
                            leader = null;
                    }
                }
            }
        }
    } finally {
        if (leader == null && q.peek() != null)
            available.signal();
        lock.unlock();
    }
}
複製程式碼

SynchronousQueue

SynchronousQueue是一個不儲存元素的阻塞佇列。每一個put操作必須等待一個take操作，否則不能繼續新增元素。建構函式如下：

public SynchronousQueue() {
    this(false);
}

public SynchronousQueue(boolean fair) {
    transferer = fair ? new TransferQueue<E>() : new TransferStack<E>();
}
複製程式碼

SynchronousQueue可以看成是一個傳球手，負責把生產者執行緒處理的資料直接傳遞給消費者執行緒。佇列本身不儲存任何元素，非常適合傳遞性場景。SynchronousQueue的吞吐量高於LinkedBlockingQueue和ArrayBlockingQueue。

LinkedTransferQueue

LinkedTransferQueue是一個由連結串列結構組成的無界阻塞TransferQueue佇列。相對於其他阻塞佇列，LinkedTransferQueue多了tryTransfer和transfer方法。

  • transfer方法

    如果當前有消費者正在等待接收元素（消費者使用take()方法或帶時間限制的poll()方法時），transfer方法可以把生產者傳入的元素立刻transfer（傳輸）給消費者。如果沒有消費者在等待接收元素，transfer方法會將元素存放在佇列的tail節點，並等到該元素被消費者了才返回。

  • tryTransfer方法

    tryTransfer方法時用來試探生產者傳入的元素是否能直接傳給消費者。如果沒有消費者等待接收元素，則返回fasle。和transfer方法的區別是tryTransfer方法無論消費者是否接收，方法立即返回，而transfer方法是必須等到消費者消費了才返回。

LinkedBlockingDeque

LinkedBlockingDeque是一個由連結串列結構組成的雙向阻塞佇列。所謂雙向佇列指的是可以從佇列的兩端插入和移出元素。雙向佇列因為多了一個操作佇列的入口，在多執行緒同時入隊時，也就減少了一半的競爭。相比其他的阻塞佇列，LinkedBlockingDeque多了addFirst、addLast、offerFirst、offerLast、peekFirst和peekLast等方法，以First單詞結尾的方法，表示插入、獲取（peek）或移除雙端佇列的第一個元素。以Last單詞結尾的方法，表示插入、獲取或移除雙向佇列的最後一個元素。

阻塞佇列原理

如果佇列是空的，消費者會一直等待，當生產者新增元素時，消費者是如何知道當前佇列有元素的呢？JDK使用通知模式實現的。所謂通知模式，就是當生產者往滿的佇列裡新增元素時會阻塞主生產者，當訊息者消費了一個佇列中的元素後，會通知生產者當前佇列可用。

ArrayBlockingQueue使用Condition來實現，程式碼如下：

private final Condition notEmpty;

private final Condition notFull;

public E take() throws InterruptedException {
    final ReentrantLock lock = this.lock;
    lock.lockInterruptibly();
    try {
        while (count == 0) // 佇列為空時，阻塞當前消費者
            notEmpty.await();
        return dequeue();
    } finally {
        lock.unlock();
    }
}

public void put(E e) throws InterruptedException {
    checkNotNull(e);
    final ReentrantLock lock = this.lock;
    lock.lockInterruptibly();
    try {
        while (count == items.length)
            notFull.await();
        enqueue(e);
    } finally {
        lock.unlock();
    }
}

private void enqueue(E x) {
    final Object[] items = this.items;
    items[putIndex] = x;
    if (++putIndex == items.length)
          putIndex = 0;
     count++;
     notEmpty.signal(); // 佇列不為空時，通知訊息者獲取元素
}
複製程式碼

如果讀完覺得有收穫的話，歡迎點贊、關注、加公眾號【牛覓技術】，查閱更多精彩歷史！！！

微信公眾賬號

相關文章