聊聊JDK19特性之虛擬執行緒

京東雲開發者發表於2023-10-08
JDK執行緒

1.前言

在讀《深入理解JVM虛擬機器》這本書前兩章的時候整理了JDK從1.0到最新版本發展史，其中記錄了JDK這麼多年來演進過程中的一些趣聞及引人注目的一些特性，在調研JDK19新增特性的時候瞭解到了虛擬執行緒這個概念，於是對虛擬執行緒進行學習整理內容如下。

2.虛擬執行緒介紹？

虛擬執行緒(Virtual Threads)就猶如名字一樣，並非傳統意義上的JAVA執行緒。傳統意義上的JAVA執行緒（以下稱為平臺執行緒）跟作業系統的核心執行緒是一一對映的關係（如圖1所示）。而對於平臺執行緒的建立和銷燬所帶來的開銷是非常大的，所以JAVA採用執行緒池的方式來維護平臺執行緒而避免執行緒的反覆建立和銷燬。

然而平臺執行緒也會佔用記憶體、CPU資源，往往在CPU和網路連線成為系統瓶頸前，平臺執行緒首當其衝的會成為系統瓶頸。在單臺伺服器硬體資源確定的情況下，平臺執行緒的數量同樣也會因為硬體資源而受到限制，也成為單臺伺服器吞吐量提升的主要障礙。

圖1 平臺執行緒和系統執行緒對映關係

談回虛擬執行緒，虛擬執行緒則是由JDK而非作業系統提供的一種執行緒輕量級實現，它相較於平臺執行緒而言具有以下特性：

  • 不依賴於平臺執行緒的數量；
  • 不會增加額外的上下文切換開銷；
  • 不會在程式碼的整個生命週期中阻塞系統執行緒；
  • 整個虛擬執行緒的維護是透過JVM進行管理，作為普通的JAVA物件存放在RAM中。

那麼意味著若干的虛擬執行緒可以在同一個系統執行緒上執行應用程式的程式碼（如圖2所示），只有在虛擬執行緒執行的時候才會消耗系統執行緒，在等待和休眠時不會阻塞系統執行緒。

圖2 虛擬執行緒和平臺執行緒對映關係

相較於平臺執行緒而言，虛擬執行緒是一種非常廉價和豐富的執行緒，可以說虛擬執行緒的數量是一種近乎於無限多的執行緒，它對硬體的利用率接近於最好，在相同硬體配置伺服器的情況下，虛擬執行緒比使用平臺執行緒具備更高的併發性，從而提升整個應用程式的吞吐量。如果說平臺執行緒和系統執行緒排程為1:1的方式，虛擬執行緒則採用M:N的排程方式，其中大量的虛擬執行緒M在較少的系統執行緒N上執行。

3.虛擬執行緒如何被JVM排程呢？

圖3 JVM排程虛擬執行緒流程圖

  • 先建立一個虛擬執行緒，此時JVM會將虛擬執行緒裝載在平臺執行緒上，平臺執行緒則會去繫結一個系統執行緒。
  • JVM會使用排程程式去使用排程執行緒執行虛擬執行緒中的任務。
  • 任務執行完成之後清空上下文變數，將排程執行緒返還至排程程式等待處理下一個任務。

4.虛擬執行緒的目標、非目標？

目標：

  • 為java.lang.Thread增加一種額外的實現，即虛擬執行緒，它能做到在幾個G的JVM堆上建立幾百萬個活動的虛擬執行緒（這在現在的JDK中幾乎不可能實現），並且表現出和現在的執行緒幾乎一樣的行為。
  • 對虛擬執行緒問題定位也可以透過已經存在的JDK工具，儘可能保持和現在的執行緒相似的方式。

在 Java 中，經典執行緒是 java.lang.Thread 類的例項。後面我們也將它們稱為平臺執行緒。

非目標:

  • 虛擬執行緒不是為了改變現在這種作業系統級別的執行緒的實現。
  • 虛擬執行緒不是為了自動將已經存在的執行緒構造方法自動轉為虛擬執行緒。
  • 虛擬執行緒不是為了改變JMM。
  • 虛擬執行緒不是為了增加一種新的內部執行緒通訊機制。
  • 除了並行流之外，虛擬執行緒也不是為了提供一種新的資料並行結構。

5.如何建立虛擬執行緒？

  • 使用Thread.startVirtualThread()

此方法建立一個新的虛擬執行緒來執行給定的 Runnable 任務。

Runnable runnable = () -> System.out.println("Virtual Thread");
Thread.startVirtualThread(runnable);

//or

Thread.startVirtualThread(() -> {
	//Code to execute in virtual thread
	System.out.println("Virtual Thread");
});
  • 使用Thread.Builder

如果我們想在建立執行緒後顯式啟動它，我們可以使用 Thread.ofVirtual() 返回一個 VirtualThreadBuilder 例項。它的 start() 方法啟動一個虛擬執行緒。這裡的 Thread.ofVirtual().start(runnable) 等價於 Thread.startVirtualThread(runnable)。

ThreadFactory factory = Thread.ofVirtual().factory();

我們可以使用Thread.Builder引用來建立和啟動多個執行緒。

Runnable runnable = () -> System.out.println("Virtual Thread");

Thread.Builder builder = Thread.ofVirtual().name("Virtual-Thread");

Thread t1 = builder.start(runnable); 
Thread t2 = builder.start(runnable);

類似的 APIThread.ofPlatform()也可用於建立平臺執行緒。

Thread.Builder builder = Thread.ofPlatform().name("Platform-Thread");

Thread t1 = builder.start(() -> {...}); 
Thread t2 = builder.start(() -> {...});
  • 使用Executors.newVirtualThreadPerTaskExecutor()

此方法為每個任務建立一個新的虛擬執行緒。 Executor 建立的執行緒數是無限的。

try (var executor = Executors.newVirtualThreadPerTaskExecutor()) {
    IntStream.range(0, 10_000).forEach(i -> {
        executor.submit(() -> {
            Thread.sleep(Duration.ofSeconds(1));
            return i;
        });
    });
}

6.平臺執行緒和虛擬執行緒的區別？

圖4 虛擬執行緒生命週期

  • 虛擬執行緒始終是守護執行緒。 Thread.setDaemon(false) 方法不能將虛擬執行緒更改為非守護執行緒。

請注意，當所有啟動的非守護執行緒都終止時，JVM 終止。這意味著 JVM 在退出之前不會等待虛擬執行緒完成。

Thread virtualThread = ...; //建立虛擬執行緒
//virtualThread.setDaemon(true);  //沒有作用
  • 虛擬執行緒始終具有正常優先順序，並且即使使用setPriority(n)方法，也無法更改優先順序。在虛擬執行緒上使用此方法無效。
Thread virtualThread = ...; //建立虛擬執行緒
//virtualThread.setPriority(Thread.MAX_PRIORITY);  //沒有作用
  • 虛擬執行緒不是執行緒組的活動成員。在虛擬執行緒上呼叫時，Thread.getThreadGroup()返回一個名為VirtualThreads的佔位符執行緒組。
  • 虛擬執行緒不支援stop()、suspend()或resume()方法。

這些方法在虛擬執行緒上呼叫時會引發UnsupportedOperationException。

  • 虛擬執行緒由JVM排程，JVM將VT分配給平臺執行緒的動作稱為掛載（mount），取消分配的動作稱為解除安裝（unmount），執行緒狀態如下
    // 初始狀態
    private static final int NEW      = 0;
    // 執行緒啟動，由於虛擬執行緒的run()是個空方法，此時尚未開始執行任務
    // 真正的任務執行在cont.run
    private static final int STARTED  = 1;
    // 可執行，尚未分配平臺執行緒
    private static final int RUNNABLE = 2;
    // 可執行，已分配平臺執行緒
    private static final int RUNNING  = 3;
    // 執行緒嘗試park
    private static final int PARKING  = 4;
    // 從平臺執行緒解除安裝
    private static final int PARKED   = 5;
    // cont.yield失敗，未從平臺執行緒解除安裝
    private static final int PINNED   = 6;
    // 嘗試cont.yield
    private static final int YIELDING = 7;
    // 終結態
    private static final int TERMINATED = 99;

7.例項場景分析平臺執行緒和虛擬執行緒的效能：

任務說明：在控制檯中列印一條訊息之前等待1秒，現在使用Runnable建立10000個執行緒，用虛擬執行緒和平臺執行緒執行它們，來比較兩者的效能。我們將使用Duration.between()api 來測量執行所有任務的經過時間。

首先，我們使用一個包含 100 個平臺執行緒的池。這樣，Executor 一次可以執行 100 個任務，其他任務需要等待。由於我們有 10,000 個任務，因此完成執行的總時間約為 100 秒。

Instant start = Instant.now();

try (var executor = Executors.newFixedThreadPool(100)) {
  for(int i = 0; i < 10_000; i++) {
    executor.submit(runnable);
  }
}

Instant finish = Instant.now();
long timeElapsed = Duration.between(start, finish).toMillis();  
System.out.println("Total elapsed time : " + timeElapsed);

輸出

Total elapsed time : 101152 //大概 101 秒

接下來，我們將Executors.newFixedThreadPool(100)替換為Executors.newVirtualThreadPerTaskExecutor()。這將在虛擬執行緒而不是平臺執行緒中執行所有任務。

Instant start = Instant.now();

try (var executor = Executors.newVirtualThreadPerTaskExecutor()) {
  for(int i = 0; i < 10_000; i++) {
    executor.submit(runnable);
  }
}

Instant finish = Instant.now();
long timeElapsed = Duration.between(start, finish).toMillis();  
System.out.println("Total elapsed time : " + timeElapsed);

輸出

Total elapsed time : 1589 // 大概 1.5 秒

請注意虛擬執行緒的超快效能將執行時間從 100 秒減少到 1.5 秒，而 Runnable 程式碼沒有任何變化。 其他實際場景：https://zhuanlan.zhihu.com/p/604507117?utm_id=0

8.使用虛擬執行緒需要注意什麼？

  • 不要建虛擬執行緒池

Java 執行緒池旨在避免建立新作業系統執行緒的開銷，因為建立它們是一項昂貴的操作。但是建立虛擬執行緒並不昂貴，因此永遠不需要將它們池化。建議每次需要時建立一個新的虛擬執行緒。 請注意，使用虛擬執行緒後，我們的應用程式可能能夠處理數百萬個執行緒，但其他系統或平臺一次只能處理幾個請求。例如，我們可以只有幾個資料庫連線或與其他伺服器的網路連線。 在這些情況下，也不要使用執行緒池。相反，使用訊號量來確保只有指定數量的執行緒正在訪問該資源。

private static final Semaphore SEMAPHORE = new Semaphore(50);

SEMAPHORE.acquire();

try {
  // 訊號量被控制在 50 來訪問請求
  // 訪問資料庫或資源
} finally {
  SEMAPHORE.release();
}
  • 避免使用執行緒區域性變數 (ThreadLocal)

虛擬執行緒支援執行緒區域性行為的方式與平臺執行緒相同，但由於虛擬執行緒可以建立數百萬個，因此只有在仔細考慮後才能使用執行緒區域性變數。 例如，如果我們在應用程式中擴充套件一百萬個虛擬執行緒，那麼將有一百萬個 ThreadLocal 例項以及它們所引用的資料。如此大量的例項會給記憶體帶來很大的負擔，應該避免。

  • 使用 ReentrantLock 而不是同步塊

有兩種特定場景，虛擬執行緒可以阻塞平臺執行緒（稱為 OS 執行緒的固定）。 1、當它在同步塊或同步方法內執行程式碼時 2、當它執行本地方法或外部函式時 這種同步塊不會使應用程式出錯，但它會限制應用程式的可擴充套件性，類似於平臺執行緒。 如果一個方法使用非常頻繁並且它使用同步塊，則考慮將其替換為 ReentrantLock 機制。

public synchronized void m() {
	try {
	 	// ... 訪問資源
	} finally {
	 	//
	}
}

private final ReentrantLock lock = new ReentrantLock();

public void m() {
	lock.lock();  // 阻塞
	try {
	 	// ... 訪問資源
	} finally {
	 	lock.unlock();
	}
}

9.結論

長期以來，傳統的 Java 執行緒一直很好用。隨著微服務領域對可擴充套件性和高吞吐量的需求不斷增長，虛擬執行緒將被證明是 Java 歷史上的一個里程碑特性。使用虛擬執行緒，一個程式可以用少量的實體記憶體和計算資源處理數百萬個執行緒，這是傳統平臺執行緒無法做到的。當與結構化併發相結合時，它還將導致編寫更好的程式。

作者：京東科技 宋慧超

來源：京東雲開發者社群 轉載請註明來源

相關文章