作者：卜比

*本文是《容器中的 Java》系列文章之 4/n ，歡迎關注後續連載 :) 。*

> [系列1：JVM 如何獲取當前容器的資源限制？](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247548101&idx=2&sn=9b2a810941d5d61f45abbecced9667b3&chksm=fae6370acd91be1c046e6a6e9642ba3fd51156741d65b6aadbf966f7f25d426f6c71e44a7980&scene=21#wechat_redirect)
>
> [系列2：Java Agent 踩坑之](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247548252&idx=2&sn=fc1e31f55115315118998022b31c527d&chksm=fae63693cd91bf8501752194ae24f8e5d81394e05d9e8f10b1f5f3f6387da36e3b29a7f38a7a&scene=21#wechat_redirect)
>
> [appendToSystemClassLoaderSearch 問題](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247548252&idx=2&sn=fc1e31f55115315118998022b31c527d&chksm=fae63693cd91bf8501752194ae24f8e5d81394e05d9e8f10b1f5f3f6387da36e3b29a7f38a7a&scene=21#wechat_redirect)
>
> [系列3：讓 Java Agent 在 Dragonwell 上更好用](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247548616&idx=2&sn=8c6334dd63d76b5a79b5f1bf6a510d49&chksm=fae63507cd91bc11276837fae96d54b829dc87e58501a5d62be34b31f383d9ccf0293d1e6433&scene=21#wechat_redirect)

最近在容器環境中，發現在 Java 程式是 1 號程式的情況下，無法使用 arthas。

提示 AttachNotSupportedException: Unable to get pid of LinuxThreads manager thread。具體操作和報錯如下：

```
# java -jar arthas-boot.jar
[INFO] arthas-boot version: 3.5.6
[INFO] Found existing java process, please choose one and input the serial number of the process, eg : 1. Then hit ENTER.
* [1]: 1 com.alibabacloud.mse.demo.ZuulApplication
1
[INFO] arthas home: /home/admin/.opt/ArmsAgent/arthas
[INFO] Try to attach process 1
[ERROR] Start arthas failed, exception stack trace:
com.sun.tools.attach.AttachNotSupportedException: Unable to get pid of LinuxThreads manager thread
    at sun.tools.attach.LinuxVirtualMachine.<init>(LinuxVirtualMachine.java:86)
    at sun.tools.attach.LinuxAttachProvider.attachVirtualMachine(LinuxAttachProvider.java:78)
    at com.sun.tools.attach.VirtualMachine.attach(VirtualMachine.java:250)
    at com.taobao.arthas.core.Arthas.attachAgent(Arthas.java:117)
    at com.taobao.arthas.core.Arthas.<init>(Arthas.java:27)
    at com.taobao.arthas.core.Arthas.main(Arthas.java:166)
[INFO] Attach process 1 success.
```

之前也遇到過，總是調整了下映象，讓 Java 程式不是 1 號程式就可以了。但這個不是長久之計，還是要抽時間看下這個問題。

## 復現問題

我們建立如下專案，來複現這個問題：

```
public class Main {
  public static void main(String args[]) throws Exception {
    while (true) {
      System.out.println("hello!");
      Thread.sleep(30 * 1000);
    }
  }
}
```

```
FROM openjdk:8u212-jdk-alpine
COPY ./ /app
WORKDIR /app/src/main/java/
RUN javac Main.java
CMD ["java", "Main"]
```

然後正常啟動應用，並嘗試用 arthas，或者 jstack：

```
$ # 構建映象
$ docker build . -t example-attach
$ # 啟動容器
$ docker run --name example-attach --rm example-attach

$ # 在另一個終端進入容器，執行jstack
$ docker exec -it example-attach sh
/app/src/main/java # jstack 1
1: Unable to get pid of LinuxThreads manager thread
```

成功復現問題！接下來開始分析。

## 正常的 attach 流程是什麼樣子的？

如下是在排查問題中，梳理出來的 jvm Attach 流程：

1.  查詢 /tmp/.java_pid${pid} 這個 unix socket，如果存在則檢查許可權，然後建立連線。
1.  如果不存在則先建立 /proc/${pid}/cwd/.attach_pid${pid}，開始通知 jvm 執行緒。
1.  首先判斷是不是 LinuxThread如果是 LinuxThread則找到 LinuxThreadsManager，然後給其所有子程式傳送  SIGQUIT.
1.  如果不是 LinuxThread，則直接給目標程式傳送 SIGQUIT。
1.  目標程式收到訊號後，建立 Attach Listener，監聽 /tmp/.java_pid${pid}。
1.  開始正常的 socket 通訊，根據通訊的具體內容，可以是 dumpThread（jstack），也可以是載入 JavaAgent，比如上面提到的 arthas。

**Java Attach 機制之 Native 篇 **[** **1]** **也是一個不錯的 attach API 解析。

## 為什麼對1號程式 attach 會報錯？

首先，/tmp/.java_pid${pid} 當時是肯定不存在的，如果存在就是直接通訊載入 Arthas 了。也可以透過檢視檔案來確認這一點。

其次，.attach_pid${pid} 檔案也是能夠建立成功的，

我們也可以透過 strace 輸出來確認：

open("/proc/424/cwd/.attach_pid424", O_RDWR|O_CREAT|O_EXCL|O_LARGEFILE, 0666 <unfinished ...="">。

最有可能的原因就是執行緒判斷、傳送訊號這一步了，我們以 jstack 為例查詢為什麼 attach 會失敗。

本來類似[上一次的查詢過程](http://mp.weixin.qq.com/s?spm=a2c6h.13046898.0.0.7f0d6ffa2XOZBc&__biz=MzUzNzYxNjAzMg==&mid=2247548252&idx=2&sn=fc1e31f55115315118998022b31c527d&chksm=fae63693cd91bf8501752194ae24f8e5d81394e05d9e8f10b1f5f3f6387da36e3b29a7f38a7a&scene=21#wechat_redirect)，想著透過除錯符號來查，但是在 alpine 上的除錯符號無法顯示原始碼內容，編譯環境又很麻煩。所以還是優先用 strace 來查，值得注意的是， jstack 的邏輯中有 fork，所以記得使用 strace -f jstack 1 來查。

查了下 strace 的輸出，沒有 kill 請求。看來問題是處線上程模型判定的。

剛剛提到 jvm 會判斷是不是 LinuxThread，那麼什麼是 LinuxThread 呢？首先看下判斷的原始碼：

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/97660536d6eb4a99898a64a89c394870~tplv-k3u1fbpfcp-zoom-1.image "1.png")

通俗的講，Linux 核心剛開始是不支援“執行緒”的，LinuxThread 機制就是透過 fork 機制+共享記憶體空間的方式來實現執行緒。但 LinuxThread 在核心看來就是一些獨立的父子程式，在訊號處理、同步原語上有很多缺陷，要透過 manager thread 來處理這些邏輯。後來 Red Hat 發起 NPTL，核心開始支援執行緒能力，也能夠透過更加標準的方式來處理訊號、同步等邏輯。

可以用 getconf GNU_LIBPTHREAD_VERSION 來檢視是哪種執行緒模型，比如我的機器上輸出是 NPTL 2.34。

當然，如上面程式碼所寫。可以用 confstr(_CS_GNU_LIBPTHREAD_VERSION,) 來獲取當前的執行緒模型，**詳情參考手冊 **[** **2]** **。

-   如果 confstr(_CS_GNU_LIBPTHREAD_VERSION,) 返回 0，則表示是 glibc 舊版本，認為是 LinuxThread：先找到 manager thread（透過查詢父程式），然後給各個子程式傳送 SIGQUIT 訊號（這個過程需要遍歷系統內所有程式）。
-   如果 confstr(_CS_GNU_LIBPTHREAD_VERSION,) 結果包含 NPTL，則認為不是 LinuxThread，按照 NPTL 來處理：直接傳送 SIGQUIT。

但很可惜的是，LinuxThread/confstr(_CS_GNU_LIBPTHREAD_VERSION,) 不是 POSIX 標準，所以 Alpine 自帶的 musl 對這個呼叫返回 0。

按照上面邏輯，jvm 會認為是 LinuxThread，嘗試找到父程式，如果 pid 是 1 的話，自然找不到父程式，所以報錯  Unable to get pid of LinuxThreads manager thread，導致文章最開始說的 arthas 無法使用。

關於兩種執行緒模型的詳細比較，可以參考 **Linux 執行緒模型比較：LinuxThreads 和 NPTL **[3** **]** **。

## 為什麼非1號程式就能 attach？

模擬了下先手動進入 shell（這時 sh 就是 1 號程式），然後再手動執行 java Main（pid為 8 ），然後我們看下 getLinuxThreadsManager 是怎麼表現的：

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2ed267963d8a4918922bdf7952bda4fb~tplv-k3u1fbpfcp-zoom-1.image "2.png")

可以看到，在這種情況下，jvm 認為 manager thread 是 1 號程式。此時會後執行 sendQuitToChildrenOf(mpid)：

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3dfed82cc60d4211ac0cfb4d928315bb~tplv-k3u1fbpfcp-zoom-1.image "3.png")

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/eb2dbea0ce754ff3af43bd6555505d0d~tplv-k3u1fbpfcp-zoom-1.image "4.png")

即遍歷所有的子程式，都傳送 SIGQUIT，這個邏輯其實是有點奇怪的。 **“超凡的主張，需要有超凡的證據” **[** **4]** **。我們重新跑一遍，用 strace -f 驗證一下。

程式樹（其中綠色的是執行緒）：

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/82619025adcb465fa859fa8c8d029431~tplv-k3u1fbpfcp-zoom-1.image "5.png")

jstack 傳送的 kill 訊號，可以看到 jstack 給 1 號程式的所有子程式傳送了 SIGQUIT：

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5bae9b7b8ec745eb8327e44959e0766d~tplv-k3u1fbpfcp-zoom-1.image "6.png")

這個行為和剛剛分析是一致的。不過非常巧合的是，大部分程式是忽略了 SIGQUIT 訊號的，所以在這種情況下，jstack 反而是正常工作了的。

## 怎麼解決這個問題？

### 最快捷 workaround

> 注：這種方式不需要調整容器引數，不需要重啟容器，比較推薦。

既然 attach 主要卡在了傳送訊號上，那我們就用 shell 來模擬這個流程：

```
pid=1 ;\
touch /proc/${pid}/cwd/.attach_pid${pid} && \
  kill -SIGQUIT ${pid} && \
  sleep 2 &&
  ls /proc/${pid}/root/tmp/.java_pid${pid}
# 接下來就可以正常 java -jar arthas-boot.jar 掛arthas了
```

透過上面的操作後，Attach Listener 已經啟動並且監聽了路徑，第二次 attach 就直接可以連線了；就可以按照正常的方式使用 arthas 了。

**其中有一點需要注意，一定需要提前建立 .attach_pid${pid} 檔案，** 不然 jvm 會將這個訊號交給預設的 sigaction 處理，對於 pid 1 來說，會導致容器退出！

也有人基於類似原理，做了一個 **jattach **[** **5]** **工具，可以直接在 Alpine 中，透過 apk add jattach 來安裝，然後 jattach ${pid} properties，也能起到一樣的效果。

### 設定啟動引數

> 注：這種方式需要調整啟動引數或者環境變數，需要重啟應用/容器，可能會丟失業務現場。

Jvm 支援設定 -XX:+StartAttachListener，這樣就能在啟動 Jvm 的時候，自動啟動 Attach Listener 執行緒並監聽，也可以正常使用 arthas。

對於容器環境下，更加容易的做法是給容器新增環境變數 JAVA_TOOL_OPTIONS=-XX:+StartAttachListener，這樣不用修改啟動指令碼也能達到效果。

### 上游優先，修改映象

> 注：這種方式需要修改映象。

OpenJDK 8 官方沒有修復這個問題，所以如果直接使用 openjdk:8-jdk-alpine，是避免不了這個問題的。**Docker 映象倉庫也有人討論這個問題 **[** **6]** **。

OpenJDK 11 就已經解決了這個問題了（見**原始碼 **[** **7]** **），不再對古舊的 LinuxThread 模型做判斷，這樣 arthas 也能工作。

不過 Alpine 官方倉庫中的 OpenJDK 8 已經透過自己打 patch 的方式，修復了這個問題：

*<https:>*

作為比較知名的 JDK 發行版，也在 eclipse-temurin:8-jdk-alpine 中修復了這個問題，可以直接使用這個映象。相關討論見：

*<https:>*

## 總結

在 arthas 的 issue 中，或者網上相關的文章中，總是重複著 Java 不能作為 1 號程式。很多時候，就因為如此，我們沒有辦法掛上診斷工具，導致現場丟失，故障原因不能及時定位。

作為技術人員還是需要了解底層，這樣在排查問題、架構設計上才會有更多自由度，更能夠抓住問題、解決問題。

後續還會出系列文章，來解決容器環境下奇奇怪怪的 jvm 問題，歡迎關注！

## 相關連結

[1] Java Attach 機制之 Native 篇

*<https:>*

[2] 詳情參考手冊

*<https:>*

[3] Linux 執行緒模型比較：LinuxThreads 和 NPTL

*<https:>*

[4] 超凡的主張，需要有超凡的證據

*[https://zh.wikipedia.org/zh-hans/%E8%96%A9%E6%A0%B9%E6%A8%99%E6%BA%96](https://zh.wikipedia.org/zh-hans/%25E8%2596%25A9%25E6%25A0%25B9%25E6%25A8%2599%25E6%25BA%2596)*

[5] jattach

*<https:>*

[6] Docker 映象倉庫也有人討論這個問題

*<https:>*

[7] 原始碼

*[https://github.com/openjdk/jdk11u/blob/jdk-11%2B28/src/jdk.attach/linux/classes/sun/tools/attach/VirtualMachineImpl.java#L78](https://github.com/openjdk/jdk11u/blob/jdk-11%252B28/src/jdk.attach/linux/classes/sun/tools/attach/VirtualMachineImpl.java#L78)*</https:></https:></https:></https:></https:></https:></https:></unfinished></init></init>

為什麼在容器中 1 號程式掛不上 arthas？

相關文章