# 異常

### 環境描述

- 系統：Linux
- 資料庫：Oracle 11.2.0.4

### 現象

ASM alert 日誌

```
ORA-27090: Unable to reserve kernel resources for asynchronous disk I/O
Linux-x86_64 Error: 2: No such file or directory
Additional information: 3
Additional information: 128
```

# 網上建議

調整核心引數

```
#fs.aio-max-nr = 1048576
fs.aio-max-nr = 3145728
```

參考

- ORA-27090: MESSAGE 27090 NOT FOUND; (DOC ID 579108.1)

# 概念整理

### aio

aio 非同步讀寫是在 Linux 核心 2.6 之後才正式納入其標準。之所以會增加此模組，是因為眾所周知我們計算機 CPU 的執行速度遠大於 I/O 讀寫的執行速度，如果我們用傳統的阻塞式或非阻塞式來操作 I/O 的話，那麼我們在同一個程式中（不用多執行緒或多程式）就不能同時操作倆個以上的檔案 I/O，每次只能對一個檔案進行 I/O 操作，很明顯這樣效率很低下（因為 CPU 速度遠大於 I/O 操作的速度，所以當執行 I/O 時，CPU 其實還可以做更多的事）。因此就誕生了相對高效的非同步 I/O

##### aio-nr＆aio-max-nr：

aio-nr 是指定的事件數的執行總和
io_setup 系統呼叫所有當前活動的 aio上下文。如果 aio-nr 到達 aio-max-nr 然後 io_setup 將失敗並使用EAGAIN。注意提高 aio-max-nr 不會導致預分配或重新調整大小任何核心資料結構。

- /proc/sys/fs/aio-nr 檔案提供了系統範圍非同步 I/O 請求現在的數目。
- /proc/sys/fs/aio-max-nr 檔案是所允許的併發請求的最大個數

##### 修改

1. 可以臨時修改核心引數aio-max-nr

```shell
   echo > /proc/sys/fs/aio-max-nr 1048576
   ```

2. 永久修改核心引數 aio-max-nr，需要在 /etc/sysctl.conf 加上下面這句

```
   fs.aio-max-nr = 1048576
   ```

使引數生效

```shell
   sysctl -p
   ```

### FILESYSTEMIO_OPTIONS 初始化引數

可以使用 FILESYSTEMIO_OPTIONS 初始化引數啟用或禁用檔案系統檔案的非同步I/O或直接I/O。這個引數是特定於平臺的，並且有一個最適合特定平臺的預設值。它可以動態更改以更新預設設定。

FILESYTEMIO_OPTIONS 可以設定為以下值之一：

- ASYNCH：在檔案系統檔案上啟用非同步 I/O，對傳輸沒有時間要求。
- DIRECTIO：在檔案系統檔案上啟用直接 I/O，這繞過了緩衝區快取。
- SETALL：在檔案系統檔案上啟用非同步和直接 I/O。
- NONE：關閉檔案系統檔案的非同步I/O和直接I/O。

##### 參考

- "Warning: OS async I/O limit 128 is lower than recovery batch 1024" in Alert log (Doc ID 471846.1)

### ora.crf

ora.crf 是 Cluster Health Monitor（以下簡稱 CHM）提供服務的資源， 用來自動收集作業系統（CPU、記憶體、SWAP、程式、I/O 以及網路等）的使用情況。 當然還是建議生產環境部署 OSW 來收集記錄更久的資訊， OSW 是呼叫的 OS 命令，而 CHM 呼叫的是 OS API，開銷低、實時性強。 開始的版本是每秒一次，從 11.2.0.3 應該是變為每 5 秒一次。

CHM主要包括兩個服務：

1. System Monitor Service(osysmond)：這個服務在所有節點都會執行，osysmond 會將每個節點的資源使用情況傳送給 cluster logger service，後者將會把所有節點的資訊都接收並儲存到 CHM 的資料庫。

```shell
   $ ps -ef|grep osysmond
   root      7984     1  0 Jun05 ?        01:16:14 /u01/app/11.2.0/grid/bin/osysmond.bin
   ```

2. Cluster Logger Service(ologgerd)：在一個叢集中的，ologgerd 會有一個主機點(master)，還有一個備節點(standby)。當 ologgerd 在當前的節點遇到問題無法啟動後，它會在備用節點啟用。

##### CHM診斷日誌

```
$GRID_HOME/log//crflogd/crflogd.log
$GRID_HOME/log//crfmond/crfmond.log 
```

##### CHM Repository

用於存放收集到資料，預設情況下，會存在於 $GI_HOME/crf 下 ，需要 1 GB 的磁碟空間， 每個節點大約每天會佔用 0.5GB 的空間， 您可以使用 OCLUMON 來調整它的存放路徑以及允許的空間大小(最多隻能儲存 3 天的資料)

##### 獲得CHM生成的資料的方法有兩種

1. 一種是使用 Grid_home/bin/diagcollection.pl

```shell
   diagcollection.pl -collect -chmos -incidenttime inc_time -incidentduration duration
   ```

2. 另外一種獲得 CHM 生成的資料的方法為 oclumon

```shell
   oclumon dumpnodeview [[-allnodes] | [-n node1 node2] [-last “duration”] | [-s “time_stamp” -e “time_stamp”] [-v] [-warning]] [-h]
   ```

##### 停止和禁用 ora.crf resource

```
On each node, as root user:
# /bin/crsctl stop res ora.crf -init
# /bin/crsctl modify res ora.crf -attr ENABLED=0 -init
```

# 分析

近日發現，有少量庫及時調整到 fs.aio-max-nr = 3145728，依然會出現此異常，所以對這個問題進行了追蹤

1. 透過實時呼叫 /proc/sys/fs/aio-nr 獲取當前的 aio 數
2. 透過啟停 Oracle DB、監聽、ora.crf 等服務的方式可知 ora.crf 為佔用大量 aio 的罪魁禍首

### 參考

- [[Oracle]&[Linux]Linux非同步IO的怪事，aio被賊偷走了](https://mp.weixin.qq.com/s/yJ9EGsZkABiIPSFZwMNdBQ)

# 最終建議

關閉 ora.crf，改用 OSWatch 來監控系統使用資源的變化

Oracle：ORA-27090 問題解決總結

相關文章