ORACLE rac 11.2.0.4 for rhel7.8 upgrade to 19.11.1 報錯ORA-29516處理

      近期，在ORACLE rac 11.2.0.4  for rhel7.8  upgrade to 19.11.1過程中，在dbua之前的preupgrade預檢查中遇到報

到錯ORA-29516，相關報錯的處理很簡單，但是問題的原因和排查不太容易。

      背景：將被升級的環境作業系統為rhel 7.8，Oracle GI版本是19.11.1，DB版本是11.2.0.4，GI和DB都應用過部分PSU補丁。但是，由於人員流動，待被升級的資料庫DB的來源不太明確，就是說11.2.0.4是新裝的，還是遷移過來及其遷移方式不明確。

      問題描述：待升級系統進行preupgrade檢查（即對待升級DB進行preupgrade.jar）時，有ORA報錯資訊，具體報錯資訊：select dbms_java.longname('foo') "JAVAVM TESTING" from dual

       *

ERROR at line 1:

ORA-29516: Aurora assertion failure: Assertion failure at jol.c:11157

joez mt-index botch; mt_index = 65535, vtbl_len = 12, static_len = 2

ORA-06512: at "SYS.DBMS_JAVA", line 139

根據oracle MOS官方文件1191471.1提示修改JAVA_JIT_ENABLED引數，但是處理後預檢查報錯資訊依舊。同時，在ORACLE 

MOS官網提的case也只是讓排查jvm的狀態，並沒有有效的處理方法。然而，前期的手工檢查DB的PSU資訊是：

ACTION_TIME                    ACTION          NAMESPACE  VERSION                         ID BUNDLE_SERIES   COMMENTS

------------------------------ --------------- ---------- ----------------------- ---------- --------------- ------------------------------------------------------------

17-MAR-17 05.01.00.921809 PM   APPLY           SERVER     11.2.0.4                    160119 PSU           PSU 11.2.0.4.160119

18-OCT-19 09.46.12.556809 PM   APPLY           SERVER     11.2.0.4                    190115 PSU           PSU 11.2.0.4.190115

18-OCT-19 10.33.34.679617 PM   jvmpsu.sql      SERVER     11.2.0.4.190115OJVMPSU           0      RAN jvmpsu.sql

18-OCT-19 10.33.35.069216 PM   APPLY           SERVER     11.2.0.4.180417OJVMPSU           0      OJVM PSU post-install

18-OCT-19 10.33.35.072159 PM   APPLY                                                28790660      Patch 28790660 applied

        問題分析：根據DB應用的補丁分析，DB例項應用了160119和190115的PSU，並且190115中的180417和補丁28790660均會對jvm操作，懷疑可能是190115的PSU補丁應用有問題，計劃回退190115。如果要回退190115 PSU補丁集，

則需要先回退28790660，回退該補丁需要執行$ORACLE_HOME/sqlpatch/2870660/deinstall.sql，但是發現deinstall.sql

所在路徑並不存在。 對比前期預檢查中的opatch lspatches資訊發現資料庫軟體和資料庫例項應用的補丁集不一致：

 $ORACLE_HOME/OPatch/opatch lspatches

29141056;Database Patch Set Update : 11.2.0.4.190416 (29141056)

29141201;OCW Patch Set Update : 11.2.0.4.190416 (29141201)

OPatch succeeded.

到此問題基本明確：問題資料庫使用rman備份恢復遷移的並且遷移之前應用190115PSU補丁，但是新

環境中的資料庫軟體並沒有按照190115補丁集，而且PSU補丁已經應用到190416。

        問題處理：對問題資料庫，在資料庫軟體層次應用190115補丁，再次進行11.2.0.4 rac for rhel7.8升級到19c rac的

preupgrade.jar時，不再有 ORA-29516資訊提示，並且成功升級至19.11.1。