- **類載入分類**
Java Classpath 類載入：Java 的通用類路徑，包括 JDK 庫，以及 Flink /lib 目錄中的所有程式碼（Apache Flink 的
類和一些依賴），這些都是透過 AppClassLoader 載入
Flink Plugin 元件類載入：Flink 的 /plugins 目錄下的外掛程式碼，Flink 的外掛機制會在啟動時動態載入它們
動態載入使用者程式碼類：透過 FlinkUserCodeClassLoader 動態載入和解除安裝提交作業的 JAR 檔案中的所有類（透過 
REST、CLI、Web UI 提交的程式類）

- **載入方式**
通用規則，每當Flink程式先啟動，之後job提交時，job相關的類都是動態載入的。
如果Flink程式與job或應用程式一起啟動，或者應用程式碼啟動Flink元件（JobManager, TaskManager等），這時所有job的類存在於Java的classpath下。

- **不同部署模式的一些細節資訊：**
**Session模式(Standalone/Yarn/Kubernetes)：**
當Flink Session叢集啟動時，JobManager和TaskManager由Java classpath中的Flink框架類（Flink framework classes）進行啟動載入。而透過session提交（REST或命令列方式）的job或應用程式由FlinkUserCodeClassLoader進行載入。
**Per-Job模式（已棄用）（Yarn）：**
當前只有Yarn支援Per-Job模式。預設情況下，Flink叢集執行在Per-Job模式下時會將使用者的jar檔案包含在系統的classpath中。 這種模式可以由yarn.classpath.include-user-jar 引數控制。 當該引數設定為DISABLED時，Flink會將使用者jar檔案含在使用者的classpath中，並由FlinkUserCodeClassLoader進行動態載入。
**Application模式（Standalone/Yarn/Kubernetes）：**
當Application模式的Flink叢集基於Standalone或Kubernetes方式執行時，使用者jar檔案（啟動命令指定的jar檔案和Flink的usrlib目錄中的jar包）會由FlinkUserCodeClassLoader進行動態載入。
當Flink叢集以Application模式執行時，使用者jar檔案（啟動命令指定的jar檔案和Flink的usrlib目錄中的jar包）預設情況下會包含在系統classpath（AppClassLoader）。與Per-Job模式相同，當yarn.classpath.include-userjar設定為DISABLED時，Flink會將使用者jar檔案含在使用者的classpath中，並由FlinkUserCodeClassLoader進行動態載入。

- **倒置類載入（Inverted Class Loading）和ClassLoader解析順序**
**動態類載入的層次結構涉及兩種ClassLoader：**
（1）Java的application classloader，包含classpath中的所有類； 
（2）動態的plugin/user code classloader，用來載入外掛程式碼或使用者程式碼的jar檔案。動態的ClassLoader將應用程式classloader作為parent。
預設情況下Flink會倒置類載入順序，首先Flink會查詢動態類載入器，如果該類不屬於動態載入的程式碼時才會去查詢其parent（application classloader）。
***倒置類載入的好處：***
在於外掛和job可以使用與Flink核心不同的庫版本，尤其在使用不同版本的庫從而出現不相容的情況下。這種機制可以幫助避免常見的類似 IllegalAccessError 或NoSuchMethodError的依賴衝突錯誤。程式碼的不同部分會有獨立的複製（Flink核心及它的不同依賴包可使用與使用者程式碼或外掛程式碼不同的複製），多數情況下這種方式可以正常執行，並且不需要使用者進行額外配置。
對於使用者程式碼的類載入，您可以透過調整Flink的classloader.resolve-order配置將ClassLoader解析順序還原至Java的預設模式（從Flink預設的child-first調整為parent-first）。
請注意由於有些類在Flink核心與外掛或使用者程式碼間共享，它們總是以parent-first方式進行解析的。這些類相關的包透過classloader.parent-first-patterns-default和classloader.parent-first-patterns-additional進行配置。如果需要新新增parent-first 方式的包，請調整classloader.parent-first-patterns-additional 配置選項。

- **類衝突處理**
實際開發中可能會因為類載入出現 ClassNotFound 或者 NoSuchMethodError 和 NoSuchFieldError 等異常。這種情況可能是因為你的 jar 包中的版本和叢集的版本不一致，優先載入了叢集的 class。在不改動叢集預設配置的情況下，同時也防止對其他任務的影響，可以考慮對專案中引入的衝突類作 shade。如 com.typesafe 的類發生衝突，maven 專案加入如下配置：
```xml
<plugin>
 <groupid>org.apache.maven.plugins</groupid>
 <artifactid>maven-shade-plugin</artifactid>
 <executions>
 <execution>
 <phase>package</phase>
 <goals>
 <goal>shade</goal>
 </goals>
 <configuration>
 <relocations>
 <relocation>
 <pattern>com.typesafe</pattern>
 <shadedpattern>com.zhisheng.com.typesafe</shadedpattern>
 </relocation>
 </relocations>
 </configuration>
 </execution>
 </executions>
 </plugin>
```
專案打包後，就會自動把引入和原始碼中相關的 com.typesafe 開頭的類修改為 com.zhisheng.com.typesafe，由於類的路
徑不同，類載入器在載入使用者 jar 中的類時就不會與叢集中的其他版本衝突。

- **解除安裝動態載入的類**
當類被載入，連線和初始化後，它的生命週期就開始了。當代表類的Class物件不在被引用時，即不可觸及時，Class物件就會結束生命週期，類在方法區內的資料也會被解除安裝，從而結束類的生命週期。

Flink 類載入機制介紹

相關文章