Dual Differential Grouping: A More General Decomposition Method for Large-Scale Optimization
可分離定義和DG
Definition 1：
當且僅當函式\(f (x)\)具有k個獨立分量時，對於最小化是部分可分離的:
Definition 2:
函式\(f\)是部分可加可分的，如果它具有以下形式:
DG的定理
Proposed DDG
Multiplicatively Separable Function(可乘性可分離函式)：
一個函式\(g\)如果是下列形式，就說明這函式是部分乘法可分離：
如過 K=D 那麼這就是完全可分離，如果 K=1，那麼就是完全不可分離。
定理 2：每一個加法可分離函式可以轉換為乘法可分離函式。
定理 3：凡最小值大於0的乘性可分離函式都可以轉化為可加性可分離函式。
演算法分析
algorithm 1
如果tempgroup長度==1，也就是說明i是可分離變數，將其放進seps的集合中{{i},{}},如果不可分離，將和i不可分離的變數j,k,l...放入集合allgroups={{i，j,k,l,...},{}}中。dims去掉已經處理的變數下標，繼續演算法1.
algorithm 2
主要部分 ：
line 13 :拿到分組後每一組的變數下標
line 14: 根據下標可以分成不同的最佳化子問題（可以參考MOEA/DVA的subcomponent，我是這麼覺得）
line 15-18: 利用最佳化演算法最佳化子問題得到子部件最新的變數值
line 19: 計算新的fitness
line 20: 保留最好的解
Case Study on the Parameter Optimization for Neural Network-Based Application
訓練損失（Training Loss）是在訓練神經網路模型期間使用訓練資料計算出的損失值。它是模型在當前訓練資料上的效能度量，表示模型預測與訓練資料真實標籤之間的差異或誤差程度。
通常情況下，訓練損失是透過某種損失函式（也稱為代價函式或目標函式）來計算的，這個函式根據模型的預測輸出和真實標籤之間的差異來度量損失。常見的損失函式包括均方誤差（Mean Squared Error，MSE）、交叉熵損失（Cross-Entropy Loss）等。
在訓練過程中，模型的目標是最小化訓練損失，即使得模型在訓練資料上的預測儘可能接近真實標籤。透過反向傳播演算法和最佳化演算法（如梯度下降法），模型會根據訓練損失的梯度調整模型引數，以使訓練損失逐步減小，從而提升模型的效能。
訓練損失是監督學習任務中的一個重要指標，它可以幫助我們瞭解模型在訓練資料上的表現，並且在模型訓練過程中可以用來監控模型的收斂情況和訓練進度。