神經網路迭代次數的簡併和不可約譜項

“應當指出屬於同一個不可約表示的幾組波函式,屬於不同的能級.因為這幾組波函式雖然具有相同的變換性質。但並沒有對稱操作能使它們被此之間產生聯絡,也就沒有理由希望它們的能級相同,偶然簡併除外這樣,

我們就可以把分子的全部波函式按對稱性進行系統分類,分子的狀態和能級用它所屬的不可約表示來標記,通常叫做譜項.這種標記法能反映出狀態的對稱特徵。”*

量子化學（徐光憲）P486

 

等邊三角形有3條對稱軸，繞軸旋轉180度，360度都可以轉成原樣，就像沒有轉一樣。所以繞軸旋轉的對稱操作有6個。同樣繞中心旋轉可以有120度，240度，360度3種可能的對稱操作。因此使等邊三角形保持對稱共有9種旋轉操作，這9種操作分屬兩類，比例是2：1.如果隨機將這個三角形對稱操作了100次，其中應該約有67次是繞軸旋轉，33次是繞中心旋轉。

 

（mnist0，2）---81*30*2---（0，1）（1，0）

用81*30*2的網路二分類mnist的0和2，將收斂標準設為1e-6,收斂199次，只能得到12個迭代次數

 

迭代次數	簡併數量	佔比/199	特徵pave數量
27596	70	0.35175879	5
37592	66	0.33165829	7
47588	26	0.13065327	5
34602	7	0.03517588	3
18466	5	0.02512563	2
24606	5	0.02512563	2
28462	5	0.02512563	2
44598	5	0.02512563	5
17600	4	0.0201005	2
57584	4	0.0201005	4
14610	1	0.00502513	1
40288	1	0.00502513	1

 

迭代了199次卻只有12個迭代次數，這個網路有81*30+30*2=2490個權重，2490個隨機值都一樣的可能性不大，平均準確率的數量也佐證了這一點，比如迭代次數27596出現了70次佔比35%，但是其中有5個不同的分類準確率，表明網路收斂時的權重是不同的。

為什麼會出現這種簡併行為？

 

如果將訓練集（mnist0，2）理解成是一個幾何體，而將訓練集*權重這個操作理解成是讓訓練集在一個多維空間裡旋轉，旋轉了199次，卻只有12個不可約特徵值，可以猜測這個物件有12種對稱操作。有12個能級，特徵光譜有12條線。