自ChatGPT問世以後，大模型非常的火，不出意外的話，電力系統方向又打算搞事情了。大模型+電力任重道遠。最近聽說了一些關於大模型+風光功率預測、負荷預測、電價預測的想法，初步分析下，很遺憾的是，個人得出結論是不可行。簡單來說，如果強行使用大模型來做電力預測，本質上可能只是一廂情願的希望大模型去預測一個噪聲罷了。
為什麼大模型做不了電力預測
以日前電價預測為例。日前電價的產生過程實質並不複雜。日前電價是透過各個交易單元的日前報量報價出清計算出來的值。日前電價預測之所以複雜，是因為出清過程裡的資訊對預測的那一方來說並不是能夠全部獲取的。需要預測電價的往往是參與市場的交易方，但他並不知道參與交易的風光場站的功率預測值，也不知道全國的負荷預測結果。因此，日前電價預測難的是獲取有效的資料，而非過程。對於風光功率預測來說同樣如此。風光功率預測通常依賴於天氣預報，風光功率預測的主要難度也在於如何處理天氣預報的噪聲干擾，而風力發電機和光伏發電的過程也是一個對於大模型而言並不複雜的物理過程。而如果要在日前對實時電價進行預測，可能就更難了。實時電價的產生主要來源於日前承諾與實時發電的不平衡，這個不平衡量通常含有的就是大量的風光功率預測誤差的成分。要預測實時電價，就好比是預測一個預測模型的誤差。而一個訓練良好的預測模型，產生的誤差理論上是均值為0的噪聲。要是誤差可預測，那為什麼原來的預測模型不去預測誤差呢？
大模型當前的成功主要還是表現在自然語言處理和天氣預測上。究其宏觀的原因，還是因為這兩件事情的過程足夠複雜。自然語言的處理本身就是一種難以用數學和規則量化的事情，它更像是在群體社會這樣的複雜系統中湧現出來的產物，自然語言處理依賴於大量的資料積累和難以量化的過程。因此自然語言處理需要用複雜系統來學習和建模。天氣預報也是類似，天氣本來就是一類混沌系統，天氣裡的物理量的變化遵循的是天氣系統裡的各種微分方程。天氣系統裡PDE本來就是一類沒有解析解的問題，天氣預測的複雜來源於它的混沌，因此也需要一個足夠大和深的模型來表示。
誠然，在提升模型大小和深度的方向上CV和NLP都取得了一定程度的成功。但遺憾的是，風光功率預測、負荷預測、電價預測的體系並不是上述這樣的複雜系統。這些預測任務雖然是複雜的，但複雜的性質卻跟自然語言處理和天氣預測並不一樣。電力預測的複雜並不在於預測量產生過程的複雜，而是在於缺少了資訊的情況下引入的噪聲影響預測精度。當然，大家可能會說即便缺少資料，從時間序列預測的角度確實能夠提升精度。但如果大模型沒有從資料角度解決這件事情，大模型預測所利用的資訊與之前的方法是一樣的，那麼大模型的意義就僅在於模型大了一點深了一點。模型越大一定越好嗎，這個道理顯然不是。大模型意味著更大的資料支撐，也取決於資料集樣本。要是以為任何事情都可以力大磚飛，不去細究背後的過程，最後換來的結果只是模型記住了一切的噪聲，然後過擬合罷了。說到底，電力預測的有限性，還是在資料質量中帶來的難以克服的噪聲上。企圖透過大模型來彌補這個噪聲是不現實的，並不是什麼都可預測，也並不是什麼都能透過更大更深的模型來預測。以一個不恰當的比喻來看，用大模型預測風光、預測電價，就像是給大模型圓周率的前N位，讓它預測後面的資料。它雖然確實可能擅長時間序列預測，但並不是萬能到預測隨機。
除了機理上的分析，從工程的角度而言，大模型意味著大資料的支援。一個7B引數大模型，每個引數以float32方式儲存，大約需要28GB的視訊記憶體空間。一個28GB大小的模型，資料量該有多大合適呢？假設資料量是28GB，即便不劃分訓練集測試集，那麼也只能找到唯一個滿秩解。就好比線性迴歸裡只有一個引數的線性模型擬合一個資料點一樣滑稽。早期做LLM的公司都是或多或少有搜尋引擎或是跟搜尋引擎合作的，海量的資料獲取和管理並不簡單，更何況像電力這樣大部分資料都是非公開難以獲取的了。拋開資料的問題，硬體成本也是一個不菲的經費，從頭訓練一個大模型並不是幾張3090顯示卡能做的。
大模型未來的方向
大模型確實很火，但如果只是像借鑑大模型的大，借鑑它的深度學習架構，最後得到的也只是一個堆起來的transformer架構罷了，並沒有從一個更新的方向去改進電力預測。真正可以下手的方向，我認為還是需要從語言模型入手，借鑑當前LLM發展的優勢，以語言模型作為驅動器來驅動物理過程或計算過程。換句話說，大模型+電力的目標並不應該是提升一點點精度指標類似的事情，而應該著眼於實現更多工作的自動化。就像是NLP和CV的目標並不是要在說話上比人更好聽，也不是要在識別物體上比人更準，更多的是將這些難以用數學規則表示的過程建模為一個可以自動化的過程，讓這些過程不再受人的精力限制。這大概也是我理解的AGI的終極目標吧，即實現充分的自動化，而不是超越於人。
若有不對之處，歡迎探討。