互資訊-協方差

辰令發表於2024-10-11

綜述

《The great multivariate time series classification bake off:
 a review and experimental evaluation of recent algorithmic advances》
 
 應用：
    金融： 多個指標的時間變化來了解股票
    醫療： 多個生理指標的時間演化來診斷疾病
	交通： LSTM演算法構建一個多變數時間序列模型，預測交通流量。透過對包含交通流量、天氣和節假日資訊的資料進行處理

時間序列分類（Time Series Classification, TSC）

單變數TSC（univariate time series classification），即每個例項僅有單個序列和單個類標籤	
多元時間序列分類(MTSC)問題--多變數時序分類
    Multivariate Time Series Classification
	  非同長序列（unequal series）
	       padded time series 填充時間序列
	  同長序列
二分類-binary classification
多分類--multiclass classification

MTSC

MTSC演算法可以基於以下特點分類：
    distance measures；shapelets；histograms over a dictionary；
	interval summarizing；
	emsenble methods 
	deep learning
	
具體
  Distance measures： 動態時間規整（Dynamic Time Warping，DTW）
       Euclidean distance or Dynamic Time-Warping (DTW) for classification
  histograms over a dictionary： 是透過滑動視窗擷取子序列，透過一些方式將其轉換為對應的字母，以此作為樣本的特徵來進行分類。
分類
   distance-based approaches, 
   feature-based approaches, 
   ensemble-based approaches,
   and recently developed deep learning (DL) approaches

時間特性和動態特性

 temporal and dynamic aspects
  spatial  scales  空間尺度
 different types of entropy measures have been proposed in the literature for time series classification.
    近似熵（Approximate Entropy）
    樣本熵（Sample Entropy）
	   樣本熵是對近似熵演算法的改進，也是當前運用比較廣泛的一種熵特徵值計算方法
	斜率熵（Slop Entropy） 
	排列熵（Permutation Entropy）
      提出的一種檢測時間序列隨機性和動力學突變行為的方法，		
    多尺度熵(Multiscale entropy, MSE)
	   多尺度熵（Multiscale entropy, MSE）將樣本熵擴充套件到多個時間尺度，以便在時間尺度不確定時提供額外的觀察視角
        透過多個時間尺度來分析問題將會得到更多資訊
		粗粒化（ Coarse Graining）資料意味著對不同數量的連續點取平均值，以建立不同尺度（或解析度）的訊號
    多尺度樣本熵（Multiscale Sample Entropy）
   
     Eigen-entropy (EE) technique developed by J. Huang
	 cumulative moving window (CMW).
  CMW helps us memorize the information of the past data points
  
資料預處理
  The design of EE − TSS and details of preprocessing of the datasets
   資料型別
      integer scale factors      多尺度熵(Multiscale entropy, MSE)  multiscale_entropy
      non-integer scale factors	
	  
    Multivariate-multiscale-permutation-entropy

稠密多尺度熵

稠密多尺度熵的計算過程包括以下幾個步驟：
   粗化過程（Coarse-graining procedure）：將原始時間序列資料透過插值或取樣方法轉換為不同時間尺度上的序列。
   樣本熵計算：在每個粗化後的序列上計算樣本熵（Sample Entropy），以評估該尺度上的複雜度。
   構建DMSE矩陣：將不同尺度上的樣本熵值組織成一個矩陣，這個矩陣反映了時間序列在不同時間尺度上的複雜性。
   特徵提取：從DMSE矩陣中提取特徵，這些特徵可以用於後續的模式識別或分類任務。

互資訊

 它量化了透過一個隨機變數能夠得到的有關另一個隨機變數的資訊總量
 
離散資料
連續資料--連續資料分箱
continuous-continuous MI estimator
MI between a discrete data set and a continuous (scalar or vector) 
  Jensen-Shannon Divergence(JS散度)是一種用於衡量兩個機率分佈之間差異的指標
  
  
space-time mutual information  
     量子通道容量(Quantum Channel Capacity)

複雜系統

 複雜系統可以認為具有兩個共通的特徵：由大量簡單元素或主體組成；元素間存在著不平凡的關係 （往往是非線性的）
   
 複雜系統的研究要關注資訊理論，以資訊理論作為工具
     分散式計算（distributed computation），分散式計算指的是系統中的主體們在操作和加工資訊
	  資訊儲存（information storage） 、資訊轉移（information transfer） 和資訊修正（information modification）
	    感知----》 儲存-通訊-計算--行為
	  獲取和反饋-計算和分析
 複雜網路
用資訊度量因果
    1+1》2 
	   表現出的現象似乎“超過其各部分的總和”；
	      鳥群似乎不只是鳥的集合，意識似乎不只是神經元之間的電脈衝
		  
	還原論（reductionism 湧現論（emergentism）
	   層級之間可以有自主性：  湧現能力如何受到系統的微觀劃分的變化所影
	   基於多變數系統中的資訊流規律來解決強湧現的“悖論”特性
	顯示了一種極端的因果的出現，我們稱之為“因果解耦”
	    系統各要素之間的相互作用以及它們隨時間共同演變的集體屬性

參考

  https://zhuanlan.zhihu.com/p/423417458
  https://github.com/alberto-ara/Multivariate-multiscale-permutation-entropy
  https://github.com/nikdon/pyEntropy

相關文章