遷移學習時間序列分類

題目：

Transfer learning for time series classification

作者：

Hassan Ismail Fawaz, Germain Forestier, Jonathan Weber, Lhassane Idoumghar, Pierre-Alain Muller

來源：

Accepted at IEEE International Conference on Big Data 2018

Machine Learning (cs.LG)

Submitted on 5 Nov 2018

文件連結：

arXiv:1811.01533

程式碼連結：

摘要

深度神經網路的遷移學習是先在源資料集上訓練基網路，然後將學習到的特徵(網路的權重)轉移到目標資料集上訓練的第二個網路的過程。在影像識別和目標定位等計算機視覺任務中，該方法提高了深度神經網路的泛化能力。除了這些應用，深度卷積神經網路(CNNs)最近在時間序列分類(TSC)領域也得到了廣泛的應用。然而，與影像識別問題不同的是，在TSC任務中，遷移學習技術還沒有得到深入的研究。這是令人驚訝的，因為如果從預先訓練的神經網路對模型進行微調，而不是從零開始訓練，TSC的深度學習模型的準確性可能會得到提高。本文透過研究如何在TSC任務中傳輸深度CNNs來填補這一空白。為了評估轉移學習的潛力，我們使用UCR存檔進行了廣泛的實驗，UCR存檔是最大的公開可用的TSC基準測試，包含85個資料集。對於存檔中的每個資料集，我們預先訓練一個模型，然後在其他資料集上對其進行微調，得到7140個不同的深度神經網路。這些實驗表明，遷移學習可以根據用於遷移的資料集改進或降低模型的預測。因此，為了預測給定目標資料集的最佳源資料集，我們提出了一種基於動態時間扭曲的資料集相似性度量方法。我們描述了我們的方法如何引導轉換來選擇最佳的源資料集，從而提高85個資料集中71個資料集的準確性。

英文原文

Transfer learning for deep neural networks is the process of first training a base network on a source dataset, and then transferring the learned features (the network's weights) to a second network to be trained on a target dataset. This idea has been shown to improve deep neural network's generalization capabilities in many computer vision tasks such as image recognition and object localization. Apart from these applications, deep Convolutional Neural Networks (CNNs) have also recently gained popularity in the Time Series Classification (TSC) community. However, unlike for image recognition problems, transfer learning techniques have not yet been investigated thoroughly for the TSC task. This is surprising as the accuracy of deep learning models for TSC could potentially be improved if the model is fine-tuned from a pre-trained neural network instead of training it from scratch. In this paper, we fill this gap by investigating how to transfer deep CNNs for the TSC task. To evaluate the potential of transfer learning, we performed extensive experiments using the UCR archive which is the largest publicly available TSC benchmark containing 85 datasets. For each dataset in the archive, we pre-trained a model and then fine-tuned it on the other datasets resulting in 7140 different deep neural networks. These experiments revealed that transfer learning can improve or degrade the model's predictions depending on the dataset used for transfer. Therefore, in an effort to predict the best source dataset for a given target dataset, we propose a new method relying on Dynamic Time Warping to measure inter-datasets similarities. We describe how our method can guide the transfer to choose the best source dataset leading to an improvement in accuracy on 71 out of 85 datasets.

要點

我們的研究結果應該促使大資料從業者在對時間序列進行分類時，不再從零開始訓練模型，而是對預先訓練好的模型進行微調。特別是，如果設計得當，CNNs可以適應不同長度的時間序列資料集。在我們未來的工作中，我們的目標是再次減少深度神經網路的過擬合現象，透過使用加權DTW重心平均法[48]生成合成資料，因為後者的距離在指導一個複雜的深度學習工具，如轉移學習方面給出了令人鼓舞的結果。最後，隨著大資料儲存庫變得越來越頻繁，利用現有的與感興趣的目標資料集類似但並不完全相同的源資料集，使得轉移學習方法成為一種吸引人的方法。

圖1:有無以電器為源，OSULeaf為目標資料集的轉移學習方法的模型損失演化(訓練和測試)。(彩色效果最佳)。