• 分享主题：Transfer Learning, Domain Adaptation, Time Series, Explicit Feature Distribution Alignment, Adversarial
  • 论文标题：DATSING: Data Augmented Time Series Forecasting with Adversarial Domain Adaptation
  • 论文链接：https://dl.acm.org/doi/pdf/10.1145/3340531.3412155

    1.Summary

    This is a paper about using transfer learning to improve the prediction effect of time series. Because the distribution of time series will change with time, time series prediction is a difficult problem. Moreover, in the case of insufficient time series data, prediction will become more difficult. In order to solve these problems, this paper proposes a model called DATSING. First collect some other time series data, and then find out the time series similar to the time series to be predicted. These data can help expand the dataset and alleviate the problem of insufficient data. Then transfer learning that using adversarial method can learn the invariant features of the domain, so as to alleviate the problem of over fitting and strengthen the robustness of the model. In order to deepen my understanding of this paper, I can read some papers about using adversarial method to realize transfer learning.

    2.你对于论文的思考

    这是一篇关于利用以前学习来提高时间序列预测效果的文章，传统的方式是直接利用可用的数据来训练模型，然后进行预测，而对于数据不足的情况，或者随着时间的推移，时间序列变化比较大的情况，这些传统方法就不太好用了，于是本文收集了许多别的时间序列，找出与需要预测的时间序列相似的时间序列，这些相似的时间序列就可以帮助扩充数据集，而那些不相似的时间序列，可以利用迁移学习的方式来帮助缓解过拟合的问题，减轻时间序列分布变化带来的影响。

    3. 其他

    3.1 要解决的问题

    解决时间序列预测中数据不足以及时间序列分布改变的问题。

    3.2 DATSING模型

    训练流程如下：

    3.2.1 Pre-training with general domain samples

    general domain samples是额外收集的那些时间序列，利用这些事件序列预训练模型，本文用的模型是N-BEATS。
    20220413002441.png

    N-BEATS模型（ICLR 2020）

    image.png

    3.2.2 Similarity-based data augmentation

    训练与需要预测的时间序列相似的时间序列，也就是增强数据，利用soft-DTW来衡量两段时间序列之间的距离。
    image.png

    DTW

    image.png
    image.png
    状态转移方程：
    image.png

    soft-DTW（JMLR 2017）

    状态转移方程：
    image.png

    3.2.3 Domain adversarial transfer learning

    image.png
    对隐藏层进行域对抗：
    image.pngimage.png
    利用augmented data进行fine-tuning：
    image.png

    4 实验

    （1）下图中左边是进行域对抗的结果，右边是不进行域对抗的结果，可以看出，左边的两个域特征重合程度高，右边两个域则是比较分离，由此看出，进行域对抗从而使得特征对齐的效果比较好。
    image.png
    （2）对比试验
    数据集：
    general domain：M4 competition dataset
    target domain：tourism forecasting competition dataset
    image.png
    image.png