- 分享主题：Time series forcasting
- 论文标题：Temporal Pattern Attention for Multivariate Time Series Forecasting
- 论文链接：https://arxiv.org/pdf/1809.04206.pdf
- 分享人：唐共勇

1. Summary

【必写】，推荐使用 grammarly 检查语法问题，尽量参考论文 introduction 的写作方式。需要写出

  1. 这篇文章解决了什么问题？
  2. 作者使用了什么方法（不用太细节）来解决了这个问题？
  3. 你觉得你需要继续去研究哪些概念才会加深你对这篇文章的理解？

This paper proposes a novel temporal pattern attention mechanism. The temporal pattern means any time-invariant pattern across multiple time steps. The typical attention mechanism identifies the time steps relevant to the prediction and extracts the information from these time steps. Such as LSTNet, while TPA-LSTM, instead of selecting the relevant time steps as in the typical attention mechanism, the machine learns to select the relevant time series. In another word, TPA selects the relevant variables as opposed to the relevant time steps. The original multivariable time series are processed by RNN, and a group of hidden states are output at each time. These states are divided into the last time and the previous time, and the implicit state matrix of the previous time is processed with the help of CNN.

2. 你对于论文的思考

需要写出你自己对于论文的思考，例如优缺点，你的takeaways

TPA算法的主要思想

  1. 首先传入大量的时间序列，LSTM通过大量的时间序列获得一个隐状态矩阵H。行向量代表单个变量在所有时间步下状态，即同一变量的所有时间步构成的向量。列向量代表单个时间步状态，即同一时间步下的所有变量构成的向量。
  2. 对于隐状态矩阵H的每行(第i行)，使用k个CNN滤波器提取特征，产生维度为n*k的HC矩阵。j表示第j个滤波器。

image.png

  1. 对于要预测的ht，将其与HC矩阵的每行作用，从而对每行产生一个权重ai，这个权重代表了HC矩阵每行对要预测的ht的作用强度，即每个时间序列对ht的影响强弱。

image.png
image.png

  1. 将每行进行加权求和得到vt，代表了所有行对ht的综合作用，即时间方面的作用，也即本文提出的时间注意力。

image.png

  1. 在进行对ht的预测时，在原来的公式中添加所有时间序列对ht的影响，即：

image.png
优点：
1.解决了LSTNet-Skip只对周期性时间序列表现较好的问题
2.解决了多变量之间的依赖关系
缺点：
1.论文中提出解决周期的方式是获取之前所有时间步的隐状态，而在实际中，这种操作不切实际，数据量太大
2.如果采用之前部分时间，那么这个部分的长度该怎么确定
3.对于变量之间的依赖关系的捕捉是不明确的

3. 其他

【可选】

基于LSTNet与TPA-LSTM，随着图神经网络兴起，MTGNN
网络架构：
image.png