- 分享主题：Time series forcasting
- 论文标题：A Memory-Network Based Solution for Multivariate Time-Series Forecasting
- 论文链接：https://arxiv.org/pdf/1809.02105.pdf
- 分享人：唐共勇

1. Summary

【必写】，推荐使用 grammarly 检查语法问题，尽量参考论文 introduction 的写作方式。需要写出

  1. 这篇文章解决了什么问题？
  2. 作者使用了什么方法（不用太细节）来解决了这个问题？
  3. 你觉得你需要继续去研究哪些概念才会加深你对这篇文章的理解？

MTNet, a memory time series network, is a network for time series prediction inspired by Memory network. This paper is improved on the basis of LSTNet. Aiming at the situation that the period parameter P in skip-RNN component in LSTNet needs to be manually selected, and the effect fluctuates when the period of time series fluctuates, a model including memory network is proposed. The model consists of a memory component, three encoders, and an autoregressive component. The memory component is responsible for storing long-term historical data, and the encoder is used to convert the input data and memory data into their feature representation. The cleverness of the model is that it calculates an attention weight for historical data, that is, memory data. This also greatly improves the interpretability of the prediction results.

2. 你对于论文的思考

需要写出你自己对于论文的思考，例如优缺点，你的takeaways

优点：
1.引入了记忆网络，对历史序列的权重的获取，权重越大，表示之后的走向会与该历史片段越接近。
2.可解释性，论文通过对attention机制的可视化，解释其有效性，可以看到和最近时间段越接近的历史片段，其权重越大
3.单元多元都适用
缺点：
1.需要大量的内存来存储历史数据
2.无法预测在历史中尚未出现的变化
3.在历史中有大量相似片段时，预测不准确

3. 其他

【可选】

image.png

Encoder

编码器部分基本等同于简化的LSTNet，对于一条时间序列先在时间维度上做多个卷积，然后在做attention，得到的结果输入给GRU网络。

整体算法流程

1，将数据分为长期历史数据{Xi} = X_1, · · · ,Xn和最近的历史数据_Q，两者没有重合部分。
2，X__i通过Encoder__m得到m__i；Q通过Encoder__in得到u
image.png
3，将m__i和u做内积，然后通过softmax归一化得到p__i
image.png
4，X__i再通过Encoder__c得到c__i，c__i和p__i相乘得到o__i
image.png
image.png
5，把所有的o__i和u拼接后通过W矩阵转化，得到预测
image.png
6，将神经网络预测和自回归预测结合得到最终预测