- 分享主题:Time series forcasting - 论文标题:Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks - 论文链接:https://arxiv.org/pdf/1703.07015.pdf - 分享人:唐共勇 |
---|
1. Summary
【必写】,推荐使用 grammarly 检查语法问题,尽量参考论文 introduction 的写作方式。需要写出
- 这篇文章解决了什么问题?
- 作者使用了什么方法(不用太细节)来解决了这个问题?
- 你觉得你需要继续去研究哪些概念才会加深你对这篇文章的理解?
This paper proposes a deep learning framework named Long and Short term Time-series Network(LSTNet) to deal the multivariate time series forecasting. It leverages the strengths of CNN to discover the short-term dependency patterns and the RNN to capture long-term dependencies. For capturing very long-term dependence patterns, this paper designs a novel RNN, namely Skip-RNN which utilizers the periodic property of the time series. As for a sequence without the period, the author designs an attention-RNN to deal with it. Besides, the LSTNet incorporates a traditional autoregressive linear model in parallel to the neural network part, which makes the model more robust. For a better understanding of this paper, maybe we should know every component in the framework (CNN, RNN, Skip-RNN, Att-RNN, AR ). And if we know more about ConvLSTM, it’s easier to read this paper.
2. 你对于论文的思考
需要写出你自己对于论文的思考,例如优缺点,你的takeaways
优点所在:
1.实验部分,本文对于benchmark的选取和数据集的选取是完备的
2.提出的CNN结合RNN的方式来解决短期和长期依赖的这种思想
3.Skip-RNN这种跳跃来解决周期过长的问题
缺点所在:
1.消融实验的设置是不完备的,结果有利于自己的模型(当然这也可以理解)
2.CNN的使用方式是有一定问题的,多元变量之间重要性是等同的,可以考虑加上注意力机制
3.Skip-RNN这种机制只对具有周期性的时间序列会有较好效果,Att-RNN的设计不够。
我认为的可以继续做的点:
1.CNN的使用,多元之间的不同重要性
2.Att-RNN的设计可以更好
3. 其他
【可选】
TPA-LSTM:多元之间的注意力机制
网络架构:
LSTNet.pptx