- 分享主题:Time series forcasting
- 论文标题:Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks
- 论文链接:https://arxiv.org/pdf/2005.11650.pdf
- 分享人:唐共勇

1. Summary

【必写】,推荐使用 grammarly 检查语法问题,尽量参考论文 introduction 的写作方式。需要写出

  1. 这篇文章解决了什么问题?
  2. 作者使用了什么方法(不用太细节)来解决了这个问题?
  3. 你觉得你需要继续去研究哪些概念才会加深你对这篇文章的理解?

Based on LSTNet and TPA-LSTM, this paper makes further work on multivariate time series prediction. The two methods mentioned above can not clearly model the dependency between a pair of variables. With the rise of graph neural network, it seems that there is a new solution. Before introducing the proposed method, firstly discuss the two challenges proposed in the paper: 1 For time series, the graph structure is uncertain; 2. In the training process, graph structure and graph neural network need to be optimized at the same time.
Next, we introduce the scheme proposed in this paper. MTGNN, namely multivariate time series graph neural network, is mainly composed of three modules: graph learning module, graph convolution module, and sequential convolution module. The graph learning module can adaptively extract the sparse graph adjacency matrix from the data, thus solving the first challenge mentioned above. In addition, graph learning module and graph convolution module are parameterized, and the two modules are optimized simultaneously through backward propagation. In order to better understand this article, we need to have some basic understanding of graph neural network.

2. 你对于论文的思考

需要写出你自己对于论文的思考,例如优缺点,你的takeaways

优点:
1.将图神经网络引入时间序列预测领域
2.图学习层能够自适应的学习出图的稀疏邻接矩阵,也就是说可以来处理一些没有显式的图结构的数据
缺点:
1.所建的图基于节点之间的关系是单向的假设,无法解决互相依赖的情况

3. 其他

【可选】

对图神经网络的了解较少,部分内容不能完全理解,所以做了部分笔记,方便后续查看
论文中整体的设计框架
image.png
image.png

图学习层:自适应的构建图的稀疏邻接矩阵来捕获时序数据中变量之间的关系

在这部分,作者假设两个变量之间的关系是单向的,也就是说是有向无环图,所以学习到的邻接矩阵是非对称的。image.png
E1,E2是初始化节点输入,Θ1, Θ2 是模型的参数,α是激活函数的饱和率,argtopk()表示选择距离节点最近的k个节点,返回值为向量下标。第三个公式在计算一对节点之间的关系,后面的for循环让邻接矩阵变得稀疏。

图卷积层:整合节点与其邻居之间的信息,从而对依赖关系建模

图卷积层由两个混合跳跃传播层组成,分别出来节点的流入和流出信息。两个混合跳跃传播层的输出相加得到节点的净流入信息。
image.png
混合跳跃层包括两个步骤:信息传播、信息选择。水平方向传播,垂直方向选择
信息传播:image.png
信息选择:image.png

时间卷积层:使用多个标准的一维膨胀卷积核抽取高维的时序特征

该部分由两个dilated inception 层组成,其中一个后面接tanh激活,一个接sigmod激活。
image.png
dilated 膨胀(空洞)卷积,引入空洞,不增加参数的同时增大感受野
inception:多个不同的卷积,增加网络的宽度