论文原文:https://arxiv.org/pdf/1804.06055.pdf pytorch 实现:https://hub.fastgit.org/huguyuehuhu/HCN-pytorch

完全用CNN做的

网络结构

image.png

关节点数据形状应该为:N, C, T, V, M; 其中的 transpose 是为了将会 channel 维度和关节点维度交换 => N, V, T, C, M(感觉参数怪怪的???)

  • 将关节点维度当做 channel 维度进行卷积,从而学习到更加全局人体关节点依赖特征
  • 时序的处理:kernel size 的选取

(但是,貌似这种方式,虽然理论上能够学习到全局连接,但是训练出来的效果并不是很好;将 st-gcn 中的 gcn 采用这种方式来进行关节点信息的聚合,还比不上原来局部连接关节点信息聚合方式!目前 SOTA 的方法都没有采用这种方式来进行关节点信息聚合,都是在局部连接的基础上进行改进 => 人体结构本身对动作识别有意义重大?)

多人处理

image.png

任务延伸

image.png