- https://pytorchvideo.org/docs/tutorial_overview.html
- https://github.com/facebookresearch/pytorchvideo/
一、已提供的预训练模型
| X3D系列 | Video Recognition | | —- | —- | | SlowFast系列 | 为视频分类与动作检测提供了不同的预训练权重 | | R2plus1D | 动作识别模型,主要是一种卷积思想 | | CSN | 视频分类模型,主要是一种卷积思想 | | MViT | Video Recognition |
二、已提供的模型
X3D系列 | 效果均衡、同时官方存在针对硬件加速的版本,但是由于其原理,可能训练较为困难。 同时FAIR的另一个官方库PySlowFast指出,该模型由于大量使用了深度可分离的的3D卷积,而Pytorch的原生3D 卷积在分组大于1的时候会非常的慢,需要Pytorch的一个补丁,具体看:PySlowFast_X3D,补丁。 |
---|---|
SlowFast系列 | 由于其多分支的原理,本身的扩展能力极强,同时Pytorch Video的官方源码实现方法使得我们可以更为方便的进行扩展。 |
MViT | 效果最好。 |
R2plus1D | |
CSN | |
BYOL | |
SimCLR |
三、可能遇到的坑
3.1 官方文档中提示已经实现了这个layer或其他,但是import却提示has no attribute
只有一部分API会出现这种情况。
首先保证是安装成功了,import pytorchvideo是可以用的。
e.g.1
nonlocal = layers.createnonlocal(dimin=256, dim_inner=128)
AttributeError: module ‘pytorchvideo.layers’ has no attribute ‘create_nonlocal’
解决方法:直接进入到layers中,在__init.py中添加from .nonlocal_net import create_nonlocal。
其他的类推。