二、已提供的模型

X3D系列 效果均衡、同时官方存在针对硬件加速的版本,但是由于其原理,可能训练较为困难。
同时FAIR的另一个官方库PySlowFast指出,该模型由于大量使用了深度可分离的的3D卷积,而Pytorch的原生3D 卷积在分组大于1的时候会非常的慢,需要Pytorch的一个补丁,具体看:PySlowFast_X3D补丁
SlowFast系列 由于其多分支的原理,本身的扩展能力极强,同时Pytorch Video的官方源码实现方法使得我们可以更为方便的进行扩展。
MViT 效果最好。
R2plus1D
CSN
BYOL
SimCLR

三、可能遇到的坑

3.1 官方文档中提示已经实现了这个layer或其他,但是import却提示has no attribute

只有一部分API会出现这种情况。
首先保证是安装成功了,import pytorchvideo是可以用的。

e.g.1

nonlocal = layers.createnonlocal(dimin=256, dim_inner=128)
AttributeError: module ‘pytorchvideo.layers’ has no attribute ‘create_nonlocal’
解决方法:直接进入到layers中,在__init
.py中添加from .nonlocal_net import create_nonlocal。
其他的类推。