基于EasyPruner对Transformer进行了剪枝,在ViT中部署好的代码链接为:https://gitee.com/An_YQ/SViT。ViT剪枝工具接口封装在开展中。
参数量 | FLOPS | 速度(张/秒) | Top1(%) | Top5(%) | |
---|---|---|---|---|---|
Deit-B | 86.4M | 17.6B | 98.7 | 81.8 | 95.6 |
VTP[1] | 48.0M | 10.0B | 147.1 | 80.7 | 95.0 |
EasyPruner(SViT-B) | 47.0M | 8.4B | 168.3 | 81.2 | 95.6 |
【1】Zhu M, Han K, Tang Y, et al. Visual Transformer Pruning[J]. ArXiv preprint arXiv:2104.08500,
2021.