基于EasyPruner对Transformer进行了剪枝,在ViT中部署好的代码链接为:https://gitee.com/An_YQ/SViT。ViT剪枝工具接口封装在开展中。

    参数量 FLOPS 速度(张/秒) Top1(%) Top5(%)
    Deit-B 86.4M 17.6B 98.7 81.8 95.6
    VTP[1] 48.0M 10.0B 147.1 80.7 95.0
    EasyPruner(SViT-B) 47.0M 8.4B 168.3 81.2 95.6

    【1】Zhu M, Han K, Tang Y, et al. Visual Transformer Pruning[J]. ArXiv preprint arXiv:2104.08500,
    2021.