安装

MNN框架压缩工具是基于离线量化工具和MNN转换工具来实现压缩功能的,这两个工具均提供c++版本和python版本,安装方式如下:

c++工具安装

需要源码编译MNN转换工具 MNNConvert 和量化工具 quantized.out

  1. cd build
  2. cmake .. -DMNN_BUILD_CONVERTER=ON -DMNN_BUILD_QUANTOOLS=ON
  3. make -j 8

python工具安装

  1. # 外部版本MNN,外网安装方式
  2. pip install MNN
  3. # 外部版本MNN,集团内安装方式
  4. pip install --index-url https://pypi.antfin-inc.com/simple/ -U MNN
  5. # 内部版本MNN
  6. pip install --index-url https://pypi.antfin-inc.com/simple/ -U MNN-Internal

安装之后,命令行中将有如下工具:

  1. mnn:显示MNN命令行工具
  2. mnnconvert:转换器 MNNConvert 的预编译工具,功能同 MNNConvert
  3. mnnquant:量化工具 quantized.out 的预编译工具,功能同 quantized.out

使用python预编译工具可以省去c++编译的麻烦,MNN python api的使用文档在:https://www.yuque.com/mnn/cn/usage_in_python