Linux / macOS / Ubuntu

首先完成编译：

  1. # 在MNN根目录下
  2. mkdir build
  3. cd build
  4. cmake .. -DMNN_BUILD_BENCHMARK=true && make -j4

然后执行如下命令:

  1. ./benchmark.out models_folder loop_count warm_up_count forwardtype

选项如下:

  • models_folder: benchmark models文件夹，benchmark models在此。
  • loop_count: 可选，默认是10
  • warm_up_count: 预热次数
  • forwardtype: 可选，默认是0，即CPU，forwardtype有0->CPU，1->Metal，3->OpenCL，6->OpenGL，7->Vulkan

Android

在benchmark目录下直接执行脚本bench_android.sh，默认编译armv7，加参数-64编译armv8，参数-p将benchmarkModels push到机器上。
脚本执行完成在benchmark目录下得到测试结果benchmark.txt

iOS

  1. 先准备模型文件，进入tools/script目录下执行脚本get_model.sh；
  2. 打开demo/iOS目录下的demo工程，点击benchmark；可通过底部工具栏切换模型、推理类型、线程数。

基于表达式构建模型的Benchmark

  1. cd /path/to/MNN && mkdir build && cd build
  2. cmake -DMNN_BUILD_BENCHMARK=true .. make -j8

运行以下命令查看帮助：

  1.  ./benchmarkExprModels.out help

示例：

  1.  ./benchmarkExprModels.out MobileNetV1_100_1.0_224 10 0 4 
  2.  ./benchmarkExprModels.out MobileNetV2_100 10 0 4 
  3.  ./benchmarkExprModels.out ResNet_100_18 10 0 4 
  4.  ./benchmarkExprModels.out GoogLeNet_100 10 0 4 
  5.  ./benchmarkExprModels.out SqueezeNet_100 10 0 4 
  6.  ./benchmarkExprModels.out ShuffleNet_100_4 10 0 4

相应模型的paper链接附在头文件里，如benchmark/exprModels/MobileNetExpr.hpp