5.4 模型性能评测工具 Model Benchmark

概述

MNN 工作台提供了业界最领先（应该也是唯一的）真机运行细粒度评测能力，可以支持秒级推送模型到手机上运行模型得到结果。

操作流程

1. 打开 MNN 工作台主界面，如 图1 所示。

图例 1. MNN 工作台主界面

1. 点击 Create a new project，进入工程选择界面，如 图 2 所示。选择侧边栏的 Tools，查看所有 MNN 工作台支持的模型工具。

图例 2. MNN 工作台模型工具集界面

1. 点击 Model Benchmark，进入模型评测工具界面。初次使用可能需要一定的初始化时间（需联网），请耐心等待。

其中必填的运行配置信息如下：

• 模型（文件选择器选择）
• InputTensor 相关的信息（在 Input Setting 中填写），几个 InputTensor 就点击 + 号创建几个相关信息
  • 信息中包含 InputTensor 的名称以及 Shape（多维度的 shape 通过英文逗号分割），其中名称可以通过模型可视化工具查看，具体见《5.1 模型可视化工具 Model Visualizer》

图例 3. MNN 工作台模型评测界面

1. 点击上方的扫码按钮，在弹出的界面中选择装有 EasyMNN SDK 的手机设备应用进行扫码链接配对（使用 EasyMNN SDK 请参考《2.3 MNN 工作台 SDK EasyMNN 使用手册》）
   
   图例 5. MNN 工作台模型评测扫码配对

2. 链接配对完成后，点击上方的运行按钮，稍等片刻，模型会推送到手机上按照配置信息进行实际运行，结果如下图所示：

• 其中黄色部分为平均整体推理耗时，表格内部为每个 OP 的耗时。

图例 6. MNN 工作台模型评测结果

日志查看

MNN 工作台评测工具提供了日志查看工具，如果在模型评测过程中发生错误，可以通过评测工具界面右上角的日志按钮，在展开的侧边栏，通过查看日志定位问题。

问题排查

如果出现推送卡在进度 3/4 处，或者其他进度推送问题，重启 MNN 工作台和手机进行配对即可。