concept.png

    如上图所示,在端侧应用MNN,大致可以分为三个阶段:

    • 训练

    在训练框架上,根据训练数据训练出模型的阶段。虽然当前MNN也提供了训练模型的能力,但主要用于端侧训练或模型调优。在数据量较大时,依然建议使用成熟的训练框架,如TensorFlow、PyTorch等。除了自行训练外,也可以直接利用开源的预训练模型。

    • 转换

    将其他训练框架模型转换为MNN模型的阶段。MNN当前支持Tensorflow(Lite)、Caffe和ONNX的模型转换。模型转换工具可以参考编译文档使用说明。支持转换的算子,可以参考算子列表文档;在遇到不支持的算子时,可以尝试自定义算子,或在Github上给我们提交issue
    此外,模型打印工具可以用于输出模型结构,辅助调试。
    除模型转换外,MNN也提供了模型量化工具,可以对浮点模型进行量化压缩。

    • 推理

    在端侧加载MNN模型进行推理的阶段。端侧运行库的编译请参考各平台的编译文档:iOSAndroidLinux/macOS/UbuntuWindows。我们提供了API接口文档,也详细说明了会话创建数据输入执行推理数据输出相关的接口和参数。demo/exec 下提供了使用示例,如图像识别 demo/exec/pictureRecognition.cpp ,图像实例分割(人像分割)demo/exec/segment.cpp
    此外,测试工具benchmark工具也可以用于问题定位。