concept.png

    如上图所示，在端侧应用MNN，大致可以分为三个阶段：

    • 训练

    在训练框架上，根据训练数据训练出模型的阶段。虽然当前MNN也提供了训练模型的能力，但主要用于端侧训练或模型调优。在数据量较大时，依然建议使用成熟的训练框架，如TensorFlow、PyTorch等。除了自行训练外，也可以直接利用开源的预训练模型。

    • 转换

    将其他训练框架模型转换为MNN模型的阶段。MNN当前支持Tensorflow(Lite)、Caffe和ONNX的模型转换。模型转换工具可以参考编译文档和使用说明。支持转换的算子，可以参考算子列表文档；在遇到不支持的算子时，可以尝试自定义算子，或在Github上给我们提交issue。
    此外，模型打印工具可以用于输出模型结构，辅助调试。
    除模型转换外，MNN也提供了模型量化工具，可以对浮点模型进行量化压缩。

    • 推理

    在端侧加载MNN模型进行推理的阶段。端侧运行库的编译请参考各平台的编译文档：iOS、Android、Linux/macOS/Ubuntu、Windows。我们提供了API接口文档，也详细说明了会话创建、数据输入、执行推理、数据输出相关的接口和参数。demo/exec 下提供了使用示例，如图像识别 demo/exec/pictureRecognition.cpp ，图像实例分割（人像分割）demo/exec/segment.cpp
    此外，测试工具和benchmark工具也可以用于问题定位。