MNN中，Interpreter一共提供了三个接口用于运行Session，但一般来说，简易运行就足够满足绝对部分场景。

简易运行

  1. /**
  2.  * @brief run session.
  3.  * @param session   given session.
  4.  * @return result of running.
  5.  */
  6. ErrorCode runSession(Session* session) const;

传入事先创建好的Session即可。

函数耗时并不总是等于推理耗时 —— 在CPU下，函数耗时即推理耗时；在其他后端下，函数可能不会同步等待推理完成，例如GPU下，函数耗时为GPU指令提交耗时。

回调运行

  1. typedef std::function<bool(const std::vector<Tensor*>&, 
  2.                            const std::string& /*opName*/)> TensorCallBack;
  4. /*
  5.  * @brief run session.
  6.  * @param session   given session.
  7.  * @param before    callback before each op. return true to run the op; return false to skip the op.
  8.  * @param after     callback after each op. return true to continue running; return false to interrupt the session.
  9.  * @param sync      synchronously wait for finish of execution or not.
  10.  * @return result of running.
  11.  */
  12. ErrorCode runSessionWithCallBack(const Session* session, 
  13.                                  const TensorCallBack& before, 
  14.                                  const TensorCallBack& end,
  15.                                  bool sync = false) const;

相比于简易运行，回调运行额外提供了：

  • 每一个op执行前的回调，可以用于跳过Op执行；
  • 每一个op执行后的回调，可以用于中断整个推理；
  • 同步等待选项，默认关闭；开启时，所有后端均会等待推理完成，即函数耗时等于推理耗时；


计算量评估

  1. class MNN_PUBLIC OperatorInfo {
  2.     struct Info;
  4. public:
  5.     /** Operator's name*/
  6.     const std::string& name() const;
  8.     /** Operator's type*/
  9.     const std::string& type() const;
  11.     /** Operator's flops, in M*/
  12.     float flops() const;
  14. protected:
  15.     OperatorInfo();
  16.     ~OperatorInfo();
  17.     Info* mContent;
  18. };
  19. typedef std::function<bool(const std::vector<Tensor*>&, const OperatorInfo*)> TensorCallBackWithInfo;
  21. /*
  22.  * @brief run session.
  23.  * @param session   given session.
  24.  * @param before    callback before each op. return true to run the op; return false to skip the op.
  25.  * @param after     callback after each op. return true to continue running; return false to interrupt the session.
  26.  * @param sync      synchronously wait for finish of execution or not.
  27.  * @return result of running.
  28.  */
  29. ErrorCode runSessionWithCallBackInfo(const Session* session, 
  30.                                      const TensorCallBackWithInfo& before,
  31.                                      const TensorCallBackWithInfo& end, 
  32.                                      bool sync = false) const;

一般而言，只有在评估计算量时才会用到的接口。相比于回调运行，在回调时，增加了Op类型和计算量信息。