SigmoidtanhHard tanhSoft signReLU (rectified linear unit)Leaky/Parametric ReLU Sigmoid 计算公式 图示 tanh 计算公式 图示 Hard tanh 计算公式 图示 Soft sign 计算公式 图示 ReLU (rectified linear unit) 计算公式 图示 Leaky/Parametric ReLU 计算公式 图示