导数

导数的定义

定义

左导数与右导数

左导数(从左边趋向于0)

右导数(从右边趋向于0)

可导函数

导数存在条件：左右导数均存在且相等
例子

• 绝对值函数,在x=0处左右导数均存在但不等，故x=0处不可导
• ReLU函数

导数的几何意义和物理意义

几何意义：日函数某个的切线斜率
物理意义：如瞬时速度

导数的计算

基本函数求导公式

四则运算

复合函数求导

• 两个重要极限

注：三角函数在机器学习中应用较少

高阶导数

在机器学习中的用途

• 求极值
• 神经网络激活函数

偏导数

高阶偏导数

梯度