约束优化问题的KKT条件

原标准约束优化问题

拉格朗日函数:
约束不等式 ,约束等式称为原问题可性，我们定义可行域(feasible region) 假设 为满足约束条件的最佳解，分开两种情况讨论：

1. 最佳解位于 K的内部，称为内部解(interior solution)，这时约束条件是无效的(inactive)， 不起作用，约束优化问题退化为无约束优化问题，因此驻点 满足 且 。
2. 最佳解落在 K的边界，称为边界解(boundary solution)，此时约束条件是有效的(active)，约束不等式变成等式 ，可以证明驻点 发生于，换句话说，存在 使得 ，但这里 的正负号是有其意义的。因为我们希望最小化 ，梯度**(函数f在点x的最陡上升方向)应该指向可行域K的内部(因为最优解最小值是在边界取得的)，但指向K的外部(即的区域，因为约束是小于等于0)，因此 ，称为对偶可行性(dual feasibility)**。

不论是内部解或边界解,恒成立，称为互补松弛性(complementary slackness)。整合上述两种情况，最佳解的必要条件包括拉格朗日函数 的定常方程式、原始可行性、对偶可行性，以及互补松弛性：

• 原问题的可行性:
• 对偶问题的可行性:
• 平稳条件:
• 互补松弛性:

这些条件合称为Karush-Kuhn-Tucker (KKT)条件