我们如何找到全局最小值

有一种简单的方法可以找到全局最小值:

  1. 查找所有的局部最小值
  2. 取最小的一个值

另外一种简单的方法就是研究我们最想找出最小值的函数,如果这个函数是凸函数,那么我们可以确定局部最小值是全局最小值。

什么是凸集

在欧几里得空间中,凸集是这样一个区域:对于该区域内的每个点,两个点连接后的线段上的每个点都在区域内。
image.png
像图中的圆形和三角形,是满足题意的,而五角星连接的区域内的点并不总是在区域内的,故五角星不是。

我们怎么知道一个函数是不是凸函数?

如果要检查某个函数是否为凸函数,一种简单的方法是使用我们的老朋友Hessian矩阵。 但是,这次不是像上一篇文章那样检查它是否为正定,而是需要检查它是否为正半定。