L1 Introduction

L1 Introduction

数值优化
最小二乘法和线性规划
凸优化
例子
课程目标和话题
非线性优化
凸优化的简要历史

数值优化

数值优化是一个宽泛的定义，即使用相同的优化变量，在多个约束函数的限制下，最小化目标函数。

举一些数值优化的描述模型的应用
资产配置，变量是在不同账号中的投资，限制是预算等，目标是使风险最小或者收益最大。
电路元器件大小设计，变量是电子元件大小，限制是制造工艺水平、时间要求、最大面积，目标是使运算能力最大化。
数据拟合，变量是模型参数，限制比较模糊如参数规模等，目标是预测误差。

优化问题的解决
优化问题面临的难题

难以解决
方法有缺点，比如计算时间长、不保证有解

一些可解决的问题

最小二乘法问题
线性规划问题
凸优化问题

最小二乘法问题

通用表达形式如下，A是k行n列的矩阵，x和b是n行的向量。看起来只有目标函数。

联系：Ax是预测值，b是y值，均方误差方程符合该形式。

该问题有解析解法。
也有高效可靠的算法和软件。
是一种成熟的可解决的问题。

线性规划

线性规划的定义形式，更符合我们之前在优化问题时提出的表示形式，比前面最小二乘法有了约束函数。
它的约束函数是线性的，故称线性规划。m表示约束函数的数量，n表示优化变量的数量。

联系：约束条件就很像线性模型Ax=y，但是我没能联系出和优化目标的关系

Convex optimization - 图6

凸优化问题

凸优化问题可以视为线性规划问题的衍生，约束条件由线性发展为了非线性。也可以视为包含了线性规划问题和最小二乘法问题。
这种非线性关系，可以用如下的列表中的式子表述。

下面通过一个应用来理解凸优化问题。
m盏小灯照在n个不同角度的镜子上，镜子反射的亮度取决于接收的小灯的功率和反射亮度，反射亮度由举例和照射角度决定。
问题是在限定功率下取得要求的照明亮度。

如何解决这个优化问题？
第一种方法，你可以将所有灯泡设为一个恒定功率，然后逐一尝试，绘制图表选择最符合要求的一个功率。
第二种方法，使用最小二乘法。
将每块镜子的实际亮度和期望亮度的差的平方的和最小化。
将不符合标准的值取舍。
第三种方法，使用加权后的最小二乘法。
类似于正则化，避免使某些参数过大。
第四种方法，使用线性规划。
具体的我也不懂。