convex review
Lecture 1: Unconstrained Optimization for Differentiable Functions 几个无限制可微问题的优化： 对于一般的函数求极值问题： 一个变量的函数可以求导，极值一般在导函数的零点。 如：求极小值$f(x)=x^2-1$ 多个变量的函数可以求偏导，极值一般在偏导函数的零点。 如：求极值$f(x,y)=x^3-y^3+3x^2+3y^2-9x$ 对得到的四个驻点进行的二阶导数检验（Hessian 判别法） $$|H|=f_{xx}f_{yy}-(f_{xy})^2$$令$a=f_{xx}$ 若 ∣H∣>0且 a>0 → 局部极小值（Ext. small） 若 ∣H∣>0 且 a<0 → 局部极大值（Ext. large） 若 ∣H∣<0 → 鞍点（uncertain，即非极值点） 若 ∣H∣=0 → 无法判断（需要更高阶检验） 梯度下降求极大/极小值： 对一个复杂的函数求极值是一件困难的事，梯度下降可以使它变得简单。 $$ \begin{aligned} f(x) &\approx f(x_0)+(x-x_0)f'(x_0) \\ f(x) &= f(x_0)-\Delta xf'(x_0) \end{aligned} $$$\implies x=x_0-\Delta x$ 设置一个学习率a,或者叫步长， $\Delta x=a f'(x_0)$ 然后就是一个迭代的过程： $x_{k+1}=x_k-\Delta x_k$ $f'(x_k)=0$时到达极值点。 牛顿法-I解决等式限制的优化： 思想也是迭代。 如：$e^x-2x^2+3x-4=0$ 迭代$(x_n,f(x_n))$ ${y=f'(x_n)(x-x_n)+f(x_n)} \xrightarrow {\text{y → 0}}{x=x_n-\frac{f(x_n)}{f'(x_n)}}$ ...