通过微扰分析求解等式约束优化问题

对于无约束的光滑函数来说，求极值的通用方法自然是求导（梯度）并让导数等于零了。那带等式约束的极值问题呢？很多读者应该也不陌生，标准方法是拉格朗日乘子法。然而，拉格朗日乘子总给人一种纯粹的代数技巧的感觉，没有求无约束极值时那种微扰分析的直观。

这篇文章我们就来尝试一下：如果将无约束极值的微扰思想贯彻到约束优化中，会得到什么结果？

驻点条件

首先我们来回顾一下，为什么梯度等于零就是无约束极值的必要条件（驻点条件）。考虑目标函数$f(\boldsymbol{x})$，其中$\boldsymbol{x}\in\mathbb{R}^d$，我们想要求$f(\boldsymbol{x})$的最小值点，我们在$\boldsymbol{x}$附近做一阶展开
\begin{equation}f(\boldsymbol{x} + \delta\boldsymbol{x}) = f(\boldsymbol{x}) + \delta\boldsymbol{x}^{\top} \nabla_{\boldsymbol{x}} f(\boldsymbol{x})\end{equation}