# 几何投影、拉格朗日乘子与 KKT 约束优化

> source: 讲义/数学与算法/03-概率与高等数学/18-约束优化拉格朗日与KKT.md

本章将正交投影、约束曲面的法向量、等式约束的拉格朗日乘子、以及不等式约束下的 KKT 条件串为一体。共同的几何核心是：**在最优点，目标函数的下降方向不能落在可行方向里**。

## 1. 内积与正交投影

对于非零向量 $a\in\mathbb R^n$ 和任意 $x\in\mathbb R^n$，将 $x$ 分解为平行于 $a$ 的部分和与之垂直的部分：

$$x=p+r,\qquad p\parallel a,\qquad a^\mathsf T r=0.$$

设 $p=c\,a$，则 $a^\mathsf T(x-ca)=0$，由此

$$c=\frac{a^\mathsf T x}{a^\mathsf T a},\qquad
\boxed{p=\frac{aa^\mathsf T}{a^\mathsf T a}\,x.}$$

矩阵 $P=aa^\mathsf T/(a^\mathsf T a)$ 是投影到 $\operatorname{span}\{a\}$ 的正交投影矩阵：

$$P^2=P,\qquad P^\mathsf T=P.$$

它的秩为 $1$，当 $a$ 已经是单位向量时简化为 $P=aa^\mathsf T$。

推广到列满秩矩阵 $A\in\mathbb R^{n\times k}$，投影到 $\operatorname{col}(A)$ 的矩阵是

$$P_A=A(A^\mathsf TA)^{-1}A^\mathsf T.$$

如果 $A$ 非列满秩，则使用 Moore–Penrose 伪逆 $AA^+$。

## 2. 约束曲面上的切向与法向

对等式约束 $c(x)=0$，在正则点 $\nabla c(x)\ne0$，所有可行的切向微小位移 $h$ 满足

$$\nabla c(x)^\mathsf T h=0.$$

因此梯度 $\nabla c$ 是约束曲面的法向量。若 $f$ 在约束曲面上取局部极值，沿切向的方向导数必须为 $0$：

$$\nabla f(x)^\mathsf T h=0 \quad\text{对所有可行切向 }h.$$

于是 $\nabla f$ 也垂直于切空间；当只有一个独立等式约束时，

$$\nabla f(x)=\lambda\nabla c(x)$$

（乘子正负号取决于 Lagrangian 的定义）。这就是拉格朗日乘子法的几何推导。

## 3. 等式约束示例：圆周上最小化线性函数

考虑

$$
\min_{x,y}(x+y),\qquad x^2+y^2=1.
$$

取

$$\mathcal L(x,y,\lambda)=x+y+\lambda(x^2+y^2-1).$$

驻值方程：

$$
1+2\lambda x=0,\qquad
1+2\lambda y=0,\qquad
x^2+y^2=1.
$$

前两式得 $x=y$；代回约束得到 $x=y=\pm1/\sqrt2$。比较目标值：

$$
f(1/\sqrt2,1/\sqrt2)=\sqrt2,\qquad
f(-1/\sqrt2,-1/\sqrt2)=-\sqrt2.
$$

故最小点和最小值分别为

$$
\boxed{(x^*,y^*)=(-1/\sqrt2,-1/\sqrt2),\quad f_{\min}=-\sqrt2.}
$$

可以直接由 Cauchy–Schwarz 不等式 $x+y\ge-\sqrt{2(x^2+y^2)}=-\sqrt2$ 验证最优性。

## 4. 从拉格朗日乘子到 KKT

考虑可微的约束优化问题

$$
\min_x f(x)\quad\text{使得}\quad
g_i(x)\le0,\quad h_j(x)=0.
$$

采用

$$
\mathcal L(x,\lambda,\nu)
=f(x)+\sum_{i=1}^m\lambda_i g_i(x)+\sum_{j=1}^p\nu_j h_j(x).
$$

在满足合适约束资格条件（如 LICQ 或 Slater 条件适用的凸优化场景）时，局部最优点满足 KKT 必要条件：

1. **驻值（stationarity）**

$$
\nabla f(x^*)+\sum_i\lambda_i\nabla g_i(x^*)+
\sum_j\nu_j\nabla h_j(x^*)=0.
$$

2. **原始可行性（primal feasibility）**

$$g_i(x^*)\le0,\qquad h_j(x^*)=0.$$

3. **对偶可行性（dual feasibility）**

$$\lambda_i\ge0.$$

4. **互补松弛（complementary slackness）**

$$\lambda_i g_i(x^*)=0.$$

每个不等式要么未激活（$g_i(x^*)<0$，则 $\lambda_i=0$），要么激活（$g_i(x^*)=0$，乘子可能为正，也可能恰好为零）。

**重要前提**：一般非凸问题中，KKT 只是满足约束资格条件时的必要条件，不自动保证全局最优；对凸目标、凸不等式与仿射等式约束，符合 KKT 的可行点才可视为全局最优。在适当资格条件下还可保证存在乘子。

## 5. 一个不等式的几何例子

$$\min_x (x-2)^2,\qquad x\le1.$$

取 $g(x)=x-1$，Lagrangian 为

$$\mathcal L=(x-2)^2+\lambda(x-1).$$

KKT 条件给出 $2(x-2)+\lambda=0,\ x\le1,\ \lambda\ge0,\ \lambda(x-1)=0$。

若约束不激活，则 $\lambda=0$ 导致 $x=2$，不满足可行性；因此必须 $x^*=1$，相应乘子 $\lambda^*=2$。这一例子体现了边界法向量平衡未受约束的下降方向。

## 6. 与变分法的联系

普通拉格朗日乘子将有限维梯度的线性相关性变成驻值条件；变分法则把有限维梯度替换为函数空间上的一阶变分。两者都通过“允许的变化方向的导数为零”推导约束方程。

相关阅读：

- [多元微积分与向量分析](/doc/dc23b6f)
- 矩阵、特征值与数论
- 变分法、最速降线与最小作用量