ラグランジュの未定乗数法の説明　Python機械学習プログラミング第４章

ラグランジュの未定乗数法は、簡単にいっってしまえばある関数のある制限の上での解を求める方法である。証明までは、難しいので、2次元の場合で考えて、感覚的に理解できるように説明した。

ラグランジュの未定乗数法

ラグランジュの未定乗数法

使い方

ある関数 $f(x_1, x_2, \cdot\cdot)$ のある束縛条件 $g_1(x_1, x_2, \cdot\cdot) = 0, g_2(x_1, x_2, \cdot\cdot) = 0, \cdot\cdot$ 最大値もしくは、最小値となる $x_1, x_2, \cdot\cdot$ 求めたいときに、ラグランジュ関数

$L(x_1, x_2, \cdot\cdot, \lambda) = f(x_1, x_2, \cdot\cdot) - \sum_i\lambda_i g_i(x_1, x_2, \cdot\cdot)$

を作ると、

$grad(L) = \vec{0}$

の時が解になる。

これは、なかなか便利だ！

二変数関数での感覚的な説明

ある2変数関数 $f(x, y)$ のある制限 $g(x, y) = 0$ 最大値もしくは、最小値となる候補つまり停留点(微分したら0の点) $x, y$ を求める。ラグランジュ関数を作る。

$L(x, y,\lambda) = f(x, y) - \lambda g(x, y)$

$grad(L) = \begin{pmatrix} \frac{\partial f(x, y) - \lambda g(x, y)}{\partial x} \\ \frac{\partial f(x, y) - \lambda g(x, y)}{\partial y} \\ \frac{\partial f(x, y) - \lambda g(x, y)}{\partial \lambda} \end{pmatrix} = \vec{0}$

となればよい。まず、 $\frac{\partial f(x, y) - \lambda g(x, y)}{\partial \lambda} = g(x, y) = 0$ については、上の制限と同じなので意味を持たない。

次に、

$\frac{\partial f(x, y) - \lambda g(x, y)}{\partial x} = \frac{\partial f(x, y)}{\partial x} - \frac{\lambda g(x, y)}{\partial x} = 0$

$\therefore \frac{\partial f(x, y)}{\partial x} = \frac{\lambda g(x, y)}{\partial x}$

$\frac{\partial f(x, y) - \lambda g(x, y)}{\partial y} = \frac{\partial f(x, y)}{\partial x} - \frac{\lambda g(x, y)}{\partial y} = 0$

$\therefore \frac{\partial f(x, y)}{\partial y} = \frac{\lambda g(x, y)}{\partial y}$

これより、

$\begin{pmatrix} \frac{\partial f(x, y)}{\partial x} \\ \frac{\partial f(x, y)}{\partial y} \end{pmatrix} = \lambda\begin{pmatrix} \frac{\partial g(x, y)}{\partial x} \\ \frac{\partial g(x, y)}{\partial y} \end{pmatrix}$