多変量解析入門　解答　多変量解析

第６章

この本の解答がなかったので作っていく、

多変量解析入門――線形から非線形へ

作者: 小西貞則
出版社/メーカー: 岩波書店
発売日: 2010/01/27
メディア: 単行本（ソフトカバー）
購入: 14人クリック: 347回
この商品を含むブログ (9件) を見る

他の章の解答はこちら

yosuke-programing.hatenadiary.com

第６章
問6.1
問6.2
問6.3
問6.4
問6.5
問6.6

問6.1

ほとんど(6.12)に書いてあるので省略

問6.2

$\lambda$ をこの後使いたいので、この本内では、 $\lambda$ の式になっているが、 $\eta$ にする。
$\eta = \frac{\boldsymbol{ w }^T(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2)(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2 ) ^ T \boldsymbol{ w }}{\boldsymbol{ w } ^ T S \boldsymbol{ w } }$
を最大化する。

$\eta$ を $\boldsymbol{ w }$ の関数と見た時

$\eta(\boldsymbol{ w }) = \eta(\alpha \boldsymbol{ w }) \quad \alpha \in R$
(代入すると分かる)、つまり、 $\boldsymbol{ w }$ の尺度は関係ない。なので、
$\boldsymbol{ w } ^ T S \boldsymbol{ w } = 1$ と制約条件を付けても一般性を欠かない。

制約条件があるので、ラグランジュの未定乗数法をもちいて、
$L = \boldsymbol{ w }^T(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2)(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2 ) ^ T \boldsymbol{ w } - \lambda( \boldsymbol{ w } ^ T S \boldsymbol{ w } - 1)\\\frac{\partial L }{\partial \boldsymbol{ w } } = 2(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2)(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2 ) \boldsymbol{ w } - 2\lambda S \boldsymbol{ w } = 0\\\therefore S^{-1}(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2)(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2 ) \boldsymbol{ w } = \lambda \boldsymbol{ w }\\$
よって、固有値問題に帰着した。
また、 $S^{-1}(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2)(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2 ) \boldsymbol{ w } = \lambda \boldsymbol{ w }\\(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2 ) \boldsymbol{ w }$ と $\lambda$ は、スカラーであるので、\\
$\boldsymbol{ w } \propto S^{-1}(\bar{ \boldsymbol{ x } }_1 - \bar{ \boldsymbol{ x } }_2)$
関数 $\eta$ は $\boldsymbol{ w }$ の尺度に関係ないので、