多変量解析入門 線形から非線形へ 解答 小西貞則 第2章

 

第2章 

この本の解答を作っていく

多変量解析入門――線形から非線形へ

多変量解析入門――線形から非線形へ

 

 

 他の章の解答はこちら

yosuke-programing.hatenadiary.com

問2.1

最小2乗法より

\frac{\partial S(\beta_0, \beta1)}{\partial \bf{\beta}} = \frac{1}{2}\frac{\partial \sum \{y_i - (\beta_0 + \beta_1x_i)\}^2}{\partial \bf{\beta}} = 0\\\frac{\partial\sum \{y_i - (\beta_0 + \beta_1x_i)\}^2}{\partial\beta_0} = \sum(y_i -(\beta_0 + \beta_1x_i)) = \sum yi - n\beta_0 + \beta_1\sum x_i = 0\\\frac{\partial\sum \{y_i - (\beta_0 + \beta_1x_{i})\}^2}{\partial\beta_1} = \sum(y_i -(\beta_0 + \beta_1x_i))x_i = \sum x_i y_i - \beta_0 \sum x_i + \beta_1 \sum x_i^2=0\\

下に式を移行して示された。

問2.2,3,4

本内に書いてあるので省略

問2.5

\bf{c}^T\bf{\beta} = c_0\beta_0 + \cdots +c_p\beta_p\\ \frac{\partial \bf{c}^T\bf{\beta}}{\partial \bf{\beta}}=\left(\begin{array}{c}\frac{\partial\bf{c}^T\bf{\beta}}{\partial\beta_0}\\ \frac{\partial\bf{c}^T\bf{\beta}}{\partial\beta_1}\\ \vdots \\ \frac{\partial\bf{c}^T\bf{\beta}}{\partial\beta_p}\end{array}\right) =\bf{c}

 

\vec{\beta}^TA = \left(\begin{array}{c}\beta_0a_{00} + \beta_1a_{10} + \cdots +\beta_i a_{i0}\cdots +\beta_pa_{p0}\\ \vdots\\ \beta_0a_{0i} + \beta_1a_{1i} + \cdots +\beta_i a_{ii}\cdots +\beta_pa_{pi}\\ \vdots\\ \beta_0a_{0p} + \beta_1a_{10} + \cdots +\beta_i a_{ip}\cdots +\beta_pa_{pp}\\ \end{array}\right) ^T\\

 

 

 \vec{\beta}^TA\vec{\beta}= \begin{array}{c}\beta_0\beta_0a_{00} + \beta_0\beta_1a_{10} + \cdots +\beta_0\beta_i a_{i0}\cdots +\beta_pa_{p0}+\\ \vdots\\ \beta_i\beta_0a_{0i} + \beta_i\beta_1a_{1i} + \cdots +\beta_i\beta_i a_{ii}\cdots +\beta_i\beta_pa_{pi}+\\ \vdots\\ \beta_p\beta_0a_{00} + \beta_p\beta_1a_{10} + \cdots +\beta_p\beta_i a_{ip}\cdots +\beta_p\beta_pa_{pp}\\ \end{array}\\

 

\frac{\partial\vec{\beta}^TA\vec{\beta}} {\partial\beta_i} = \begin{array}{c}\qquad\quad \beta_0a_{i0}+\\ \qquad\quad\vdots\\ \beta_0a_{0i} + \beta_1a_{1i} + \cdots +\beta_i a_{ii}\cdots +\beta_pa_{pi}+\\ \qquad\quad\vdots\\ \qquad\quad+\beta_pa_{ip} \end{array}

 

よって、aの添え字がそのままのとひっくり返っているのがあるので、

\frac{\partial\vec{\beta}^TA\vec{\beta}}{\partial} = (A + A^T)\vec{\beta}

 

次のは、対称行列は、転置と元の行列が等しいので成立。

 

問2.6

まず、特に使わないが、ただ、こういう変形が重要な時があるのかもしれない

確率行列(left stochastic matrix)とは、任意の列の和が1となる非負実数成分の正方行列である

wikipadiaから引用

https://ja.wikipedia.org/wiki/%E7%A2%BA%E7%8E%87%E8%A1%8C%E5%88%97

 まず、cがベクトルであるので、Zは、cと同じ形のm×1ベクトル、y は、n×1のベクトルである。pは確率

  E[\textbf{Z}] = \sum {(\textbf{c} + A\textbf{y})p} = \textbf{c} +\int {A\textbf{y} f(\textbf{y}))}d\mu_y

ここで、分配法則が成り立つことより、Aが繰り出せるので示された。

少し雑な説明になっていしまったが気持ちが伝われば!

 

問2.7

 P^2 = X(X^TX)^{-1}\{X^TX\}(X^TX)^{-1}X^T = X(X^TX)^{-1}X^T

[text: (I_n - P)(I_n - P) = I_n - P - P + PP^T =  I_n - P ]

問2.8

本に記載されている