ガウス・マルコフの定理

ガウス・マルコフの定理が多変量解析入門で出ていなかったので調べた。

ガウス・マルコフの定理とは

式はこう

$V(\boldsymbol{\hat{\beta}})\geqq V()$ \boldsymbol{b}]

$\boldsymbol{\hat{\beta}} = (X^TX)^{-1}X^T\boldstyle{y}$

$\boldstyle{b} = C\boldstyle{y}$

これは、線形回帰モデルの時に、推定されたパラメータが最も分散も小さくなるということを言っている。

分散が小さいことは、推定する時には、ばらつきが少ないということなので、推定された時に、値が真の値に近くなるということ。

不偏推定量

まず、不偏推定量の確認。
推定量の平均が真の値となるときにそれが不偏推定量になる。
つまり、たくさんやって平均とっても真の値にならないものサンプリングしても意味ないので、
そのための考え方.

$\boldsymbol{b} = C\boldsymbol{y}$ と表せるとする。

その一つが、最小2乗法で求まる, $\hat{\boldsymbol{\beta}} = (X^TX)^{-1}X^T\boldsymbol{y}$ である。
$\begin{eqnarray}E(\hat{\boldsymbol{\beta}}) = (X^TX)^{-1}X^TE[\boldsymbol{y}] \\=(X^TX)^{-1}X^TX\boldsymbol{\beta}\\= \boldsymbol{\beta}\end{eqnarray}$
よって不偏推定量であることがわかる。

では、一般に
$\boldsymbol{b}$ が不偏推定量となる時を考えると
$\begin{eqnarray}E[\boldsymbol{b}] = CE[\boldsymbol{y}]\\= CX\boldsymbol{\beta}\end{eqnarray}$
となるので、 $CX＝I$ の時不偏推定量となる。

本題のガウス・マルコフの定理

$V(\boldsymbol{b}) = V(C\boldsymbol{y}) = E(C\boldsymbol{y}(C\boldsymbol{y})^T)\\ =CE(\boldsymbol{y}\boldsymbol{y}^T)C^T \\= CV(\boldsymbol{y})C^T \\= I\sigma^2C^T \\=\sigma^2CC^T$

$\boldsymbol{b}$ が不変であるためには、CX = Iとなる必要があるので、\\
$C^\ast = (X^TX)^{-1}X$ とする(最小2乗法のやつ)

$V(\boldsymbol{b}) = \sigma^2( {C - C^\ast + C^\ast})({C - C^\ast + C^\ast})^T\\$

$= \sigma^2\{(C - C^\ast)(C - C^\ast)^T + C^\ast(C - C^\ast)^T + (C - C^\ast){C^\ast}^T + C^\ast {C^\ast}^T\}$

$= \sigma^2\{(C - C^\ast)(C - C^\ast)^T + C^\ast{C^\ast}^T\}$

また、

$C^\ast(C - C^\ast)^T + (C - C^\ast){C^\ast}^T$ $= C^\ast C^T - C^\ast{C^\ast}^T + C{C^\ast}^T - C^\ast {C^\ast}^T \\= - C^\ast{C^\ast}^T + C{C^\ast}^T$