多変量解析入門　小西　解答

第3章

この本の解答を作っていく

作者: 小西貞則
出版社/メーカー: 岩波書店
発売日: 2010/01/27
メディア: 単行本（ソフトカバー）
購入: 14人クリック: 347回
この商品を含むブログ (9件) を見る

他の章の解答はこちら

yosuke-programing.hatenadiary.com

第3章

問3.1
スプライン補完を満たすには、t2を挟む区間の値と、一時微分と二次微分の値がt2で等しくなることが条件
$u(x;\boldsymbol{ \theta } ) = \beta_0 + \beta_1x + \beta_2x^2 + \beta_3x^3 +\sum\theta_i(x - t_i)^3_+\\(x - t_i)_+ = max\{0, x - t_i\}$

を区間ごとに考える。
[tex:\begin{eqnarray}
u(t_2;\boldsymbol{ \theta } ) &=& \beta_0 + \beta_1t_2 + \beta_2t_2^2 + \beta_3t_2^3 + \theta_1(t_2 - t_1)\\(t_1 &\leqq& x \leqq t_2)\\u(t_2;\boldsymbol{ \theta } ) &=& \beta_0 + \beta_1t_2 + \beta_2t_2^2 + \beta_3t_2^3 + \theta_1(t_2 - t_1) + \theta_1(t_2 - t_2)\\&=& \beta_0 + \beta_1t_2 + \beta_2t_2^2 + \beta_3t_2^3 + \theta_1(t_2 - t_1) \\(t_2 &\leqq& x \leqq t_3)\end{eqnarray}]

後は上のの微分バージョンをやるだけ、ただ、結構元のやつから推測はつくので省略。

問3.2

わからなかった。

問3.3

本に載ってる。

問3.4

本に載ってる

問3.5

本に載ってる

問3.6

この本の(3.58)より、正則化最尤推定量は、

$\hat{\boldsymbol{w}} = (B^TB + \lambda\hat{\sigma}^2K)^{-1}B^T\boldsymbol{y}\\$ 、

また一般に、正則化最小二乗法は、

$\hat{\boldsymbol{w}} = (B^TB + \gamma K)^{-1}B^T\boldsymbol{y}\\$

$\lambda = \frac{\gamma}{\hat{\sigma}^2}$ とおくとなる。

問3.7

$S_\gamma (\boldsymbol{w}) = \sum_{i = 1}^n \left\{y_i - \sum_{j =1}^m w_jb_j(\boldsymbol{x_i})\right\}^2 + \gamma\sum_{j =1}^m|w_j|^q$

ラグランジュの未定乗数法をもちいると、示される。

$\eta$ に関しては、この本では、 $g(x) \leqq 0$ となっているが、移項しても変わらないのでよい。

ラグランジュの未定乗数法の感覚的にわかる説明は↓

yosuke-programing.hatenadiary.com

問3.8

(3.70)から(3.73)はそのままなので省略。

(3.73)から(3.76)は、以下の行列の微分を展開してから用いると示される。

$\boldsymbol{y}^T\beta_0^\ast\boldsymbol{1} =\beta_0^\ast\boldsymbol{y}^T\boldsymbol{1} = \beta_0^\ast(\sum_i^n y_i) = n\beta_0^\ast\bar{y}$

$(\beta_0^\ast\boldsymbol{1})^T(\beta_0^\ast\boldsymbol{1})= {\boldsymbol{\beta_0^\ast}}^T\boldsymbol{\beta_0^\ast}=n(\beta_0^\ast)^2$

ここで、 $\boldsymbol{\beta_0^\ast} = \left(\begin{array}{c}\beta_0^\ast\\ \vdots \\ \beta_0^\ast\\ \beta_0^\ast\end{array}\right)$

$\frac{\partial \boldsymbol{y}^T}Z\boldsymbol{\beta_1}{\partial\boldsymbol{\beta_1}} = \boldsymbol{y}^TZ$

$\frac{\partial \boldsymbol{x}^T A}{\partial \boldsymbol{x}} = A$

$\frac{A\partial x}{\partial x} = A^T$

$\frac{\partial\boldsymbol{\beta}^TZ^TZ\boldsymbol{\beta_1}}{\partial \boldsymbol{\beta_1}} \\= (Z^TZ + (Z^TZ)^T)\boldsymbol{\beta_1} = 2Z^TZ\boldsymbol{\beta_1}$

すこし太文字のβアスタリスクが見にくい

雑記

多変量解析入門　線形から非線形へ　解答　小西貞則　第3章

第3章