多変量解析入門　第4章　小西貞則　解答

多変量解析入門 データサイエンス

第４章 

この本の解答を作っていく

多変量解析入門――線形から非線形へ

多変量解析入門――線形から非線形へ

 

 他の章の解答はこちら

yosuke-programing.hatenadiary.com

 

問4.1

(1)本に記載されている。

(2)

現象のモデル

要因のリスクのモデル

確率モデル

ベルヌーイ分布

かな、、？

(3)

(4.16)と同じ

(4)

(4.17)とおなじ

(5)

(4.18),(4.19)と同じ

問4.2

(1)

\begin{eqnarray}F(x) = \int^x_{-\infty}\beta_1exp\{(\beta_0 + \beta_1t)-exp(\beta_0 + \beta_1t)\}dt\\=\int_0^{exp(\beta_0 + \beta_1x)} exp(-y)dy\\=[-exp(-y)]^{exp(\beta_0 + \beta_1x)}_0\\=1 - exp\{exp(\beta_0 + \beta_1x)\}\end{eqnarray}
\begin{eqnarray}\left(\begin{array}{c}y = exp(\beta_0 + \beta_1t)\\dy = \beta_1exp(\beta_0 + \beta_1t)dt\\t:-\infty\rightarrow x\\y: 0\rightarrow exp(\beta_0 + \beta_1x)\end{array}\right)\end{eqnarray}

(2)

xに∞と－∞を入れるとなる

一時微分で常に正もf(t)から分かる

(3)

代入で証明終わり

問4.3

yの積分の中の関数は、正規分布であり、その積分は確率の累積分布になるので、0から1に入るのは分かる。

 

 

多変量解析入門　線形から非線形へ　解答　小西貞則　第3章

多変量解析入門 データサイエンス

 第3章 

この本の解答を作っていく

多変量解析入門――線形から非線形へ

多変量解析入門――線形から非線形へ

 

 

 他の章の解答はこちら

yosuke-programing.hatenadiary.com

問3.1
スプライン補完を満たすには、t2を挟む区間の値と、一時微分と二次微分の値がt2で等しくなることが条件
u(x;\boldsymbol{ \theta } ) = \beta_0 + \beta_1x + \beta_2x^2 + \beta_3x^3 +\sum\theta_i(x - t_i)^3_+\\(x - t_i)_+ = max\{0, x - t_i\}

を区間ごとに考える。
[tex:\begin{eqnarray}
u(t_2;\boldsymbol{ \theta } ) &=& \beta_0 + \beta_1t_2 + \beta_2t_2^2 + \beta_3t_2^3 + \theta_1(t_2 - t_1)\\(t_1 &\leqq& x \leqq t_2)\\u(t_2;\boldsymbol{ \theta } ) &=& \beta_0 + \beta_1t_2 + \beta_2t_2^2 + \beta_3t_2^3 + \theta_1(t_2 - t_1) + \theta_1(t_2 - t_2)\\&=& \beta_0 + \beta_1t_2 + \beta_2t_2^2 + \beta_3t_2^3 + \theta_1(t_2 - t_1) \\(t_2 &\leqq& x \leqq t_3)\end{eqnarray}]

後は上のの微分バージョンをやるだけ、ただ、結構元のやつから推測はつくので省略。

問3.2

わからなかった。

問3.3

本に載ってる。

問3.4

本に載ってる

問3.5

本に載ってる

問3.6

この本の(3.58)より、正則化最尤推定量は、

\hat{\boldsymbol{w}} = (B^TB + \lambda\hat{\sigma}^2K)^{-1}B^T\boldsymbol{y}\\、

また一般に、正則化最小二乗法は、

 \hat{\boldsymbol{w}} = (B^TB + \gamma K)^{-1}B^T\boldsymbol{y}\\

\lambda = \frac{\gamma}{\hat{\sigma}^2}とおくとなる。

問3.7

S_\gamma (\boldsymbol{w}) = \sum_{i = 1}^n \left\{y_i - \sum_{j =1}^m w_jb_j(\boldsymbol{x_i})\right\}^2 + \gamma\sum_{j =1}^m|w_j|^q

ラグランジュの未定乗数法をもちいると、示される。

\etaに関しては、この本では、 g(x) \leqq 0となっているが、移項しても変わらないのでよい。

ラグランジュの未定乗数法の感覚的にわかる説明は↓

yosuke-programing.hatenadiary.com

 

問3.8

(3.70)から(3.73)はそのままなので省略。

(3.73)から(3.76)は、以下の行列の微分を展開してから用いると示される。

\boldsymbol{y}^T\beta_0^\ast\boldsymbol{1} =\beta_0^\ast\boldsymbol{y}^T\boldsymbol{1} = \beta_0^\ast(\sum_i^n y_i) = n\beta_0^\ast\bar{y}

(\beta_0^\ast\boldsymbol{1})^T(\beta_0^\ast\boldsymbol{1})= {\boldsymbol{\beta_0^\ast}}^T\boldsymbol{\beta_0^\ast}=n(\beta_0^\ast)^2

ここで、\boldsymbol{\beta_0^\ast} = \left(\begin{array}{c}\beta_0^\ast\\  \vdots \\ \beta_0^\ast\\ \beta_0^\ast\end{array}\right)

\frac{\partial \boldsymbol{y}^T}Z\boldsymbol{\beta_1}{\partial\boldsymbol{\beta_1}} = \boldsymbol{y}^TZ

\frac{\partial \boldsymbol{x}^T A}{\partial \boldsymbol{x}} = A

\frac{A\partial x}{\partial x} = A^T

\frac{\partial\boldsymbol{\beta}^TZ^TZ\boldsymbol{\beta_1}}{\partial \boldsymbol{\beta_1}} \\= (Z^TZ + (Z^TZ)^T)\boldsymbol{\beta_1} = 2Z^TZ\boldsymbol{\beta_1}

 

すこし太文字のβアスタリスクが見にくい

 

 

 

 

 

多変量解析入門　線形から非線形へ　解答　小西貞則　第2章

多変量解析入門 データサイエンス

 

第2章 

この本の解答を作っていく

多変量解析入門――線形から非線形へ

多変量解析入門――線形から非線形へ

 

 

 他の章の解答はこちら

yosuke-programing.hatenadiary.com

問2.1

最小2乗法より

\frac{\partial S(\beta_0, \beta1)}{\partial \bf{\beta}} = \frac{1}{2}\frac{\partial \sum \{y_i - (\beta_0 + \beta_1x_i)\}^2}{\partial \bf{\beta}} = 0\\\frac{\partial\sum \{y_i - (\beta_0 + \beta_1x_i)\}^2}{\partial\beta_0} = \sum(y_i -(\beta_0 + \beta_1x_i)) = \sum yi - n\beta_0 + \beta_1\sum x_i = 0\\\frac{\partial\sum \{y_i - (\beta_0 + \beta_1x_{i})\}^2}{\partial\beta_1} = \sum(y_i -(\beta_0 + \beta_1x_i))x_i = \sum x_i y_i - \beta_0 \sum x_i + \beta_1 \sum x_i^2=0\\

下に式を移行して示された。

問2.2,3,4

本内に書いてあるので省略

問2.5

\bf{c}^T\bf{\beta} = c_0\beta_0 + \cdots +c_p\beta_p\\ \frac{\partial \bf{c}^T\bf{\beta}}{\partial \bf{\beta}}=\left(\begin{array}{c}\frac{\partial\bf{c}^T\bf{\beta}}{\partial\beta_0}\\ \frac{\partial\bf{c}^T\bf{\beta}}{\partial\beta_1}\\ \vdots \\ \frac{\partial\bf{c}^T\bf{\beta}}{\partial\beta_p}\end{array}\right) =\bf{c}

 

\vec{\beta}^TA = \left(\begin{array}{c}\beta_0a_{00} + \beta_1a_{10} + \cdots +\beta_i a_{i0}\cdots +\beta_pa_{p0}\\ \vdots\\ \beta_0a_{0i} + \beta_1a_{1i} + \cdots +\beta_i a_{ii}\cdots +\beta_pa_{pi}\\ \vdots\\ \beta_0a_{0p} + \beta_1a_{10} + \cdots +\beta_i a_{ip}\cdots +\beta_pa_{pp}\\ \end{array}\right) ^T\\

 

 

\vec{\beta}^TA\vec{\beta}= \begin{array}{c}\beta_0\beta_0a_{00} + \beta_0\beta_1a_{10} + \cdots +\beta_0\beta_i a_{i0}\cdots +\beta_pa_{p0}+\\ \vdots\\ \beta_i\beta_0a_{0i} + \beta_i\beta_1a_{1i} + \cdots +\beta_i\beta_i a_{ii}\cdots +\beta_i\beta_pa_{pi}+\\ \vdots\\ \beta_p\beta_0a_{00} + \beta_p\beta_1a_{10} + \cdots +\beta_p\beta_i a_{ip}\cdots +\beta_p\beta_pa_{pp}\\ \end{array}\\

 

\frac{\partial\vec{\beta}^TA\vec{\beta}} {\partial\beta_i} = \begin{array}{c}\qquad\quad \beta_0a_{i0}+\\ \qquad\quad\vdots\\ \beta_0a_{0i} + \beta_1a_{1i} + \cdots +\beta_i a_{ii}\cdots +\beta_pa_{pi}+\\ \qquad\quad\vdots\\ \qquad\quad+\beta_pa_{ip} \end{array}

 

よって、aの添え字がそのままのとひっくり返っているのがあるので、

\frac{\partial\vec{\beta}^TA\vec{\beta}}{\partial} = (A + A^T)\vec{\beta}

 

次のは、対称行列は、転置と元の行列が等しいので成立。

 

問2.6

まず、特に使わないが、ただ、こういう変形が重要な時があるのかもしれない

確率行列（left stochastic matrix）とは、任意の列の和が1となる非負実数成分の正方行列である

wikipadiaから引用

（https://ja.wikipedia.org/wiki/%E7%A2%BA%E7%8E%87%E8%A1%8C%E5%88%97）

 まず、cがベクトルであるので、Zは、cと同じ形のm×１ベクトル、y は、n×１のベクトルである。pは確率

  E[\textbf{Z}] = \sum {(\textbf{c} + A\textbf{y})p} = \textbf{c} +\int {A\textbf{y} f(\textbf{y}))}d\mu_y

ここで、分配法則が成り立つことより、Aが繰り出せるので示された。

少し雑な説明になっていしまったが気持ちが伝われば！

 

問2.7

P^2 = X(X^TX)^{-1}\{X^TX\}(X^TX)^{-1}X^T = X(X^TX)^{-1}X^T

[text: (I_n - P)(I_n - P) = I_n - P - P + PP^T =  I_n - P ]

問2.8

本に記載されている

 

 

 

 

 

生態系のハブの解明。鍵を握る微生物はまだまだ機能不明

論文 生態系

以下の論文？を読んだのでメモ

生態系を動かす「ハブ生物種」を探る新手法
―多様な種からなる生態系の相互作用ネットワークに挑む研究戦略

http://www.kyoto-u.ac.jp/ja/research/research_results/2016/documents/170124_1/01.pdf

 

要約

微生物が環境や、人間の性格など様々なことがわかってきているが、その種類が多いために、どの微生物を調べればいいのかを決めるのは大変である。なので、そのネットワークを考えることで、様々なところで活躍する微生物を見つけることで、研究する微生物を決めようとした。そのために、一つ場所では偏りがある可能性があるので、さまざまな場所で調査しその共通する微生物を調べた。

f:id:ty070809390:20190726132706p:plainうえの論文から引用

感想

驚いたのは、ほとんどの微生物がまだ機能が不明であるというこであった。特に、全体での共通の微生物はほとんど機能がわかっていないように見える。このネットワークは、理論的に、グラフ理論など用いて分析されているのかな。

かなりグラフがかっこいい

データ解析のための統計モデリング入門を読んで

久しぶりの更新。

いっている大学の先生が書いている本。一般線形化モデルについて、線形モデルから順をおって話していてわかりやすくすぐ読めた。

実装と簡単な数理がメインなので、理論について細かくないところもあるが、初めの概要をつかんで簡単に使えるくらいになる分には十分な内容

 

データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)

データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)

 

 

参考図書　データモデリングのための統計モデリング入門to categorical

乗っていた参考図書をメモのために取っておく。

 カテゴリカルデータ解析入門

 

 
カテゴリカルデータ解析入門

カテゴリカルデータ解析入門

 

 時系列解析の実際Ⅱ

時系列解析の実際〈2〉 (統計科学選書)

時系列解析の実際〈2〉 (統計科学選書)

 

 Rで学ぶベイズ統計学入門

Rで学ぶベイズ統計学入門

Rで学ぶベイズ統計学入門

 

 ベイズ統計モデリング

ベイズ統計モデリング (統計ライブラリー)

ベイズ統計モデリング (統計ライブラリー)

 

 Hierarchical Modeling and Analysis for Spatial Data

Hierarchical Modeling and Analysis for Spatial Data, Second Edition (Chapman & Hall/CRC Monographs on Statistics & Applied Probability)

Hierarchical Modeling and Analysis for Spatial Data, Second Edition (Chapman & Hall/CRC Monographs on Statistics & Applied Probability)

 

 統計学：Rを用いた入門書

統計学:Rを用いた入門書 改訂第2版

統計学:Rを用いた入門書 改訂第2版

 

 一般線形化モデル入門

一般化線形モデル入門 原著第2版

一般化線形モデル入門 原著第2版

 

 Extending the linear model with R

Extending the Linear Model with R: Generalized Linear, Mixed Effects and Nonparametric Regression Models, Second Edition (Chapman & Hall/CRC Texts in Statistical Science) (English Edition)

Extending the Linear Model with R: Generalized Linear, Mixed Effects and Nonparametric Regression Models, Second Edition (Chapman & Hall/CRC Texts in Statistical Science) (English Edition)

 

 Rによる空間データの統計分析

Ｒによる空間データの統計分析 (統計科学のプラクティス)

Ｒによる空間データの統計分析 (統計科学のプラクティス)

 

 Handbook of Spatial Statistics

Handbook of Spatial Statistics (Chapman & Hall/CRC Handbooks of Modern Statistical Methods)

Handbook of Spatial Statistics (Chapman & Hall/CRC Handbooks of Modern Statistical Methods)

 

 Bayesian Data Analysis 

Bayesian Data Analysis (Chapman & Hall/CRC Texts in Statistical Science)

Bayesian Data Analysis (Chapman & Hall/CRC Texts in Statistical Science)

  • 作者: Andrew Gelman,John B. Carlin,Hal S. Stern,David B. Dunson,Aki Vehtari,Donald B. Rubin
  • 出版社/メーカー: Chapman and Hall/CRC
  • 発売日: 2013/11/05
  • メディア: ハードカバー
  • この商品を含むブログを見る
 

 Markov chain Monte Carlo in Practice

Markov Chain Monte Carlo in Practice (Chapman & Hall/CRC Interdisciplinary Statistics)

Markov Chain Monte Carlo in Practice (Chapman & Hall/CRC Interdisciplinary Statistics)

 

 予測にいかす統計モデリングの基礎

予測にいかす統計モデリングの基本―ベイズ統計入門から応用まで (KS理工学専門書)

予測にいかす統計モデリングの基本―ベイズ統計入門から応用まで (KS理工学専門書)

 

 プログラミングのための確率統計

プログラミングのための確率統計

プログラミングのための確率統計

 

 統計理論入門

統計理論入門 (1973年)

統計理論入門 (1973年)

 

 入門数理統計学

入門数理統計学

入門数理統計学

 

 ベイズ統計と物理統計

岩波講座 物理の世界 物理と情報〈3〉ベイズ統計と統計物理

岩波講座 物理の世界 物理と情報〈3〉ベイズ統計と統計物理

 

 マルコフ連鎖モンテカルロ法とその周辺

計算統計 II?マルコフ連鎖モンテカルロ法とその周辺 (統計科学のフロンティア)

計算統計 II?マルコフ連鎖モンテカルロ法とその周辺 (統計科学のフロンティア)

 

 カウントデータの統計解析

カウントデータの統計解析 (統計ライブラリー)

カウントデータの統計解析 (統計ライブラリー)

 

 生物学を学ぶ人のための統計のはなし

生物学を学ぶ人のための統計のはなし―きみにも出せる有意差

生物学を学ぶ人のための統計のはなし―きみにも出せる有意差

 

 時系列解析入門

時系列解析入門

時系列解析入門

 

 情報量基準

情報量規準 (シリーズ・予測と発見の科学)

情報量規準 (シリーズ・予測と発見の科学)

 

 計算統計学の方法―ブートストラップ・EMアルゴリズム・MCMC

計算統計学の方法―ブートストラップ・EMアルゴリズム・MCMC (シリーズ予測と発見の科学 5)

計算統計学の方法―ブートストラップ・EMアルゴリズム・MCMC (シリーズ予測と発見の科学 5)

 

 Bayesian statistics: An Introduction

Bayesian Statistics: An Introduction

Bayesian Statistics: An Introduction

 

 空間データモデリング

空間データモデリング―空間統計学の応用 (データサイエンス・シリーズ)

空間データモデリング―空間統計学の応用 (データサイエンス・シリーズ)

 

 Rプログラミングマニュアル

Rプログラミングマニュアル―Rバージョン3対応 (新・数理 工学ライブラリ―情報工学)

Rプログラミングマニュアル―Rバージョン3対応 (新・数理 工学ライブラリ―情報工学)

 

 これから始める統計学

これからはじめる統計学

これからはじめる統計学

 

統計分布ハンドブック 

統計分布ハンドブック

統計分布ハンドブック

 

 Rグラフィックス

Rグラフィックス ―Rで思いどおりのグラフを作図するために―

Rグラフィックス ―Rで思いどおりのグラフを作図するために―

 

 R Graphics

R Graphics, Third Edition (Chapman & Hall/CRC The R Series)

R Graphics, Third Edition (Chapman & Hall/CRC The R Series)

 

 生物学のための計算統計学

生物学のための計算統計学 ?最尤法，ブートストラップ，無作為化法?

生物学のための計算統計学 ?最尤法，ブートストラップ，無作為化法?

 

 情報量統計学

情報量統計学 (情報科学講座 A・5・4) (情報科学講座 (A・5・4))

情報量統計学 (情報科学講座 A・5・4) (情報科学講座 (A・5・4))

 

 Rグラフィックス自由自在

Rグラフィックス自由自在

Rグラフィックス自由自在

 

 Rデータ自由自在

Rデータ自由自在

Rデータ自由自在

 

 ベイズ統計学とその応用

ベイズ統計学とその応用

ベイズ統計学とその応用

 

 地理空間データ分析

地理空間データ分析 (Rで学ぶデータサイエンス 7)

地理空間データ分析 (Rで学ぶデータサイエンス 7)

 

 統計学入門

統計学入門 (基礎統計学?)

統計学入門 (基礎統計学?)

 

 自然科学の統計学

自然科学の統計学 (基礎統計学)

自然科学の統計学 (基礎統計学)

 

 S-Plusによる統計解析

S-PLUSによる統計解析 第2版

S-PLUSによる統計解析 第2版

 

 グラフィックスのためのRプログラミング

グラフィックスのためのRプログラミング

グラフィックスのためのRプログラミング

 

ベクトルと行列の微分　第４章　前処理 Python機械学習プログラミング

Python機械学習プログラミング 機械学習

 

今回は、行列で微分することについて考える。ベクトルの微分は、行列の次元が低い晩だと思えばよい。

 

行列を1つの変数で微分

\frac{d A}{d x}

などの場合は、各要素をxで微分していけばよい。 \frac{d A}{d x} の i, j要素を \frac{d A}{d x}_{ij} とすると、

\frac{d A}{d x}_{ij} = \frac{d a_ij}{d x}_{ij}

ベクトルをベクトルで微分の定義

\frac{d\vec{y}}{d\vec{x}} = \begin{pmatrix} \frac{d y_1}{d x_1}\  \frac{d y_2}{d x_1}\ \cdots \frac{y_n}{x_1} \\ \vdots \  \vdots \ \ddots  \\  \frac{d y_1}{d x_m}\ \cdots \ \ \frac{d y_n}{d x_m} \end{pmatrix}

  \frac{d\vec{y}}{d\vec{x}}_{ij} =  \frac{d\vec{y_j}}{d\vec{x_i}}

行列をベクトルで微分

行列のベクトルでの微分は、 A = {\vec{a_1}, \vec{a_2}, \cdots, \vec{a_n}}

の微分と考える。

\frac{d A\vec{x}}{d \vec{x}}

を考える。

(A\vec{x})_i= \sum_j a_ij\vec{x}_j

よって、

\frac{\partial A\vec{x}}{\partial \vec{x}} = \begin{pmatrix}\frac{\partial \sum_j a_{0j}\vec{x}_j }{\partial x_0}\ \frac{d \sum_j a_{1j}\vec{x}_j }{\partial x_0} \ \cdots \frac{\partial \sum_j a_{nj}\vec{x}_j }{\partial x_0}\\ \frac{\partial \sum_j a_{0j}\vec{x}_j }{\partial x_1}\ \frac{\partial \sum_j a_{1j}\vec{x}_j }{\partial x_1} \ \cdots \frac{\partial \sum_j a_{nj}\vec{x}_j }{\partial x_1} \\\vdots \ \ddots \ \vdots \\ \frac{\partial \sum_j a_{0j}\vec{x}_j }{\partial x_n}\ \frac{\partial \sum_j a_{1j}\vec{x}_j }{\partial x_n} \cdots \  \frac{\partial \sum_j a_{nj}\vec{x}_j }{\partial x_n}\end{pmatrix}   = \begin{pmatrix} a_{00} \ a_{10} \ \cdots \\ a_{01} \ a_{11} \ \cdots\\ \vdots \ \vdots \ddots \ \vdots \\ a_{0n}\cdots a_{nn}\end{pmatrix}  = A^T

 

L2正則化の時に必要な公式の証明

主成分分析の時に必要な公式の証明

 

本題に入っていくが、

 

① \frac{\partial (\vec{\omega}^TS\vec{\omega})}{\partial{\vec{\omega}}} 

ここで、

(\vec{\omega}^TS)_j = \sum_i \omega_i s_{ij}

(\vec{\omega}^TS) \vec{\omega} =\sum_j (\sum_i \omega_i s_{ij} )\omega_j   

( \frac{\partial (\vec{\omega}^TS\vec{\omega})}{\partial{\vec{\omega}}})_k = \frac{\sum_j (\sum_i \omega_i s_{ij} )\omega_j}{\partial \omega_k} = \frac{\sum_j (\sum_i \omega_i s_{ij} )\omega_j}{\partial \omega_k}  =( \sum (s_{kj} + s_{jk}) w_j) = ((S + S^T)\omega)_j \therefore 2S\vec{\omega}

最後から2番目のイコールは、要素ごとに積の微分は、考えると分かる。

 最後は、S が対象行列のことをつかった。

② \frac{\partial \vec{w}^T\vec{w}}{\partial \vec{w}} = 2\vec{w}

\frac{\partial \vec{w}^T \vec{w}}{\vec{w}}

\vec{w}^T\vec{w} = \sum_i w_i^2

(\frac{\partial \vec{w}^T \vec{w}}{\vec{w}} )_k= \frac{\partial\sum_i w_i^2}{\partial w_k} = 2w_k

よって、

\frac{\partial \vec{w}^T \vec{w}}{\vec{w}} = 2\vec{w}

 

 

 

 

参考図書一覧↓

yosuke-programing.hatenadiary.com

 

Python機械学習プログラミングの他の記事はこちら↓

yosuke-programing.hatenadiary.com

 Amazonはこちら↓

[第2版]Python 機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear)

[第2版]Python 機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear)