【重要】 Normal equation 正規方程式

Courseraオンライン講座の機械学習コースを 直感的な理解を優先して、ゆるーく まとめてます。 正確には公式サイトを参照して下さい。 [MachineLearning Week2](https://www.coursera.org/learn/machine-learning/home/week/2) # Computing Parameters Analytically ## 【重要】 Normal equation　正規方程式 ここまでは最小降下法、最小二乗法で 目的関数の最小値を求めていましたが、 正規方程式というものを用いると、 一発で最小点を求めることが出来るのです。 詳しい証明は他に譲るとして、 ここでは大まかな説明をします。

$J(\theta)$: Cost Function 目的関数 パラメータが複数あって、 $\theta$が ${\rm I\!R}^{n+1}$ 次元実数のベクトルで、 最適値を求める場合を考えます。 $$ J(\theta_0, \theta_1, \cdots, \theta_m) = \frac{1}{2m} \sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})^2 $$ m個のサンプル,n個の項目がある場合、 i番目のサンプルの項目は、以下のように表される $$ x^{(i)} = \begin{bmatrix} x^{(i)}_0 \\ x^{(i)}_1 \\ \vdots \\ x^{(i)}_n \end{bmatrix} \in {\rm I\!R}^{n+1} $$ 項目全体を表すX design matrixは、 各サンプルごとの特徴を転換して、 以下のように表される。 $$ X = \begin{bmatrix} -- & (x^{(1)})^T & -- \\ -- & (x^{(2)})^T & -- \\ & \vdots & \\ -- & (x^{(m)})^T & -- \end{bmatrix} $$ 各パラメータに対する偏微分を求めます。 これが正規方程式となります。 $$\theta = (X^T X)^{-1} X^{T} y$$ $(X^T X)^{-1}$ は、$(X^T X)$の逆行列です。

### 最小降下法と、正規方程式の比較 - 最小降下法 - 学習率$\alpha$を選ぶ必用がある - 最小値に到達するまで、何度もループしなければならない - もし入力データの数が多くても、問題なく回答を得られる - 正規方程式 - 学習率$\alpha$を選ぶ必用がない - 計算ループが必要ない - パラメータの数値的統一をしなくても良い - $(X^TX)^{(-1)}$の計算処理が必用 - 学習データが多い時 ( $\gt$ 10000 )、この計算には時間がかかる