Gradient decent

Courseraオンライン講座の機械学習コースを 直感的な理解を優先して、ゆるーく 解説しています。 正確には公式サイトを参照して下さい。 [MachineLearning Week1](https://www.coursera.org/learn/machine-learning/home/week/1) ## Gradient decent 前回までに、 目的関数を最小化することで、最適解が得られることが説明されました。 ここでは、具体的にどのように最小値を求めることが出来るかを学びます。 この図は、学習データの分布を表しています。 Gradient decent algorithm (最急降下法) と呼ばれるアルゴリズムを使って、 1. ある $\theta_0$, $\theta_1$から検索開始します。 2. 変化ステップ $\alpha$ で、 3. $\theta_0$, $\theta_1$を同時にずらしていきます。 4. $J(\theta)$が最小になったら終了です! 最小値に到達するまで繰り返します {
    $\theta_j$ := $\theta_j$ - $\alpha$ $\frac{\partial}{\partial \theta_j} J(\theta_0, \theta_1)$
        ($j = 0$, $j = 1$ 両方を同時に変化させる)
} パラメータを変化させる時、 すべての$\theta$を同時に変化させるようにします。 ### 最急降下法では以下の点に注意 $\theta$をずらしていく変化量 $\alpha$を 適切に選ばなければならないのですが、 - $\alpha$が小さすぎると、収束に時間がかかる - $\alpha$が大きすぎると、最適値を見つけることが出来ない $\theta$の初期値がすでに局所最小に収束してしまう可能性もあります。 これらの問題の解決法は、 後々説明されます。