機械学習 勾配降下法と大域最適解
- 勾配降下法の基礎機械学習の目的は、与えられたデータから予測精度が高いモデルを構築することです。このモデルの精度を左右する要素の一つにパラメータがあります。パラメータとは、モデルの挙動を調整するツマミのようなもので、適切な値に設定することで初めてモデルは高い予測精度を発揮します。では、どのようにして最適なパラメータを見つけるのでしょうか？その有力な手法の一つが勾配降下法です。勾配降下法は、イメージとしては、山を下ることに例えられます。まず、誤差関数という、現在のモデルのパラメータにおける「悪さ」を表す指標を考えます。山を下る例えでは、この誤差関数が山の高さに相当します。目標は、この誤差関数を最小にする、つまり山の最も低い地点に到達することです。勾配降下法では、現在の地点（パラメータの値）における誤差関数の勾配、つまりどの向きにどのくらい急に山が傾斜しているかを計算します。そして、その勾配の反対方向にパラメータを少しだけずらします。これを繰り返すことで、徐々に山の低い方へと進んでいき、最終的には最も低い地点（誤差関数が最小になるパラメータ）に到達することができます。
