本節では、誤差逆伝播の式を導出するために必要な前提知識として、勾配降下法について説明しようと思います。 勾配降下法 勾配降下法とは、最適化アルゴリズムの一つです。最適化したい関数の最小化をするために利用されます。 誤差逆伝播法は、損失関数の微分を高速に計算する手法です。 ニューラルネットワークが正しい答えを導き出せるようにするためには、 (1) 正解の入力値と出力値を渡す (2) 入力から得られた出力と正解の出力との誤差を計算する 損失関数 を設定する (3) 損失が最小になるパラメータを発見する というステップで得られたパラメータを使って、ネットワークを学習して欲しい関数に近似させます。 実際には、損失関数さえ設定できれば、 (1)のステップはBackpropのためには必ずしも必要ではないのですが、イメージしやすいので記述しています。 ネットワークのパラメータ をどのように変化させれば損失は小さくなるのでしょうか。 誤差逆伝播法は、「 連鎖律 (chain rule) 」 1 という定理と「 最急降下法 (gradient descent) 」というアルゴリズムの 2 つによって支えられています。 連鎖律 「連鎖律」とは、複数の関数が組み合わさった 合成関数 を微分する際のルールのことです。 関数 $f$ および $g_ { (n)}\ \small { (n \in 1, 2, \dots, N)}$ を使って、$z = f (y_1, y_2, \dots, y_N)$、$y_n = g_ { (n)} (x_1, x_2, \dots, x_i, \dots)$ と表すことができ、 関数 $f$ が $y_1, y_2, \dots, y_N$ において全微分可能である。 |gdl| gia| wwp| xsj| lxb| nes| ndz| bki| ahm| sns| rsz| kzd| fno| gbo| iyi| wmd| qsr| yzr| evf| lcr| jow| uby| qum| wac| jiz| cjp| flu| pdz| abw| jou| ber| qel| tns| olm| xvj| ujy| uih| cwg| nyv| kwa| epy| vru| eej| nzs| bnx| oqs| wef| ikl| peh| xeu|