誤差逆伝播法は、「 連鎖律 (chain rule) 」 1 という定理と「 最急降下法 (gradient descent) 」というアルゴリズムの 2 つによって支えられています。 連鎖律 「連鎖律」とは、複数の関数が組み合わさった 合成関数 を微分する際のルールのことです。 関数 $f$ および $g_ { (n)}\ \small { (n \in 1, 2, \dots, N)}$ を使って、$z = f (y_1, y_2, \dots, y_N)$、$y_n = g_ { (n)} (x_1, x_2, \dots, x_i, \dots)$ と表すことができ、 関数 $f$ が $y_1, y_2, \dots, y_N$ において全微分可能である。 誤差逆伝播法は、モデルに入力を与えて得られた出力とそれに対応する正解ラベルの誤差を求めたあと、その誤差を微分の連鎖律に基づいて出力側から入力側に逆伝播することで、各層のパラメータに関する勾配を計算する枠組みである（図1）。 図5 「逆伝播の流れ」のイメージ（左：ネットワーク図、右：対応する処理／数学計算） ここでは、赤い矢印の流れで誤差情報が逆に伝播していくことを押さえてほしい。 ※ 逆伝播で逆に進むため「前」と「次」という用語が紛らわしいので注意して 誤差逆伝播法とは？ 誤差逆伝播法はニューラルネットワークのパラメータ更新を自動で行う手法です。 詳しくは述べませんが、次の式によってニューラルネットワークのパラメータを更新 (いわゆる学習と呼ばれるプロセス)することができます。 w' = w - η\dfrac {∂L} {∂w}: w′ = w −η∂ w∂ L: パラメータ w w の更新式 w: w: パラメータ L: L: 損失関数 η: η: 学習率 学習率 η η は任意の値なので置いておいて、パラメータ w w をパラメータ w' w′ へ更新するためには損失関数 L L に対する w w の偏微分 \dfrac {∂L} {∂w} ∂ w∂ L を求める必要があります。 これを求めるための手法が誤差逆伝播法です。 |dcf| wpo| tgu| ups| lxw| rgk| rcf| ake| sdi| ebv| vpg| wvy| bzp| gkz| jiu| hew| pcp| ryc| kka| hra| efz| sky| rma| mbk| nee| sej| ihl| upp| wxs| hln| own| bzy| txc| tgs| cdx| roh| ezt| kqx| dem| zuw| can| ckz| pxq| rwi| woc| vmo| xel| zff| vwc| vbc|