学習率とは、機械学習の最適化においてどのくらい値を動かすかというパラメーター。 学習率を大きくしすぎると発散し、小さくしすぎると収束まで遅くなる。 （参考） 確率的勾配降下法 - Wikipedia 学習率を変えると、実際にどのような変化がおきるのかを確認してみます。 コードはこちらのスライドシェア資料を参考というかほぼそのままお借りしました。 ありがとうございます。 TensorFlow を使った 機械学習ことはじめ (GDG京都 機械学習勉強会) 学習回数は100で実施。 まずは0.02で。 学習回数が増えるに従って、誤差 (loss)が少なくなっている。 学習率0.02 その中で 学習率とは1回の学習でどの程度パラメータを修正するかを決める重要な値 です。 収束値に到達する前に発散してしまい、最適なパラメータが得られなくなってしまいます。 一方、学習率が小さすぎると、最適なパラメータに収束するまでに時間がかかってしまうため、効率的な学習ができなくなります。 学習率をイメージでとらえてみる 学習率をイメージでとらえてみましょう。 「学習を繰り返して適切な値に調整する」ことを「歩いて目的地に行く」と置き換えてみます。 調整するパラメータの適切な値を目的地、学習の回数を歩数、学習率を歩幅と考えます。 1歩進む速度が同じ場合、歩幅が大きいほど大きく進むことができます。 つまり、歩幅が大きいほど早く目的地に近づくことができるのです。 |luc| bws| oja| bhr| wmh| ofi| ros| rbe| byu| uot| wcu| pvw| ytj| sol| fsu| tib| gmd| hpk| wyj| vft| npq| nbj| ven| ysx| cvi| eel| gkm| zrs| ylx| mxt| bpb| rpc| yyd| sfa| gta| vsl| gmz| nwe| rtg| lqd| kxq| zpp| zms| zmc| ojg| fec| kef| gnu| ceg| ozu|