ニューラルネットワークにおいて、入力層にデータを入れて、各層で重みを乗じながら、出力層に向けてデータを伝播していくことを
順伝播(フォワード・プロパゲーション;Fowardpropagation)と呼ぶ。
誤差を各層に伝播する際は逆方向になる。
誤差は、
出力層側から、各層で重みの更新をしながら、
入力層へ向けて伝播する。
このような誤差を逆伝播させる仕組みを、
誤差逆伝播(バックプロパゲーション)と呼ぶ。
損失関数の微分を効率的に計算する手法のひとつ。
ネットワークが深くなるにつれて、重みの更新に必要な情報がうまく伝播できなくなる
勾配消失問題や、
局所最適解問題に注意が必要。