RNNでは、時系列データから特徴を抽出するために、過去の情報を保持し続けるループ構造をとる。
フィードフォワードニューラルネットワーク（FNN、一方通行のNN）の誤差逆伝播法を適用できないので、ループ時系列方向へ展開する通時的な誤差逆伝播（ BackPropagetion Truough Time ）ができた。

BPTTには、すべての時刻の中間状態を保存しておく必要があり、メモリコストが高いという課題がある。
その解決策として、一定の単位で逆伝播を断絶する Truncated BPTT がある。
これによってすべての中間状態を保持する必要がなくなり、メモリコストを抑えられるようになった。