・特定の時刻の情報に重みを付加できない。
・長期にわたる依存関係を把握しにくい。

これらの問題を改善するために開発されたエンコーダ・デコーダモデルが、Attention機構（注意機構）である。
人間と似た感覚で、各時刻における情報の重みを反映することによって、必要な情報にだけ注意を向けて学習するメカニズムを内包する。
過去のそれぞれの時刻での隠れ層の状態を「記憶」し、その重みを計算し、最終的にはすべての隠れ層の状態の重みつき和を出力の計算に使う。

Attention機構によって、長文翻訳の精度が飛躍的に向上した。

デコーダモデルは、入力文章が長文になるにつれて解析精度が悪くなり、後半の時間ステップでは最初の情報を失ってしまう欠点があった。
それを改善するための工夫が、Attention機構やトランスフォーマーの技術である。