2024年05月28日 LSTM =Long Short Term Memory勾配消失問題や重み衝突問題の解消のために開発されたRNNのモデル。RNNの隠れ層の構造を変更する対策が取られている。「LSTMブロック」1つが通常のニューラルネットワークの1つのユニットに対応しており、従来のRNNの隠れ層をLSTMブロックで置き換えて使用する。LSTMのセルはCEC(Constant Error Carousel)と呼ばれ、以下のような特徴がある。・正確なタイミングで、セルへ出入りする情報を制御するゲート構造を持つ。・学習に必要な誤差情報をセル内のメモリに書き留めることで、勾配消失を防止する。・不要になった情報を捨てる機能も果たすゲート構造には、以下の3種類がある。各ゲートは、活性化関数を用いて情報の取捨選択を行っている。・入力ゲート 入力重み衝突問題を防止するためのゲート構造・出力ゲート 出力重み衝突問題を防止するためのゲート構造 ・忘却ゲート 誤差が過剰にセルに停留することを防止し、リセットの役割を果たす タグ :#G検定#カンペ
2024年05月27日 重み衝突問題 時系列データを扱う際の特有の問題。通常のニューラルネットワークでは、予測したいものと関係が深いデータが入力された場合は重みが大きくなり、関係が少ないデータが入力された場合は重みが小さくなる。しかし時系列データでは「今の時刻では関係性が低いが、将来の時刻では関係性が高い」入力を与えた場合に重みを小さくすべきか大きくすべきかという問題が発生する。これを重み衝突問題と呼ぶ。入力に関する場合は「入力重み衝突問題」出力に関する場合は「出力重み衝突問題」と呼ばれ、学習が妨げられる。 タグ :#G検定#カンペ