Adam＝Adaptive Moment Estimation。
RMSpropとAdaGradのいいところを組み合わせた改良版の最適化アルゴリズム。
過去の勾配の二乗の指数移動平均を用いて、勾配の平均と分散を推定する。
学習の収束が早く、性能の良さからよく利用される。