DQNを拡張させた手法もいろいろある。
有名なのはダブルDQN（DDQN）やデュエリングネットワーク、ノイジーネットワークなど。

さらにこれらのアルゴリズムの良い特徴を組み合わせた「全部のせ」モデルがRAINBOW。
Atariのゲームを使ったテストでは他のすべての手法に勝るパフォーマンスを示す。