弱学習器を1つずつ順番に構築していき、新しい弱学習器の構築には以前構築された弱学習器の結果を利用する手法であるブースティングのひとつ。
勾配ブースティングは、各データの出力と予測の差をまとめた目的関数を最小化するために、勾配降下法を使用する。