評価を検証用と学習用のデータに分けることによって別々にモデルを評価する方法。
訓練に、教師データのすべてを使わない。
教師データの一部を「テストデータ」として残しておき、残りの「訓練データ」を学習に用いる。

・訓練データ＝学習に用いる分の教師データ
・テストデータ＝未知データへの予測性能（汎化性能）を測るための教師データ。

このような手法をホールドアウト法と呼ぶ。
モデルが過学習を起こしていないかどうかを調べるために用いられる。