オンライン学習は、毎回データサンプルを１つずつ入力し（バッチサイズ１）、それを使ってパラメータ更新を行う。
学習データがN件存在する場合、N件からランダムに１件抽出して予測・分類誤差を算出し、モデル性能を高めていく。
このサイクルを繰り返し、あらかじめ指定した学習ラウンドや停止条件を満たすと終了する。

オンライン学習では、学習率をどう設定するかが重要なポイントである。

ミニバッチ学習と同様、局所最適解に陥りにくい。
１つずつデータを投入するため、メモリ使用量が少なく学習にかかる計算負荷が小さいというメリットがある。
１つひとつのデータに対してパラメータの更新を行うため、データの中の外れ値に敏感に反応し、結果が不安定になりやすい。
異常なデータが入力されると、モデルの予測性能がそのデータにひっぱられるおそれがある。