シンプルな非線形関数。「ランプ関数」、「正規化線形関数」とも呼ばれる。
入力値が負の値のときは0、入力値が正の値のときは入力値をそのまま返す。（ f(x)＝x ）
入力値xが0より大きい時の微分値は常に1になる。
Tanh関数では微分値の最大値は1（x=0)で、それ以外は1より小さくなるため、ReLU関数の方が勾配消失が発生しにくい。
最近は活性化関数としてReLU関数がよく使われる。
最近は活性化関数としてReLU関数がよく使われる。
しかし、入力値が0以下の場合には勾配が0になってしまうため、ReLU関数でも勾配消失は起こりうる。
入力値が入力大きくなるに従って出力も大きくなるため、学習が速い。
入力値が入力大きくなるに従って出力も大きくなるため、学習が速い。
ReLU関数にはさまざまな派生版が生まれたが、派生元のReLU関数が一番いい精度を出すことが多い（理由は明らかになっていない。）
●Leaky ReLU関数もっとも有名な派生版。
入力値が負の領域でもわずかな傾きを持つため、全領域で微分が0になることがない。
●Parametric ReLU関数（PReLU）
入力値が0以下の場合は、出力値が入力値をα倍した値になる。
（αは学習されるパラメータ）
（αは学習されるパラメータ）
