2024年04月19日

Mish関数

ミッシュ関数。
ReLU関数の派生版。
関数への入力値が0以下の場合には、出力値がほぼ0（※わずかに負の値になり、最小値は約-0.31）になる。
入力値が0より上の場合には、出力値が入力値とほぼ同じ値（最大値は∞）になる関数。

2024年04月18日

Swish関数

スウィッシュ関数。
ReLU関数の派生版。
関数への入力値が0以下の場合には出力値がほぼ0（わずかに負の値になる）に、入力値が0より上の場合には出力値が入力値とほぼ同じ値となる関数。

2024年04月17日

ReLU関数の派生版。
Google DeepMind が発表。
ランダム正則化機能も備えたReLU。

2024年04月16日

＝PReLU＝Parametric Rectified Linear Unit
ReLU関数の派生版。
入力値が０以下の場合は、出力値が入力値をａ倍した値になる（ａは学習されるパラメータ）。

2024年04月12日

もっとも有名なReLU関数の派生版。
入力値が負の領域でもわずかな傾きを持っているため、全領域で微分がゼロになることがない。