ニューラルネットワークの初期値の設定が、学習の収束に影響を与えることがある。
すべての重みをほぼ同じ初期値に設定すると、すべての重みが同じように更新されてしまうし、重みをバラバラな値に設定した場合も、バラつきが大きすぎると勾配消失問題を引き起こしやすくなる。
そのため、先行する層のニューロンの数を考慮して重みを初期化すべきだと考えられている。

Heの初期値は、活性化関数にReLU関数を用いる場合に使用されることが多い初期値である。
ガウス分布（正規分布）または一様分布に基づいてランダムに重みを初期化する。