重み初期化シミュレーター — Xavier・He

画像認識の深層 CNN：ResNet や VGG のような畳み込みネットワークは ReLU を多用するため、He 初期化が事実上の標準です。He 論文（2015年）はまさに「30層級の ReLU ネットを最初から安定して学習する」ために提案されました。畳み込み層ではファンインを「カーネルサイズ × 入力チャンネル数」として Var(W)=2/n を計算します。初期化を Xavier のまま深い CNN を学習させると、序盤で損失が下がらず「学習率が悪いのか」と悩むことになりますが、原因は初期化であることが多いです。

自然言語処理と Transformer：Transformer は内部に多数の全結合層を持ち、活性化に GELU（ReLU の滑らかな親戚）を使います。元論文では Xavier 系の初期化に加え、残差接続の数に応じて初期スケールを小さくする工夫が入っています。GPT 系では層数 L に対して出力射影の重みを 1/√(2L) でスケールするなど、「深さに応じた初期化」が安定学習の鍵になっています。重み初期化は単なる前処理ではなく、アーキテクチャ設計の一部です。

転移学習・ファインチューニング：事前学習済みモデルを使う場合、本体の重みは学習済みなので初期化は不要ですが、新しく付け加える出力ヘッド（分類層など）は初期化が必要です。ここで大きすぎる初期値を使うと、ファインチューニング初期に勾配が暴れて事前学習した良い特徴を壊してしまいます。出力ヘッドは小さめの初期化、または学習率を本体より低く設定するのが定石です。

学習が進まないときの診断：「損失が全く下がらない」「数エポックで NaN になる」といったトラブルでは、まず各層の活性化の標準偏差をログに出して確認します。本ツールのように層を追って std がゼロへ消えていれば初期化が小さすぎ、発散していれば大きすぎのサインです。学習率やオプティマイザを疑う前に、初期化と活性化分散をチェックするのが効率的なデバッグ手順です。

まず多いのが、「初期化はどれも似たようなもので、学習率さえ合わせれば収束する」という誤解です。本ツールで確かめられるとおり、ReLU・12層のネットで He なら最終層の std が約1.0に保たれるのに対し、std=0.01 の小さな乱数では信号が天文学的に小さくなり、std=1.0 の大きな乱数では発散します。これは学習率では救えません。勾配が消えていれば、学習率をいくら上げても更新量はゼロのままだからです。初期化は「学習開始点を決めるだけ」ではなく、「そもそも勾配が流れる土俵を作る」役割を持っています。

次に、「ファンイン（n_in）とファンアウト（n_out）を混同する」こと。本ツールでは順伝播の分散保存に着目して Var(W)=2/n_in（He）を使っていますが、Xavier の原論文は順伝播と逆伝播の両方を保ちたいため Var(W)=2/(n_in+n_out) という平均形を提案しています。実装によってどちらの規約を採るかが違い、fan_in モードと fan_out モードが用意されているフレームワークもあります。層の幅が入口と出口で大きく異なるネットワークでは、この違いが分散を数倍ずらすことがあるため、使っているライブラリの既定値を必ず確認してください。

最後に、「Batch Normalization を入れれば初期化はどうでもいい」という思い込み。確かに BN は各層の出力を正規化するので初期化の粗さをかなり吸収します。しかし BN 自体が学習可能なスケール・シフトパラメータを持ち、それらの初期値（通常スケール1・シフト0）も一種の初期化です。さらに残差接続を持つネットでは、残差ブランチの最後の BN のスケールを0に初期化すると、学習初期にネットワークが恒等写像から始まって安定する、という「ゼロ初期化を意図的に使う」テクニックもあります。BN があっても初期化の設計は消えるのではなく、形を変えて残り続けるのです。