权重初始化模拟器 — Xavier·He

图像识别的深层CNN：ResNet、VGG等卷积神经网络广泛使用ReLU，因此He初始化事实上已成为标准。He论文（2015年）正是为了"从零开始稳定训练30层级的ReLU网络"而提出的。卷积层中，扇入被定义为"卷积核大小×输入通道数"，然后按Var(W)=2/n计算。若沿用Xavier初始化训练深层CNN，常见的现象是训练初期损失不下降，人们可能怀疑"学习率设不好"，实际原因往往就是初始化。

自然语言处理与Transformer：Transformer内部包含大量全连接层，激活函数采用GELU（ReLU的光滑变种）。原始论文在Xavier系初始化基础上，还针对残差连接的层数做了初始化缩放。GPT系列在输出射影层使用1/√(2L)的缩放（L为层数），这是"深度自适应初始化"。权重初始化不是简单的前处理，而是架构设计的一部分。

迁移学习·微调：使用预训练模型时，模型主体的权重已学成，不需初始化。但新增的输出头（如分类层）需要初始化。这里若用过大的初始值，微调初期梯度波动剧烈，会破坏预训练的好特征。输出头应采用较小初始化，或设置比主体更低的学习率。

学习失败时的诊断："损失完全不下降"或"数个epoch后变成NaN"时，应首先输出各层活性化的标准差进行检查。如果像本工具一样看到std逐层消失，说明初始化过小；如果发散，则初始化过大。在怀疑学习率或优化器之前，检查初始化和活性化分布是更高效的调试步骤。

最常见的误解是"初始化方法都差不多，只要调整学习率就能收敛"。本工具可以验证：ReLU·12层网络，用He初始化时最终层std约1.0，用std=0.01小随机数时信号缩小到天文数字，用std=1.0大随机数时爆炸。这不是学习率能救的——若梯度消失，增加学习率也产生不了有意义的更新。初始化不仅是"决定起点"，更是"创造梯度能流动的土壤"。

其次是"混淆扇入（n_in）和扇出（n_out）"。本工具侧重正向传播的分布保存，采用Var(W)=2/n_in（He）。但Xavier原论文为了同时保存正向和反向的分布，提出Var(W)=2/(n_in+n_out)的平均形式。不同框架的实现可能采用fan_in或fan_out模式，对分布的影响可达数倍。务必查看使用框架的默认规约。

最后是"用了Batch Normalization就无需考虑初始化"的思想。确实BN通过正规化各层输出来吸收初始化的粗糙度。但BN本身有可学习的缩放·平移参数（初值为缩放1、平移0），这也是一种初始化。在残差连接网络中，有意将残差分支末尾的BN缩放初始化为0，使网络初期表现为恒等映射，这是"策略性零初始化"。BN存在时初始化设计并未消失，只是形式改变了。