参数设置
输入信号类型
输入维度固定为 D = 10。所选信号决定本质维数,加入噪声后用 N = 50 个样本进行 SGD 训练。随着轮次推进,损失下降,重构 x̂ 逐渐与输入 x 重合。
编码·瓶颈·重构与学习曲线
上方=输入信号 x(蓝色实线)与重构 x̂(橙色虚线)/左下=瓶颈 z(K 个)/右下=训练步数与损失 MSE。随着轮次推进,x̂ 与 x 重合,损失下降。
理论与主要公式
一维线性自编码器用编码矩阵 $W_e \in \mathbb{R}^{K \times D}$ 把输入 $x \in \mathbb{R}^D$ 压缩成低维潜在表示 $z$,再用解码矩阵 $W_d \in \mathbb{R}^{D \times K}$ 还原到原来的维度。
编码、解码与重构误差:
$$z = W_e\,x, \qquad \hat{x} = W_d\,z = W_d\,W_e\,x$$
$$L = \lVert x - \hat{x} \rVert^2$$
随机梯度下降的更新式(学习率 $\eta$):
$$W_e \leftarrow W_e + 2\eta\,W_d^{\top}(x - \hat{x})\,x^{\top}$$
$$W_d \leftarrow W_d + 2\eta\,(x - \hat{x})\,z^{\top}$$
优化收敛后 $W_d W_e \approx V V^{\top}$($V$ 为前 $K$ 个主成分),线性自编码器成为与 PCA 等价的子空间投影。
什么是一维线性自编码器模拟器
🙋
自编码器不就是把输入原样输出的网络吗?这有什么意思?
🎓
粗略地说,关键在于中间夹着一个叫“瓶颈”的窄层。例如训练它把 10 维的输入压缩到只有 3 维,再还原成原来的 10 维。如果输入真的有 10 个自由度,就不可能还原;但如果数据其实只落在“3 维的薄空间”上,就几乎能完美还原。在模拟器中保持 K = 3 并按“重新训练”,重构损失 MSE 应该会降到噪声大小的程度(σ=0.1 时约 0.007)。
🙋
确实!那我把 K 降到 1,MSE 一下子变大了(约 0.007 → 约 0.19)。这是说没办法把 3 维的信息塞进一个数里吗?
🎓
没错。从信息论来说,用一个数表示本质上 3 维的信号就必须舍弃信息,剩下 2 个方向的方差会直接表现为“重构误差”。对于线性自编码器,理论上已经证明压缩到 K 维的最优解与“向前 K 个主成分的投影”一致。所以线性自编码器实际上就是 PCA。
🙋
诶,和 PCA 一样?那用自编码器是为了什么?
🎓
好问题。只要保持线性,PCA 确实就够了。但一旦在编码器和解码器中加入非线性激活函数(ReLU、tanh 等),就能沿着“弯曲的流形”压缩。例如 MNIST 手写数字落在“784 维中的薄曲面”上,线性空间无法捕捉。实际中被广泛应用于图像压缩、异常检测、去噪、生成模型(VAE)等。
🙋
把噪声滑块调高后,明明是 3 维,MSE 却越来越大。这是怎么回事?
🎓
这就是“噪声下限”。数据方差中由本质 3 维成分造成的部分是固定的,加入噪声后总方差会比它更大。K = 3 的自编码器只能捕捉本质成分,噪声成分作为重构误差留了下来。所以重构 MSE 等于噪声中不落在 K 维子空间里的那部分,约为 $\sigma^2(1-K/D)$(σ=0.1、K=3 时约 0.007)。反过来说,这也是“自编码器自动去除噪声”的去噪机制。
常见问题
学习率过大时,梯度下降会越过损失的谷底跳到另一侧,MSE 增大或振荡。线性自编码器是二次函数的最小化问题,η 极端时可能发散成 NaN。本模拟器以 η = 0.05 左右为初始值,η 在 0.3 以上时可能出现发散倾向。不稳定时请把 η 调回 0.01~0.05 的范围。
SGD 是随机的,迭代次数少时无法充分接近最优解。在本模拟器中把迭代次数降到 10,可以确认即使 K = 3,MSE 也降得不够。以 500~1000 次左右为参考,确认学习曲线已经变平。另外,线性自编码器也可以用闭式解(SVD)求解,但这里用与深度学习相通的 SGD 训练。
不一定。线性自编码器的最优解只唯一确定到“前 K 个主成分张成的子空间”,在其内部还有旋转的自由度,因为向同一子空间的投影可以由无数 (We, Wd) 组合实现。要取出主成分本身,需要在训练后对 We·X 的协方差矩阵再做对角化的后处理。
把 K 设得比 3 大(例如 5 或 9)时,重构 MSE 还会再稍微下降(σ=0.1、K=5 时约 0.005)。但由于本质上只有 3 维信息加噪声,下降的部分只是多出来的维度学习了一部分噪声成分。过大的瓶颈维度反而会导致“记住噪声”,降低对新数据的泛化性能。这就是作为自编码器正则化而保持 K 较小的原因之一。
现实世界中的应用
异常检测:只用正常数据训练自编码器,正常输入能以较低的重构误差还原,而异常输入的误差会变大。在生产线振动数据、医学图像、网络通信日志等带标签异常数据很少的场合被广泛使用。像本模拟器这样学习“本质维数+噪声”数据结构的机制是其基础。
图像·视频压缩:作为 JPEG/MPEG 的替代,基于深度自编码器的学习型图像压缩正在研究中。编码器把图像转换为紧凑的潜在表示,解码器再还原。线性自编码器是其起点,在数学上与 PCA 压缩和人脸识别中的特征脸方法等价。
表示学习·特征提取:用自编码器从大量无标签数据中学习“有意义的特征”,再作为预训练用于下游任务(分类、回归)。BERT、GPT 等现代自监督学习在广义上也继承了“预测输入的一部分”这种自编码器式的思路。
生成模型(VAE·扩散模型的基础):变分自编码器(VAE)是在潜在空间中引入概率分布、从而能够生成新样本的扩展。近年的扩散模型也与潜在空间中的自编码器式思路密切相关。线性自编码器是这些最先进模型最基本的基础。
常见误解与注意事项
最常见的误解是以为“自编码器能像魔法一样压缩信息”。从信息论来说,K 维瓶颈能通过的信息量有上限,K 低于数据本质维数时信息损失不可避免。在本模拟器中把 K 设为 1 或 2,马上就会看到重构 MSE 大幅增加。“看清数据的本质维数”是自编码器设计的出发点。
其次常见的是认为线性自编码器和 PCA 是两回事。如前所述,用 MSE 损失训练的线性自编码器的最优解与 PCA 前 K 个主成分的投影一致。所以“使用线性自编码器的意义”在于作为通向深度、非线性自编码器的入口的教学价值,以及 SGD 对大规模数据的可扩展性。直接把原始数据输入线性自编码器时,从计算成本看用 SVD 往往就够了。
最后,认为“重构误差越接近零越好”也很危险。在噪声多的数据上把误差压到零,网络连噪声也会学进去,破坏对新数据的泛化。在本模拟器中保持 σ = 0.5 左右的噪声并不断增大 K,误差会持续下降,同时发生“记住噪声”。在实际中,适当选择瓶颈维度、学习率和迭代次数,并同时查看验证数据上的重构误差是必不可少的。