› 线性回归模拟器 返回
统计·数据科学

线性回归·最小二乘法模拟器

改变噪声、真实斜率和数据点数来随机生成数据,并以动画显示直线接近最小二乘解的过程。实时查看决定系数R²、残差和相关系数,亲身体验最小二乘法的工作原理。

参数

暂停时拖动滑块,结果会立即更新。

计算结果
—
斜率 b
—
截距 a
—
决定系数 R²
—
残差平方和 SSR
—
相关系数 r
0
数据点数 n
y = — x + —
数据点与回归直线
理论与主要公式
\(b = \frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{\sum(x_i-\bar{x})^2}\)
\(a = \bar{y} - b\bar{x}\)
\(R^2 = 1 - \frac{SS_E}{SS_T} = \frac{SS_R}{SS_T}\)

💬 讲解对话

🙋
线性回归就是“画一条最靠近这些点的直线”吗?可“最靠近”用什么来衡量呢?
🎓
最小二乘法就是“使纵向距离(残差)的平方和最小的直线”。为什么要平方?一是避免正负相互抵消,二是让偏离大的点影响更大。在本工具中打开“显示残差线”,就能看到各点到直线的纵向距离。
🙋
R² 是 0.8 的话,算是“拟合得还不错”吗?
🎓
对。意思是“模型解释了数据变动的 80%”。不过标准因领域差别很大:物理实验中 R² 不到 0.99 可能就不满意,经济数据中 0.5 也可能有意义。不能一概而论“越高越好”。
🙋
数据里只混进一个离群值,直线就会大幅偏移吗?该怎么处理?
🎓
会的。因为残差要平方后求和,远离的一个点会把直线强烈地拉过去。首先要查明离群值为什么出现:如果是测量错误可以剔除,如果是真实现象就不能剔除。统计上的对策有“稳健回归”(如最小化绝对值的 L1 回归)。机器学习中 Huber 损失函数很有名。

常见问题

Q. 相关和因果有什么区别?
A. 相关(Correlation)表示两个变量一起变动,因果(Causation)是原因与结果的关系。“冰淇淋卖得多的日子溺水事故也多”是相关,但冰淇淋并不是溺水的原因(夏天是共同原因)。回归分析可以量化相关,但不能证明因果。
Q. 多元回归和一元回归有什么区别?
A. 本工具是只有一个解释变量的一元回归(y=a+bx)。多元回归使用多个解释变量(y=a+b₁x₁+b₂x₂+…)。CAE 中常用“由材料特性、载荷、温度预测应力”这样的多变量回归。
Q. 置信区间和预测区间有什么区别?
A. 置信区间是回归直线(均值)的不确定范围,预测区间是新的一个点的预测值范围。预测区间一定更宽。本工具不绘制置信区间,而是显示最小二乘直线以及决定系数 R²、残差平方和 SSR 和相关系数 r。
Q. 与机器学习有什么不同?
A. 线性回归是机器学习的基础,也是最简单的监督学习模型。机器学习还会使用加入正则化(LASSO、Ridge)的线性回归以及非线性模型(决策树、神经网络)。重视统计解释(p 值、置信区间)的是经典回归,重视预测精度的是机器学习方法。

什么是线性回归·最小二乘法模拟器

线性回归的模型对观测数据点 \((x_i, y_i)\) 假设直线 \(y = a + b x\)(a:截距,b:斜率)。最小二乘法求使各数据点纵向误差(残差) \(\varepsilon_i = y_i - (a + b x_i)\) 的平方和 \(S = \sum_{i=1}^{n} \varepsilon_i^2\) 最小的参数 \(a, b\)。解 \(\frac{\partial S}{\partial a} = 0\)、\(\frac{\partial S}{\partial b} = 0\) 可解析地得到 \(b = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2}\)、\(a = \bar{y} - b \bar{x}\),其中 \(\bar{x}, \bar{y}\) 为各自的平均值。决定系数 \(R^2 = 1 - \frac{\sum \varepsilon_i^2}{\sum (y_i - \bar{y})^2}\) 用 0 到 1 的值表示拟合优度,一元回归中等于相关系数 r 的平方。在本模拟器中,每次改变噪声、真实斜率或数据点数都会重新生成数据,可以实时观察直线逐渐接近最小二乘解的过程以及残差和 R² 的变化,从而直观理解最小二乘法如何把握数据的离散并确定直线。

现实世界中的应用

工业中的实际应用
制造业中,线性回归常用于分析零件耐久试验数据。例如用最小二乘法建立温度与疲劳寿命的关系模型,用决定系数 R² 评价拟合程度,以帮助规划试制和追加试验。半导体制造中也会用回归把握气体流量等设备参数与膜厚等结果之间的关系,用于调整工艺条件。

研究与教学中的应用
大学物理实验中,把弹簧伸长量与砝码质量的关系作为数据点绘制,用线性回归验证胡克定律。在本工具中打开残差线,可以直观看到最小二乘法到底在最小化什么。环境科学中也把它作为分析气温或二氧化碳浓度长期变化、根据 R² 讨论模型合理性的教材。

与 CAE 分析的联系及实务定位
验证 CAE 模拟结果时,线性回归被用来评价实验数据与分析值的相关性。例如把 FEM 分析得到的应力与实测值做回归,检查斜率是否接近 1、截距是否接近 0、R² 是否足够高(即使 R² 很高,斜率偏离 1 也说明存在系统误差)。本工具是用来快速确认这一思路的学习工具。

常见误解与注意事项

人们容易认为“数据点越多,决定系数 R² 一定越高”,但实际上,对含有离群值或非线性关系的数据硬用直线回归时,R² 可能会下降。R² 表示拟合优度,但很大程度上取决于数据的质量和分布,因此需要注意,单纯增加样本数并不一定能改善它。

常有人误以为“所有数据点都应落在 95% 置信区间内”,但实际上置信区间表示的是回归直线平均位置的不确定性,与表示单个数据点离散程度的预测区间不同。因此很多数据点落在置信区间之外在统计上并没有问题,注意不要混淆两者。

人们容易认为“最小二乘法是适用于任何数据的万能方法”,但实际上它对离群值非常敏感,一个极端数据点就可能使回归直线严重扭曲。此外,当数据不是直线关系或误差不服从正态分布时,需要考虑其他回归方法或数据预处理。

使用指南

  1. 拖动“离散度 σ(噪声)”“真实斜率”“数据点数 n”滑块,会在真实直线 y=(真实斜率)×x+1.5 周围随机生成数据点
  2. 观察蓝色直线从水平的初始状态逐渐接近最小二乘直线。打开“显示残差线”,可以看到各点到直线的纵向距离(残差)
  3. 决定系数 R²、残差平方和 SSR、相关系数 r、斜率 b 和截距 a 实时更新。打开“自动扫描噪声”后 σ 会自动变化,可以连续观察 R² 随噪声增大而下降

具体计算示例

本工具的数据点是在真实直线 y=x+1.5(真实斜率 1、截距 1.5)周围生成的,x 在 0.4~9.6 之间均匀随机分布。x 的方差为 9.2²/12≈7.05,因此噪声为 σ 时决定系数的估计值为 R²≈7.05/(7.05+σ²):σ=0.5 时 R²≈0.97,初始值 σ=1.4 时 R²≈0.78,σ=3 时 R²≈0.44。由于每次都用随机数重新生成数据点,显示值会在这一估计值附近波动(n=24、σ=1.4 时实测约 0.70~0.85)。斜率 b 的波动(标准误差)约为 σ/√(n×7.05),σ=1.4、n=24 时约为 0.11。

实际应用注意事项