› 線形回帰シミュレーター 戻る
統計・データサイエンス

線形回帰・最小二乗法シミュレーター

ノイズ・真の傾き・データ点数を変えて乱数データを生成し、直線が最小二乗解へ近づく様子をアニメーションで表示。決定係数R²・残差・相関係数をリアルタイムで確認して、最小二乗法の仕組みを体感できます。

パラメータ

一時停止中はスライダーを動かすと結果が即座に更新されます。

計算結果
—
傾き b
—
切片 a
—
決定係数 R²
—
残差平方和 SSR
—
相関係数 r
0
データ点数 n
y = — x + —
データ点と回帰直線
理論・主要公式
\(b = \frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{\sum(x_i-\bar{x})^2}\)
\(a = \bar{y} - b\bar{x}\)
\(R^2 = 1 - \frac{SS_E}{SS_T} = \frac{SS_R}{SS_T}\)

💬 解説ダイアログ

🙋
線形回帰って「点に一番近い直線を引く」という感じですか?でも「一番近い」って何で測るんですか?
🎓
「縦方向の距離(残差)の二乗の合計を最小にする直線」が最小二乗法だ。なぜ二乗か、というと符号が相殺しないようにするためと、外れ値の影響を強くするためだ。このツールで「残差線を表示」をオンにすると、各点から直線への縦の距離が見えます。
🙋
R²が0.8だと「まあまあ当てはまってる」感じですか?
🎓
そう。「データの変動の80%をモデルが説明できてる」という意味だ。ただし分野によって基準が大きく異なる。物理実験ならR²=0.99でないと不満、経済データなら0.5でも有意という場合もある。一概に「高ければ良い」とは言えない。
🙋
データに外れ値が1つ混ざるだけで、直線は大きくずれるんですか?どう対処するんですか?
🎓
ずれる。残差を二乗して足すので、遠く離れた1点に直線が強く引っ張られるんだ。まず外れ値がなぜ発生したかを調べることが先決だ。測定ミスなら除外、本物の現象なら除外できない。統計的対処法としては「ロバスト回帰」(絶対値を最小化するL1回帰等)がある。機械学習ではHuber損失関数が有名だ。

よくある質問

Q. 相関と因果の違いは何ですか?
A. 相関(Correlation)は2変数が一緒に変動することを示しますが、因果(Causation)は原因と結果の関係です。「アイスが売れる日は溺死事故が多い」は相関ですが、アイスが溺死の原因ではなく(夏という共通の原因がある)。回帰分析は相関を定量化しますが、因果を証明しません。
Q. 重回帰と単回帰の違いは?
A. このツールは説明変数が1つの単回帰(y=a+bx)です。重回帰は複数の説明変数を使います(y=a+b₁x₁+b₂x₂+…)。CAEでは「材料特性・荷重・温度から応力を予測」のような多変数回帰がよく使われます。
Q. 信頼区間と予測区間の違いは?
A. 信頼区間は回帰直線(平均値)の不確かさの範囲、予測区間は新しい1点の予測値の範囲です。予測区間の方が必ず広くなります。このツールでは信頼区間は描画せず、最小二乗直線と決定係数R²・残差平方和SSR・相関係数rを表示します。
Q. 機械学習とどう違いますか?
A. 線形回帰は機械学習の基礎であり、最も単純な教師あり学習モデルです。機械学習では線形回帰に正則化(LASSO・Ridge)を加えたモデルや、非線形モデル(決定木・ニューラルネット)も使います。統計的解釈(p値・信頼区間)を重視するのが古典的回帰、予測精度を重視するのが機械学習的アプローチです。

線形回帰・最小二乗法シミュレーターとは

線形回帰の物理モデルでは、観測データ点 \((x_i, y_i)\) に対し、直線 \(y = a + b x\)(a:切片、b:傾き)を仮定します。最小二乗法は、各データ点の縦方向の誤差(残差) \(\varepsilon_i = y_i - (a + b x_i)\) の二乗和 \(S = \sum_{i=1}^{n} \varepsilon_i^2\) を最小にするパラメータ \(a, b\) を求めます。偏微分 \(\frac{\partial S}{\partial a} = 0\)、\(\frac{\partial S}{\partial b} = 0\) を解くと、解析的に \(b = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2}\)、\(a = \bar{y} - b \bar{x}\) が得られます。ここで \(\bar{x}, \bar{y}\) は各平均値です。決定係数 \(R^2 = 1 - \frac{\sum \varepsilon_i^2}{\sum (y_i - \bar{y})^2}\) はモデルの当てはまりの良さを0から1の値で示し、単回帰では相関係数rの二乗に一致します。本シミュレーターでは、ノイズ・真の傾き・データ点数を変えるたびにデータが作り直され、直線が最小二乗解へ近づいていく過程と、残差やR²の変化をリアルタイムで観察できます。これにより、最小二乗法がデータのばらつきをどう捉え、直線を決定するかを直感的に理解できます。

実世界での応用

産業での実際の使用例
製造業では、部品の耐久試験データの解析に線形回帰がよく使われます。例えば、温度と疲労寿命の関係を最小二乗法でモデル化し、決定係数R²で当てはまりを評価して、試作や追加試験の計画に役立てます。半導体製造でも、ガス流量と膜厚のような装置パラメータと出来栄えの関係を回帰で把握し、プロセス条件の調整に使われています。

研究・教育での活用
大学の物理学実験では、ばねの伸びとおもりの質量の関係をデータ点としてプロットし、線形回帰でフックの法則を検証します。本ツールで残差線を表示すると、最小二乗法が何を最小にしているのかを視覚的に確認できます。また、環境科学では気温や二酸化炭素濃度の経年変化を分析し、R²からモデルの妥当性を議論する教材としても使われます。

CAE解析との連携や実務での位置付け
CAEシミュレーションの結果検証では、実験データと解析値の相関を評価する手段として線形回帰が使われます。例えば、FEM解析で得た応力と実測値を回帰し、傾きが1に近いか、切片が0に近いか、R²が十分に高いかを確認します(R²が高くても傾きが1からずれていれば系統的な誤差があります)。本ツールは、その考え方を手早く確かめるための学習用ツールです。

よくある誤解と注意点

「データ点が多ければ多いほど決定係数R²は必ず高くなる」と思いがちですが、実際は外れ値や非線形な関係を含むデータを無理に直線で回帰するとR²が低下する場合があります。R²はモデルの当てはまりの良さを示しますが、データの質や分布に大きく依存するため、単純にサンプル数だけを増やしても改善しないことに注意が必要です。

「95%信頼区間の範囲内にすべてのデータ点が収まるべきだ」と誤解されがちですが、実際は信頼区間は回帰直線の平均的な位置の不確かさを示すものであり、個々のデータ点のばらつきを表す予測区間とは異なります。そのため、多くのデータ点が信頼区間の外にあっても統計的に問題はなく、この違いを混同しないように注意が必要です。

「最小二乗法はどんなデータにも適用できる万能な手法」と思いがちですが、実際は外れ値に非常に敏感で、1つの極端なデータ点が回帰直線を大きく歪めることがあります。また、データが直線関係でない場合や誤差が正規分布していない場合には、別の回帰手法やデータの前処理を検討する必要がある点に注意が必要です。

使い方ガイド

  1. 「散らばり σ(ノイズ)」「真の傾き」「データ点数 n」のスライダーを動かすと、真の直線 y=(真の傾き)×x+1.5 の周りに乱数で点が生成されます
  2. 青い直線が水平な初期状態から最小二乗直線へ近づいていく様子を観察します。「残差線を表示」をオンにすると、各点から直線までの縦の距離(残差)が見えます
  3. 決定係数R²・残差平方和SSR・相関係数r・傾きb・切片aがリアルタイムで更新されます。「ノイズを自動スイープ」をオンにするとσが自動で変化し、ノイズに応じてR²が下がる様子を連続的に確認できます

具体的な計算例

本ツールの点は、真の直線 y=x+1.5(真の傾き1、切片1.5)の周りに、xを0.4〜9.6の一様乱数として生成されます。xの分散は9.2²/12≈7.05なので、ノイズσのときの決定係数の目安は R²≈7.05/(7.05+σ²) です。σ=0.5ならR²≈0.97、初期値のσ=1.4ならR²≈0.78、σ=3ならR²≈0.44になります。点は毎回乱数で作り直されるため、表示値はこの目安の前後でばらつきます(n=24、σ=1.4で実測0.70〜0.85程度)。傾きbのばらつき(標準誤差)は約σ/√(n×7.05)で、σ=1.4、n=24ならおよそ0.11です。

実務での注意点