バイアス・バリアンス トレードオフ シミュレーター

モデル選択とハイパーパラメータ調整：決定木の深さ、ニューラルネットの層数・幅、サポートベクターマシンのカーネルパラメータ——どれも「複雑さ」を制御するつまみであり、本質的にはバイアスとバリアンスのトレードオフを動かしています。交差検証でテスト誤差のU字の底を探す作業は、まさにこのツールが描く分解曲線の谷を、真の関数を知らないまま推定する営みです。

正則化の設計：リッジ回帰のλ、Lasso、ニューラルネットのweight decayやドロップアウトは、いずれもモデルの実効的な複雑さを下げてバリアンスを抑える道具です。本シミュレーターも数値安定化のために微小なリッジ（λ=1e-6）を入れていますが、λを大きくすればバイアスが増えバリアンスが減る——正則化の効果そのものを再現できます。過学習しているときに「λを上げる」のは、U字の右側から底へ戻す操作にあたります。

データ収集の意思決定：「データをもっと集めるべきか、モデルを変えるべきか」は現場で頻出の問いです。バリアンスが支配的なら、データを増やすほど予測のばらつきが減り効果的です。一方バイアスが支配的なら、いくらデータを足しても誤差は頭打ちで、特徴量設計やモデルの見直しが必要です。本ツールでデータ点数を増やすとバリアンスだけが下がる挙動が、この判断の根拠を直感的に示します。

アンサンブル学習の理解：バギングやランダムフォレストは、多数のモデルの予測を平均することでバリアンスを下げる手法です。これは本シミュレーターの「平均予測」がデータセットごとの暴れた曲線よりずっと真の関数に近い、という事実そのものです。逆にブースティングは弱学習器を足し合わせてバイアスを下げる方向に働きます。アンサンブルの設計思想はバイアス・バリアンス分解で明快に説明できます。

まず最大の誤解が、「訓練誤差が小さい＝良いモデル」という思い込みです。複雑なモデルは学習データに対していくらでも誤差を下げられ、次数を点数まで上げれば訓練誤差はほぼゼロにできます。しかしそれは過学習であり、汎化誤差（テスト誤差）は逆に増えます。評価すべきは常に「見ていないデータでの誤差」です。訓練誤差とテスト誤差が大きく乖離していたら、それは過学習の典型的なサインです。本ツールが計算しているのは一貫してテストグリッド上の汎化誤差であって、訓練誤差ではありません。

次に、「データを増やせば何でも解決する」という過信です。データ量を増やすとバリアンスは確実に下がりますが、バイアスにはほとんど効きません。直線モデルで正弦波を近似している限り、観測点を100倍に増やしても平均予測は真の曲線に近づきません。学習不足の状態でひたすらデータを集めるのは、コストばかりかかって誤差が下がらない典型的な失敗です。まずバイアスとバリアンスのどちらが支配的かを見極め、それに応じた対策を選ぶ必要があります。

最後に、「バイアス・バリアンス分解は実データでそのまま計算できる」という誤解です。本シミュレーターはバイアスとバリアンスを別々に出していますが、これは真の関数 f(x) を知っていて、独立なデータセットを何個も生成できる「神の視点」だからこそ可能なことです。現実のタスクでは真の関数は不明で、データセットは1つしかありません。だから実務では分解そのものではなく、交差検証によるテスト誤差の推定でトレードオフを間接的に扱います。本ツールはあくまで、その背後で何が起きているかを理解するための学習用モデルだと捉えてください。