› AdaBoost シミュレーター 戻る
機械学習シミュレーター

AdaBoost シミュレーター — 弱分類器のブースティング

要点
AdaBoost は弱分類器の重み付き多数決 H(x) = sign(Σ αt·ht(x)) で強分類器を作ります。各段の重みは重み付き誤分類率 εt から αt = (1/2)·ln((1 − εt)/εt) で決まり、εt = 0.3 なら αt ≈ 0.424。標本重みは wi ← wi·exp(−αt·yi·ht(xi))/Zt で更新されます。

2次元データに対し、深さ1の決定スタンプを弱分類器として AdaBoost を T 回反復。サンプル重みと最終強分類器の決定境界を可視化し、なぜ弱学習器の組合せが高精度になるかを学べます。

パラメータ設定
データセット
12 回
1.0 ×

各ラウンドで弱学習器(深さ1の決定スタンプ)を1本追加し、誤分類サンプルの重み w_i を増やして強分類器を更新します。点の大きさ=現在の重み。データはシード 42 の LCG で生成し線形分離不可能です。

ライブ数値
0 / 12
現在のラウンド t / T
—
弱学習器の誤り ε_t
—
学習器の重み α_t
—
訓練精度
訓練誤差: —
ブースティングの可視化

青=クラス +1/赤=クラス −1/点の大きさ=サンプル重み/黄線=最新の決定スタンプ/白線=過去のスタンプ/背景塗り=強分類器の決定境界/右下=訓練誤差の推移

理論・主要公式

AdaBoost は重み付き多数決で強分類器を構築するブースティングアルゴリズムです。各反復で前段の誤分類に重みを集中させ、弱学習器を逐次的に訓練します。

重み付き誤分類率 ε_t と弱分類器重み α_t:

$$\varepsilon_t = \sum_{i} w_i\,\mathbb{1}[h_t(\mathbf{x}_i) \ne y_i], \quad \alpha_t = \tfrac{1}{2}\log\frac{1-\varepsilon_t}{\varepsilon_t}$$

サンプル重みの更新と正規化(Z_t は正規化定数):

$$w_i \leftarrow \frac{w_i\,\exp(-\alpha_t\,y_i\,h_t(\mathbf{x}_i))}{Z_t}$$

最終強分類器:

$$H(\mathbf{x}) = \mathrm{sign}\!\left(\sum_{t=1}^{T} \alpha_t\,h_t(\mathbf{x})\right)$$

弱学習器は深さ1の決定スタンプ(単一特徴量の閾値判定)で十分。T を増やすほど訓練誤差は指数的に減少します。

既知解による検証:ε=0.3 のとき αt = ½·ln((1−0.3)/0.3) = …(理論値 ≈ 0.424)

AdaBoost シミュレーターとは

🙋
「弱分類器」って言葉、よく聞くんですけど…弱いのに組み合わせると強くなるって、なんだか不思議ですよね?
🎓
そこが AdaBoost の面白いところだよ。ざっくり言うと、ランダムよりちょっとだけマシな分類器(深さ1の決定スタンプとか)を、何十個も「重み付き多数決」で組み合わせると、複雑な決定境界が描けるようになる。上のシミュレーターは、原点付近の青クラスとドーナツ状の赤クラスを分けようとしている。スタンプは「x ≥ 閾値」とか「y ≥ 閾値」みたいな縦横の線1本だけなのに、20回も重ねると曲線っぽい境界が浮かび上がるよ。
🙋
点の大きさが違うのはなぜですか?大きいやつと小さいやつがありますね。
🎓
それが AdaBoost の核心だ。最終的なサンプル重みを点の大きさで表している。各反復で「前段が間違えたサンプル」の重みを増やすので、決定境界の近くにいる「分類が難しい点」ほど大きくなる。逆に簡単な点はだんだん小さくなる。「次の弱学習器は、これまでに失敗した問題を頑張って解いてね」という指示を、重みという形で渡しているわけだ。
🙋
ライブ数値の「学習器の重み α_t」が毎ラウンド変わるんですが、これは何ですか?
🎓
最終強分類器は各スタンプの予測に α_t を掛けて足し合わせる。α_t は誤分類率が小さいほど大きくなる「信頼度」だ。$\alpha_t = \frac{1}{2}\log\frac{1-\varepsilon_t}{\varepsilon_t}$ で、ε=0.5(ランダム)だと α=0、ε=0.1 だと α≈1.1 になる。ドーナツの1ラウンド目は ε_t=0.300 で α_t=0.424、ラウンドが進むと残った難しい点ばかり相手にするので ε_t は 0.3〜0.4 に上がり、α_t は 0.2〜0.3 に下がっていく。「1ラウンド」ボタンで1本ずつ進めて、訓練精度と各ラウンドの α_t がどう変わるか見てごらん。
🙋
データセットを「ノイズ有り」に切り替えたら、ラベルの違う点に重みが集中して、境界がギザギザになりました。T=12 でも訓練精度は 85.0% 止まりです。
🎓
それが AdaBoost の弱点そのものだ。「ノイズ有り」は4点のラベルをわざと反転させてあって、どのスタンプも正しく分けられないから、重み更新のたびにその4点だけが大きくなる。後半のラウンドはノイズの暗記に費やされ、境界は訓練点ぴったりにくねくね曲がる。訓練精度は上がっても、新しいデータには弱い。実務では T を交差検証で決めるか、Early Stopping を入れるのが定石だよ。

よくある質問

どちらもアンサンブル学習ですが、訓練方法が異なります。Bagging(Random Forest が代表例)は訓練データをブートストラップで複数生成し、各学習器を独立に並列で訓練して多数決を取ります。AdaBoost は各反復で前段の誤分類サンプルの重みを増やしながら逐次的に学習器を訓練し、各学習器に α 重みを付けて重み付き多数決を取ります。Bagging は分散低減、Boosting はバイアス低減が主な狙いです。
AdaBoost は指数損失の貪欲最小化と解釈でき、勾配ブースティング(Gradient Boosting)の特殊ケースです。勾配ブースティングは損失関数を一般化し、対数損失や二乗誤差など任意の微分可能な損失に対して残差勾配を弱学習器でフィッティングします。XGBoost や LightGBM は勾配ブースティングをヒストグラム近似や正則化、並列化で大規模化した実装で、Kaggle 等で表形式データの定番アルゴリズムになっています。AdaBoost はその起源にあたる古典的手法です。
Viola-Jones の顔検出器(2001年)は AdaBoost を実用化した最も有名な応用例です。Haar-like 特徴量を計算する膨大な弱分類器候補から、AdaBoost で有効なものを少数選び、カスケード構造に並べることでリアルタイム顔検出を実現しました。OpenCV の haarcascade_frontalface などはこの方式の実装で、ガラケー時代の携帯カメラからデジカメの顔認識まで広く搭載されました。
理論上は反復回数 T を増やすほど訓練誤差は単調に減りますが、テスト誤差は必ずしも増えません。これは「マージン理論」で説明され、訓練誤差がゼロになった後も AdaBoost はマージン(決定境界からの距離)を広げ続けるためです。ただしラベルノイズが多いデータでは、ノイズサンプルに重みが集中して過学習を起こします。ノイズが疑われる場合は LogitBoost や勾配ブースティングの方が頑健です。

実世界での応用

顔検出・物体検出:Viola-Jones の顔検出器は AdaBoost の最も有名な応用です。Haar-like 特徴量の膨大な候補から、AdaBoost で有効な特徴量を選び、カスケード構造で「明らかに顔でない領域」を高速に棄却することで、当時の貧弱な計算機でもリアルタイム顔検出を実現しました。デジタルカメラの顔認識やスマートフォンの自動フォーカスなど、画像処理の現場で長く使われてきました。

表形式データの分類・回帰:AdaBoost の系譜にある勾配ブースティング決定木(GBDT)は、表形式データの分類・回帰タスクで最強の手法の一つです。XGBoost、LightGBM、CatBoost といったライブラリは、Kaggle コンペティションや実務の信用スコアリング・需要予測・異常検知で広く使われ、深層学習が苦手とする表形式データで真価を発揮します。

テキスト分類・スパム判定:初期のメールスパム判定器の多くは、単語の出現を弱分類器とした AdaBoost や類似のブースティング手法で実装されていました。各単語の出現有無は弱い特徴ですが、それを数千個重ね合わせることで高精度なフィルタが構築できます。

医療診断支援:放射線画像からの腫瘍検出や、心電図からの不整脈検出など、医療画像・生体信号の二値分類にもブースティング系手法が使われます。各特徴量の寄与(α 重み)が解釈可能なため、臨床現場での説明責任にも対応しやすい利点があります。

よくある誤解と注意点

最も多い誤解は、「弱分類器を増やせば増やすほど精度が上がる」と単純に考えてしまうことです。確かに訓練誤差は T とともに単調に減りますが、テスト誤差は必ずしも改善しません。特にラベルノイズの多いデータでは、ノイズサンプルに重みが集中して、後半の弱学習器がノイズの暗記に費やされ過学習します。シミュレーターで「ノイズ有り」を選び T=30 にしたとき、決定境界が訓練点ぴったりにくねくね曲がるなら、それは新しいデータには弱い兆候です。実務では交差検証で T を選ぶか、Early Stopping を導入します。

次に多いのが、「決定スタンプは弱すぎて非線形問題には使えない」という思い込みです。スタンプ1個では確かに縦横の線1本しか引けませんが、AdaBoost で重み付き多数決を取ると、複雑なドーナツ状のクラスでも分離できます。上のシミュレーターでドーナツを T=20 まで進めると、訓練精度は 100.0% に達します。弱学習器の「弱さ」は問題ではなく、「ランダムよりわずかに良い」性能さえあれば、ブースティングが指数的に誤差を減らしてくれます。

最後に、サンプル重みは「再サンプリング」ではなく「損失の重み付け」である点に注意してください。実装によっては重みに比例して訓練サンプルを再サンプリングする方式もありますが、AdaBoost の標準的な実装は、弱学習器の訓練時に重み付き誤分類率を最小化するだけで、データそのものは複製しません。シミュレーターも全 40 サンプルをそのまま使い、各サンプルの貢献度を w_i で調整しています。重み更新式 $w_i \leftarrow w_i\,\exp(-\alpha_t\,y_i\,h_t(\mathbf{x}_i))$ は、正しく分類されたサンプルの重みを下げ、誤分類されたサンプルの重みを上げる対称的な形になっています。

使い方ガイド

  1. 「データセット」でドーナツ/2クラスタ/XOR/ノイズ有りのいずれかを選びます(切り替えると自動で再生が始まります)
  2. スライダー「ブースティング反復回数 T」で反復数を1~30に設定します(既定12)。決定スタンプを積み重ねる回数を制御します
  3. 「一時停止」「1ラウンド」「最初から」で1ラウンドずつ進め、誤分類された点が大きくなる(重み w_i が増える)様子と、黄線で示される最新のスタンプを観察します
  4. 「ライブ数値」の ε_t・α_t・訓練精度を各ラウンドで読み、右下の訓練誤差カーブが下がっていくことを確認します

具体的な計算例

既定の「ドーナツ」はクラス +1(原点付近)20点とクラス −1(半径3のドーナツ状)20点の計40点です。ラウンド1のスタンプは y≈1.42 の横線1本で、重み付き誤り率 ε_1=0.300、α_1=½·ln(0.700/0.300)=0.424、訓練精度 70.0% です。ラウンド5で訓練精度は 90.0%(訓練誤差 10.0%)、ラウンド8では ε_8=0.310 → α_8=0.401、既定の T=12 では ε_12=0.354、α_12=0.302、訓練精度 92.5% になります。T を 20 にすると訓練精度は 100.0% に達します。「ノイズ有り」に切り替えると、ラベルを反転させた4点が邪魔をして T=12 で 85.0%、T=30 でも 95.0% にとどまります。

実務での注意点

  1. 過度なブースティング(T>20)は訓練データへのオーバーフィッティングを招き、テストセット精度が低下する場合があります。バリデーション精度の監視が重要です
  2. 決定スタンプ1本(T=1)は縦横どちらかの線1本しか引けず、ドーナツ型では訓練精度 70.0% にとどまります。このシミュレーターで T=1 と T=12(92.5%)、T=20(100.0%)の訓練精度を比べてください。計算コストと精度向上のトレードオフはドメイン依存です
  3. 不均衡データセット(クラス比1:9)では重みの再調整で少数クラスサンプルへのα集中が起きやすく、意図しないバイアスが生じる可能性があります

🎬 動画で見る

捨てる排気で、力を生む|ターボチャージャーの仕組みを物理で解説
捨てる排気で、力を生む|ターボチャージャーの仕組みを物理で解説