AdaBoost シミュレーター — 弱分類器のブースティング

顔検出・物体検出：Viola-Jones の顔検出器は AdaBoost の最も有名な応用です。Haar-like 特徴量の膨大な候補から、AdaBoost で有効な特徴量を選び、カスケード構造で「明らかに顔でない領域」を高速に棄却することで、当時の貧弱な計算機でもリアルタイム顔検出を実現しました。デジタルカメラの顔認識やスマートフォンの自動フォーカスなど、画像処理の現場で長く使われてきました。

表形式データの分類・回帰：AdaBoost の系譜にある勾配ブースティング決定木（GBDT）は、表形式データの分類・回帰タスクで最強の手法の一つです。XGBoost、LightGBM、CatBoost といったライブラリは、Kaggle コンペティションや実務の信用スコアリング・需要予測・異常検知で広く使われ、深層学習が苦手とする表形式データで真価を発揮します。

テキスト分類・スパム判定：初期のメールスパム判定器の多くは、単語の出現を弱分類器とした AdaBoost や類似のブースティング手法で実装されていました。各単語の出現有無は弱い特徴ですが、それを数千個重ね合わせることで高精度なフィルタが構築できます。

医療診断支援：放射線画像からの腫瘍検出や、心電図からの不整脈検出など、医療画像・生体信号の二値分類にもブースティング系手法が使われます。各特徴量の寄与（α 重み）が解釈可能なため、臨床現場での説明責任にも対応しやすい利点があります。

最も多い誤解は、「弱分類器を増やせば増やすほど精度が上がる」と単純に考えてしまうことです。確かに訓練誤差は T とともに単調に減りますが、テスト誤差は必ずしも改善しません。特にラベルノイズの多いデータでは、ノイズサンプルに重みが集中して、後半の弱学習器がノイズの暗記に費やされ過学習します。シミュレーターで T=50 にしたとき、決定境界が訓練点ぴったりにくねくね曲がるなら、それは新しいデータには弱い兆候です。実務では交差検証で T を選ぶか、Early Stopping を導入します。

次に多いのが、「決定スタンプは弱すぎて非線形問題には使えない」という思い込みです。スタンプ1個では確かに縦横の線1本しか引けませんが、AdaBoost で重み付き多数決を取ると、複雑なドーナツ状のクラスでも分離できます。上のシミュレーターで T=20 にすれば、訓練精度は十分高くなるはずです。弱学習器の「弱さ」は問題ではなく、「ランダムよりわずかに良い」性能さえあれば、ブースティングが指数的に誤差を減らしてくれます。

最後に、サンプル重みは「再サンプリング」ではなく「損失の重み付け」である点に注意してください。実装によっては重みに比例して訓練サンプルを再サンプリングする方式もありますが、AdaBoost の標準的な実装は、弱学習器の訓練時に重み付き誤分類率を最小化するだけで、データそのものは複製しません。シミュレーターも全 40 サンプルをそのまま使い、各サンプルの貢献度を w_i で調整しています。重み更新式 $w_i \leftarrow w_i\,\exp(-\alpha_t\,y_i\,h_t(\mathbf{x}_i))$ は、正しく分類されたサンプルの重みを下げ、誤分類されたサンプルの重みを上げる対称的な形になっています。