每一轮添加一个弱学习器（深度为1的决策树桩），增大误分类样本的权重 w_i 以更新强分类器。点的大小＝当前权重。数据由种子 42 的线性同余生成器生成，线性不可分。
蓝色＝类别 +1 ／红色＝类别 −1 ／点的大小＝样本权重／黄线＝最新决策树桩／白线＝过去的树桩／背景填充＝强分类器决定边界／右下＝训练误差曲线
AdaBoost 是通过加权多数投票构建强分类器的提升算法。在每次迭代中增加前一阶段误分类的权重，逐步训练弱学习器。
加权误分类率 ε_t 与弱分类器权重 α_t：
$$\varepsilon_t = \sum_{i} w_i\,\mathbb{1}[h_t(\mathbf{x}_i) \ne y_i], \quad \alpha_t = \tfrac{1}{2}\log\frac{1-\varepsilon_t}{\varepsilon_t}$$
样本权重的更新与正规化（Z_t 是正规化常数）：
$$w_i \leftarrow \frac{w_i\,\exp(-\alpha_t\,y_i\,h_t(\mathbf{x}_i))}{Z_t}$$
最终强分类器：
$$H(\mathbf{x}) = \mathrm{sign}\!\left(\sum_{t=1}^{T} \alpha_t\,h_t(\mathbf{x})\right)$$
弱学习器使用深度为1的决策树桩（单特征阈值判定）就足够了。T 增加时，训练误差指数递减。
已知解验证：当 ε=0.3 时，αt = ½·ln((1−0.3)/0.3) = …
AdaBoost 模拟器是什么
🙋
我经常听到"弱分类器"这个词……弱的东西组合在一起会变强，这真的很奇怪呢？
🎓
这就是 AdaBoost 的有趣之处。粗略地说，略好于随机的分类器（比如深度为1的决策树桩）通过"加权多数投票"组合数十个，就能描绘出复杂的决定边界。上面的模拟器试图分离原点附近的蓝色类和甜甜圈形状的红色类。树桩只能是"x ≥ 阈值"或"y ≥ 阈值"这样的一条竖横线，但堆积20次就会浮现出曲线状的边界。
🎓
这是 AdaBoost 的核心。我们用点的大小表示最终的样本权重。在每次迭代中，我们增加"前一阶段出错的样本"的权重，所以位于决定边界附近、"分类困难的点"会变得越来越大。相反，容易的点会逐渐缩小。它的工作原理是通过权重的形式指示"下一个弱学习器，请努力解决迄今为止失败的问题"。
🎓
最终强分类器是每个树桩的预测乘以 α_t 后求和。α_t 是一个"置信度"，当误分类率越小时越大。$\alpha_t = \frac{1}{2}\log\frac{1-\varepsilon_t}{\varepsilon_t}$ 中，当 ε=0.5（随机）时 α=0，当 ε=0.1 时 α≈1.1。合计值表示强分类器分数的"规模"，随着 T 增加而增加。试试用滑块把 T 从1拖到50，看看训练精度和 α 合计怎样变化。
🙋
查询点 (0,0) 确实输出了"+1"！由于它在甜甜圈中心，应该是蓝色。
🎓
正确，原点是类别 +1 的中心，所以符合预期。试试把查询点移到 (3,0) 附近——那在甜甜圈的边缘，应该是 −1。再进一步移到 (5,5) 等区域外，那是训练数据不存在的地方，所以树桩的组合方式会影响预测。这也是提升法的一般特性，外推区域的边界稳定性较弱。
常见问题
AdaBoost 与 Bagging（随机森林）有什么区别？
两者都是集成学习，但训练方法不同。Bagging（随机森林是代表例）通过自助采样生成多份训练数据，各学习器独立并行训练并进行多数投票。AdaBoost 在每次迭代中增加前一阶段误分类样本的权重，逐步训练学习器，每个学习器配以 α 权重进行加权多数投票。Bagging 的主要目标是降低方差，而提升法的主要目标是降低偏差。
梯度提升和 XGBoost 与 AdaBoost 的关系是？
AdaBoost 可以理解为指数损失的贪心最小化，是梯度提升（Gradient Boosting）的特殊情况。梯度提升将损失函数推广，对对数损失或平方误差等任意可微分损失，用弱学习器拟合残差梯度。XGBoost 和 LightGBM 是通过直方图近似、正则化和并行化扩展梯度提升的实现，在 Kaggle 等比赛中成为表格数据的标准算法。AdaBoost 是这一类方法的经典起源。
Viola-Jones 人脸检测与 AdaBoost 的关系是？
Viola-Jones 人脸检测器（2001年）是 AdaBoost 的最著名实际应用。它从计算 Haar-like 特征的大量弱分类器候选中，使用 AdaBoost 选择有效的少数几个，按级联结构排列实现实时人脸检测。OpenCV 中的 haarcascade_frontalface 等是这种方式的实现，从功能手机时代的手机摄像头到数码相机的人脸识别都广泛使用。
AdaBoost 不会过拟合吗？
理论上，随着迭代次数 T 的增加，训练误差单调递减，但测试误差不一定增加。这可以用"边界理论"解释，即使训练误差变为零，AdaBoost 仍在扩大边界（到决策边界的距离）。但是，对于标签噪声较多的数据，噪声样本会集中权重，导致过拟合。如果怀疑噪声，LogitBoost 或梯度提升会更加鲁棒。
实际应用
人脸检测·物体检测： Viola-Jones 人脸检测器是 AdaBoost 最著名的应用。它从计算 Haar-like 特征的大量候选中，使用 AdaBoost 选择有效的特征，通过级联结构实现"快速棄却明显不是人脸的区域"，在当时计算机资源贫乏的条件下实现实时人脸检测。数码相机的人脸识别和智能手机的自动对焦等图像处理应用中长期使用。
表格数据的分类·回归： 源于 AdaBoost 的梯度提升决策树（GBDT）是表格数据分类和回归任务中最强的方法之一。XGBoost、LightGBM、CatBoost 等库通过直方图近似、正则化和并行化扩展，在 Kaggle 竞赛和实际的信用评分、需求预测、异常检测中广泛应用，在深度学习难以应对的表格数据上展现真正的实力。
文本分类·垃圾检测： 早期的电子邮件垃圾判定器中，许多都采用 AdaBoost 或类似提升方法，以单词出现作为弱分类器。单个单词的出现是弱特征，但堆积数千个就能构建高精度的过滤器。
医学诊断支持： 放射线图像的肿瘤检出、心电图的心律不齐检出等医学图像和生体信号的二值分类中也使用提升系方法。由于每个特征的贡献（α 权重）可以解释，所以在医疗现场的说明责任方面也有优势。
常见误解与注意事项
最常见的误解是单纯地认为"增加弱分类器的个数就能提高精度" 。虽然训练误差确实随 T 单调递减，但测试误差不一定改善。特别是对于标签噪声较多的数据，噪声样本会集中权重，导致后期弱学习器浪费在噪声的记忆上而过拟合。当你在模拟器中把 T 设为50时，如果决定边界紧贴训练点形成波浪状，那是新数据上性能会变差的信号。在实际应用中应通过交叉验证选择 T，或导入早停机制。
另一个常见误解是认为"决策树桩太弱，无法解决非线性问题" 。确实，单个树桩只能画竖横一条线，但通过 AdaBoost 进行加权多数投票，即使是甜甜圈形的复杂类也能分离。当你在模拟器中设 T=20 时，训练精度应该会达到相当高的水平。弱学习器的"弱"不是问题，只要"比随机好一点"的性能，AdaBoost 就能指数级降低误差。
最后要注意的是，样本权重是"损失加权"而不是"重新采样" 。某些实现中会根据权重按比例重新采样训练样本，但 AdaBoost 的标准实现只是在训练弱学习器时最小化加权误分类率，数据本身不会被复制。模拟器也是使用全部40个样本，仅通过 w_i 调整每个样本的贡献度。权重更新式 $w_i \leftarrow w_i\,\exp(-\alpha_t\,y_i\,h_t(\mathbf{x}_i))$ 具有对称性，正确分类的样本权重降低，误分类的样本权重升高。