分割阈值自动左右扫描。可用滑块调整数据的分离度和点的数量。
上半部分：两类点群与分割阈值（金色）从左到右扫描。绿色虚线＝信息增益最大的最佳分割。下半部分：信息增益随分割位置变化的曲线。
2分类问题（p1=类别1比率，p2=1−p1）中的3种不纯度指标：
$$G = 2 p_1 p_2 = 2 p_1 (1 - p_1)$$
香农熵（以2为底，p1=0,1时H=0）：
$$H = -p_1 \log_2 p_1 - p_2 \log_2 p_2$$
误分类率：
$$ME = \min(p_1, p_2)$$
父→子分割的信息增益：
$$IG = I(\text{parent}) - \sum_k \frac{|S_k|}{|S|} I(S_k)$$
所有指标的最大值都在 p1 = 0.5 时达到，基尼 = 0.5，熵 = 1.0，误分类率 = 0.5。
决策树不纯度指标模拟器是什么
🙋
决策树就像"层层嵌套的if语句"，但"不纯度"是什么意思呢？
🎓
简单来说，不纯度就是衡量某个节点的样本"类别混合程度"。比如，一个节点中苹果和橙子各占50%，那就是"不纯的"；如果几乎全是苹果，那就是"纯净的"。决策树的目标就是通过不断分割数据，尽可能降低不纯度。试试在模拟器里把"父节点的类别1比率 p1"从0.5改成0或1——你会看到基尼系数、熵和误分类率都会下降。
🙋
哦对了，我看到3条线在0.5处都达到峰值，两端都是0。但是基尼（蓝线）和熵（绿线）是圆弧形，误分类率（红线）是三角形。为什么有区别？
🎓
这是关键所在。基尼和熵都是"凹函数"——光滑的弧形山峰。误分类率是分段线性——在p1=0.5处有个拐角。在决策树分割时计算信息增益的时候，凹函数有个性质："越分割，增益越大"。但误分类率因为是折线，分割后增益常常是零。所以CART和ID3都不用误分类率作为分割标准，只在剪枝时用。
🙋
"信息增益"就是下面树形图里的"IG_Gini"对吧？比如父节点0.500减去子节点加权0.320，得到0.180？
🎓
完全正确！公式是 IG = I(父) − Σ (|S_k|/|S|) · I(子_k)，子节点不纯度用样本数加权平均，再从父节点减去。默认值里左边的p1=0.8、右边p1=0.2，左右两边都偏向一个类别，所以纯度大幅提升，IG就很大。试试把左右的p1都改成0.5——IG会变成接近0。那意思就是"分割后信息没增加"。
🙋
scikit-learn的DecisionTreeClassifier默认是 criterion='gini'。为什么不用entropy？
🎓
实际上在分类结果上，两者几乎没差别。研究论文都说"只相差几个百分点"。那就选计算快的——基尼只需要两次乘法，熵需要算log2，肯定慢一些。所以CART采用了基尼作为默认。而ID3和C4.5是熵系的，都不错。实务中最稳妥的做法是两个都试，用交叉验证对比CV分数。
常见问题
基尼不纯度的最大值为什么是0.5？
在2分类情况下，G = 2·p1·p2 = 2·p1·(1−p1)。这是关于p1的二次函数，在p1=0.5时取得最大值 2·0.5·0.5 = 0.5。推广到K分类，最大值是 1 − 1/K，比如3分类时是2/3，10分类时是0.9。基尼可以理解为"随机抽2个样本，它们来自不同类别的概率"。
熵的单位是比特吗？
取决于对数的底数。用log2就是比特（bit），用自然对数ln就是纳特（nat），用log10就是迪特（dit）。决策树和机器学习文献通常用log2，单位是bit，2分类的最大值是1bit，K分类均匀分布的最大值是log2(K) bit。本模拟器也用log2，所以2分类最大值是1.0。
什么是信息增益比（Gain Ratio）？
信息增益比是用"分割信息量（Split Information）"对信息增益进行正规化。公式为 Gain Ratio = IG / SplitInfo，其中SplitInfo是对分割枝数和偏斜度的熵。原始的IG容易偏向取值多的属性（比如顾客ID），所以C4.5用信息增益比来修正这个偏差。CART因为总是二分裂，这个问题不那么严重。
不纯度能用于类别不平衡数据吗？
可以，但要小心。极端不平衡（比如99:1）时，基尼和熵都会很小，什么都不分割看起来"纯度就很高"。scikit-learn提供了 class_weight='balanced' 来按类别反频率加权，提高少数类的误分类代价。也可以用SMOTE过采样，或配合F1、AUC等评估指标综合考虑。
实际应用
scikit-learn、XGBoost、LightGBM： Python主要的机器学习库都用基尼或熵来评估分割。scikit-learn的DecisionTreeClassifier默认criterion='gini'，XGBoost和LightGBM的梯度提升树也是一样的原理。本模拟器中"分割降低不纯度"的直观感受，就是这些库内部运作的真实写照。
信用评分和贷款决策： 金融行业广泛使用决策树和随机森林。通过"年收入""工作年限""逾期次数"等属性分割，把高违约风险和低风险的客户分开。基尼指数在金融领域也叫"基尼系数"，常用于衡量收入不平等，概念是相通的。
医疗诊断和疾病预测： 医疗支持系统常用决策树，因为可解释性强。"体温>38℃就怀疑流感，再加咳嗽就更确定"这样的分支，医生容易理解。不纯度的下降对应"通过症状缩小诊断范围"。
制造业和品质管理： 工业系统用传感器数据自动判定次品。"温度>80℃且振动>3.0G就是不良品"这样明确的规则，现场操作员也能理解。模拟器中"左子纯度高的分割"就对应"次品被很好地分离出来"。
常见误解和注意
最常见的误解是认为"选择基尼还是熵对模型性能影响很大" 。实际上两条曲线形状极其相似，分割结果通常只差几个百分点。scikit-learn官方文档就说"没有明确证据表明哪个更好"。重要的不是选哪个，而是调好 max_depth（树深）、min_samples_leaf（最小样本数）、ccp_alpha（剪枝强度）等其他超参数。在模拟器中拖动p1，对比两条曲线，你会立刻看出它们的相似性。
第二个常见错误是想用误分类率作为分割标准 。"我要最小化误分类，就选误分类率最小的分割"——这听起来合理，但其实不对。在模拟器里把左右子的p1都改成接近（比如0.4和0.6），基尼有增益，但误分类率增益往往是0。这是因为误分类率是折线，不像基尼和熵那样对分割敏感。误分类率只该用在剪枝评估，不是分割标准。
最后，信息增益大 ≠ 分割必然好 。极端例子：每个样本一个ID，按ID分割就能让所有叶纯净，IG最大，但模型完全不能泛化。C4.5的信息增益比、CART的最小样本数限制、梯度提升的正则项等，都是防止"过度分割"的机制。模拟器给出的IG是理论值，实战必须配合交叉验证和测试集评估。