交互式模拟器
Confusion 矩阵 Metrics模拟器
由混淆矩阵计算 precision、recall、F1 和 specificity,并观察假阳性与假阴性的权衡。
物理模型与主要公式
$$Precision=\frac{TP}{TP+FP},\quad Recall=\frac{TP}{TP+FN},\quad F1=\frac{2PR}{P+R}$$
这个简化模型只处理主要关系。边界条件、损失、非线性和规范修正需要按实际情况另行确认。
如何解读
先看主图中的控制性趋势,避免只看结果卡而漏掉拐点或饱和。
用敏感性图寻找裕度快速下降的输入组合。
初步设计时,先判断哪个输入主导裕度,再看绝对数值。
通过对话理解Confusion 矩阵 Metrics
🙋看Confusion 矩阵 Metrics时,应该先看哪里?调整真阳性 TP后,图和数值都会变化,有点不好判断。
🎓先看Precision,但不要只看数字。用混淆矩阵热图确认前提形状或状态,再用Precision/Recall/F1看分布和变化方式。先看主图中的控制性趋势,避免只看结果卡而漏掉拐点或饱和。
🙋真阳性 TP变大时Precision会变化,这比较直观。那假阳性 FP的影响要怎么读?
🎓逐步调整假阳性 FP并观察Recall,就能看出哪个因素在控制结果。这个简化模型只处理主要关系。边界条件、损失、非线性和规范修正需要按实际情况另行确认。 不要只算一个点,要在实际可能波动的范围内来回检查。
🙋TP/FP/FN 敏感性图主要用来做什么?只看普通曲线不够吗?
🎓TP/FP/FN 敏感性图用来找危险边界,以及余量突然变小的输入组合。用敏感性图寻找裕度快速下降的输入组合。 例如用于评审前的设计方案初步比较时,比单点结果更重要的是条件稍微偏离后会怎样。
🙋如果Precision满足要求,就可以直接采用这个条件吗?
🎓这里适合作为初步判断。它对在详细分析前筛选控制因素和不利工况和在同一输入下同时说明公式、数值和可视化有帮助,但最终判断仍要结合标准、实测值、详细分析和厂家条件。初步设计时,先判断哪个输入主导裕度,再看绝对数值。
实际使用
用于评审前的设计方案初步比较。
在详细分析前筛选控制因素和不利工况。
在同一输入下同时说明公式、数值和可视化。
常见问题
先看Precision和Recall。然后用混淆矩阵热图确认前提状态,再用Precision/Recall/F1读取分布和偏差。先看主图中的控制性趋势,避免只看结果卡而漏掉拐点或饱和。
先单独调整真阳性 TP,再以相近幅度调整假阳性 FP,比较Precision的变化。TP/FP/FN 敏感性图能显示哪些输入组合会让余量或性能快速变化。
适合用于用于评审前的设计方案初步比较。不要只看单点数值,而应扩大输入范围,确认Precision是否仍有余量,再决定是否进入详细分析。
这个简化模型只处理主要关系。边界条件、损失、非线性和规范修正需要按实际情况另行确认。最终判断仍需结合标准、实测值、详细分析和厂家条件。
使用指南
- 在输入框中分别填入混淆矩阵的四个值:真正例(TP)、假正例(FP)、假负例(FN)、真负例(TN),以患病检测为例,TP=850表示正确识别的患者
- 点击计算按钮,模拟器将实时输出Precision(精确率)、Recall(召回率)、F1(调和平均值)、Specificity(特异性)四个核心指标
- 观察假阳性与假阴性的权衡关系,根据应用场景调整分类阈值,重新输入参数进行迭代优化
具体计算示例
某癌症筛查模型检测1000个样本:TP=680(真正患者被正确识别),FP=120(健康人被误诊),FN=50(患者漏诊),TN=150(健康人正确排除)。计算结果:Precision=680÷(680+120)=85%,Recall=680÷(680+50)=93.2%,F1=2×(85%×93.2%)÷(85%+93.2%)=88.9%,Specificity=150÷(150+120)=55.6%。此模型召回率高但特异性不足,需降低检测阈值或优化特征工程。
实务注意事项
- 医疗诊断场景优先关注Recall(检出率),宁可增加FP也要避免FN漏诊;金融风控场景则需要高Precision以降低虚假告警成本
- 类别不均衡数据中,若负例样本占99%,准确率高但F1值可能很低,应重点监控Recall和Specificity的平衡
- 当TP+FP+FN+TN总数小于50时,统计可靠性下降,建议扩大验证集规模至最少100个样本