ASME V&V 20 验证度量

ASME V&V 20 验证度量的理论基础

什么是验证度量

比如，实验测得的应力是100 MPa，模拟结果是105 MPa。误差5%，好像挺接近的。但如果实验的测量精度是$\pm 8$ MPa，模拟的网格依赖性是$\pm 3$ MPa，那么这5 MPa的差异其实在不确定性范围内。换句话说，模拟和实验"是相容的"。

比较误差 E 的定义

其中$S$是模拟结果（Simulation），$D$是实验数据（experimental Data）。

验证不确定性 $u_\text{val}$

• $u_\text{num}$（数值不确定性）：网格依赖性、时间步长依赖性、迭代收敛残差等，来自离散化的不确定性。通常用GCI（网格收敛指标）来评估。
• $u_\text{input}$（输入参数不确定性）：材料物性值、边界条件、初始条件的测量精度或变异。比如杨氏模量是$210 \pm 5$ GPa，那$\pm 5$ GPa就是输入不确定性。
• $u_\text{exp}$（实验不确定性）：传感器精度、测量位置偏差、环境波动等实验侧的不确定性。

假设它们相互独立，则用RSS（平方和的平方根）合并：

判定基准：$|E|$ vs $u_\text{val}$

• $|E| \leq u_\text{val}$ 的情况：比较误差在不确定性范围内。此时无法区分模拟和实验的差异是来自模型误差还是不确定性。判定为验证成功。
• $|E| > u_\text{val}$ 的情况：存在不能由不确定性解释的差异。这表明模型误差（model form error）存在。需要改进模型。

所以，验证的质量取决于$u_\text{val}$的大小。要得到好的验证，就要用更精密的实验、更细密的网格、更精准的物性值，把不确定性压低。这才是V&V的本质。

面积度量（Area Metric）

这里$F_S(y)$是模拟结果的CDF，$F_D(y)$是实验数据的CDF。

• 反映分布特征（不仅是平均值，还包括散布和偏度）
• 可以把多个响应量合并成一个数字
• 容易设定阈值（比如$d_\text{area} < 0.1$为合格）

例如汽车碰撞测试时，可以把加速度时间历程看作一批样本，作CDF比较，用面积度量来统一评估。

u-pooling法

1. 对每个验证点$i$，根据实验数据$D_i$的分布构造CDF $F_{D_i}$
2. 看模拟值$S_i$在这个CDF上的位置：$u_i = F_{D_i}(S_i)$
3. 如果模型完美，这些$u_i$应该服从$[0, 1]$的均匀分布
4. 把所有$\{u_1, u_2, \ldots, u_n\}$的CDF与标准均匀分布比较

实际操作中，一般用Kolmogorov-Smirnov检定（KS检定）或Anderson-Darling检定来检验与均匀分布的偏差。

ASME V&V 20 验证度量的数值计算方法

不确定性的定量化方法

1. 用3种或以上网格密度（粗、中、细）解同一问题，代表网格尺寸分别为$h_1 > h_2 > h_3$
2. 设定细化比 $r = h_1 / h_2$（通常$r \approx 1.3\sim2.0$）
3. 计算表观收敛阶数$p$：

安全系数$F_s = 1.25$（三层外推）。这个$\text{GCI}_\text{fine}$就是$u_\text{num}$的估计。

蒙特卡洛法的结合

1. 给每个输入参数设定概率分布（正态分布、均匀分布等）
2. 用Latin Hypercube Sampling（LHS）等方法生成$N$个样本集（$N = 100 \sim 10{,}000$）
3. 每个样本跑一遍模拟，得到$N$个响应值
4. 响应的标准差就是$u_\text{input}$

问题是，如果一次模拟要好几小时，跑1000次就太费时了。实务中通常先建立代理模型（响应面法、Kriging、多项式混沌展开PCE），再用代理跑蒙特卡洛，这样成本可以降下来。

灵敏度分析的贡献分解

例如，某工程中$u_\text{val} = 12.5$ MPa，分解如下：

ASME V&V 20 验证度量的实务应用

验证计划的制定

1. 明确SRQ（系统响应量）：要比较什么？最大应力？温度分布？流速剖面？不能模糊地说"结果是否吻合"。
2. 设定精度要求$\delta_\text{req}$：能接受多大的误差？没有这个指标，就无法判断"合格"。
3. 制定实验方案：在哪些参数范围、用什么方法、测多少次。要保证不确定性足够小。
4. 先完成代码验证（Verification）：在做验证前，代码的数值精度必须过关。有数值bug就验证不了。

实验数据的质量管理

• 重复测量：最少3次，最好5次以上。从标准差评估A类不确定性。
• 确认系统误差：查传感器的校准证书，确认精度等级。位置精度（比如应变片贴装位置偏差）也算B类不确定性。
• 记录测量条件：温度、湿度、电源噪声等，都要写下来。这些会影响模拟的边界条件设定。
• 处理离群值：用Chauvenet准则或Grubbs检定来客观判定离群值。不能凭直觉"这个数据看起来很奇怪，删了"。

报告中应包含的内容

1. SRQ的定义和精度要求$\delta_\text{req}$
2. 比较误差$E = S - D$的数值（多个测点就列表）
3. 不确定性的分项：$u_\text{num}$、$u_\text{input}$、$u_\text{exp}$各多少，怎么算的
4. 验证不确定性$u_\text{val}$及其信赖度（$k=1$还是$k=2$）
5. 判定结论：$|E| \leq u_\text{val}$吗？还是用了面积度量或u-pooling
6. 验证的适用范围：这个结论对哪些参数范围、工况有效。外推到其他条件需要另外评估。

ASME V&V 20 验证度量的ASME V&V 20 验证度量的软件比较

主要工具的V&V功能

开源中的实现

import numpy as np
from scipy import stats

def validation_comparison(S, D, u_num, u_input, u_exp):
    """ASME V&V 20 验证比较"""
    E = S - D                                          # 比较误差
    u_val = np.sqrt(u_num**2 + u_input**2 + u_exp**2)  # 验证不确定性
    passed = abs(E) <= u_val
    return E, u_val, passed

def area_metric(sim_samples, exp_samples, n_bins=200):
    """面积度量（CDF差的面积）"""
    all_vals = np.concatenate([sim_samples, exp_samples])
    y_grid = np.linspace(all_vals.min(), all_vals.max(), n_bins)
    cdf_sim = np.array([np.mean(sim_samples <= y) for y in y_grid])
    cdf_exp = np.array([np.mean(exp_samples <= y) for y in y_grid])
    dy = np.diff(y_grid)
    d_area = np.sum(np.abs(cdf_sim[:-1] - cdf_exp[:-1]) * dy)
    return d_area

def u_pooling(S_values, D_distributions):
    """u-pooling法：各点的u值集约"""
    u_values = []
    for S_i, (D_mean, D_std) in zip(S_values, D_distributions):
        u_i = stats.norm.cdf(S_i, loc=D_mean, scale=D_std)
        u_values.append(u_i)
    # KS检定与均匀分布的比较
    ks_stat, p_value = stats.kstest(u_values, 'uniform')
    return np.array(u_values), ks_stat, p_value

ASME V&V 20 验证度量的前沿研究

贝叶斯估计方法

• 纳入先验知识：用文献值或过往实验作$P(\boldsymbol{\theta})$
• 数据增量学习：新的实验可以逐步更新后验分布
• 模型比较：用贝叶斯因子量化"哪个模型对数据的解释力更强"

NASA和Sandia等都在研究"贝叶斯V&V"，特别在数据稀少条件下很有用。

机器学习与代理模型

• 高斯过程（Kriging）：少量样本就能建立响应面，还能同时输出预测的不确定性。很适合参数不多的情况。
• 多项式混沌展开（PCE）：把输入的概率分布展开成多项式。解析地计算矩（平均值、方差），比蒙特卡洛高效得多。
• 深度神经网络：对高维参数空间很能伸缩。但是黑盒，不好解释物理意义。

要点是，代理模型自己有近似误差，也要纳入$u_\text{input}$的评估中。不能因为用了AI就忽视这个误差源。

ASME V&V 20 验证度量的故障排除

常见失败模式

1. 忽视不确定性，直接看误差百分比

• 症状："误差3%，合格"或"误差8%，不合格"，完全不考虑$u_\text{val}$
• 对策：必须评估$u_\text{val}$，拿$|E|$和它比。3%的误差若$u_\text{val} = 1\%$就失败；8%的误差若$u_\text{val} = 10\%$就成功。

2. 漏掉网格收敛确认

• 症状："网格够细了吧"凭感觉，不算GCI
• 对策：必须用3种以上网格跑GCI。主观判断"足够细"是不可靠的。

3. 外推到验证范围之外

• 症状：在流速10 m/s验证，用到流速100 m/s的工况
• 对策：验证只对已验证范围有效。超出范围需要PCMM（预测能力成熟度模型）等额外评估。

4. 实验条件与模型不符

• 症状：忽视实验的几何公差、固定方式细节，模拟用"理想"模型
• 对策：从实验现场照片和图纸确认所有细节，模拟要忠实再现。"理想固定"和"螺栓连接"完全不同。

度量不佳时的对策

1. 先看不确定性预算：哪个$u$项支配$u_\text{val}$？$u_\text{num}$支配说网格还是粗；$u_\text{input}$支配说输入参数精度要提高。
2. 分析$E$的符号模式：全是$E > 0$（系统性高估）？可能材料物性或边界条件有偏差。随机分布？物理模型有问题。
3. 做灵敏度分析：哪个输入参数对$E$影响最大？用Sobol指标或其他全局灵敏度方法。
4. 复查物理模型：湍流模型选对了？接触条件对吗？材料构成关系合理吗？
5. 再审视实验数据：虽然少见，但实验也会出问题。传感器故障？数据记录时间错位？缩放错误？