CAE仿真的回归测试 — 求解器更新·模型变更时的品质保证战略

理论与背景

CAE回归测试是什么

为什么需要回归测试

• Nastran版本变更导致固有频率变化0.3～0.5%（刚度矩阵组装算法改变）
• Abaqus小版本更新改变了接触判定默认设置，接触力变化数%
• OpenFOAM版本变更乱流模型壁面函数实现修正，Cd值变化超过2%
• 仅编译器优化标志变更就会改变浮点运算舍入顺序，非线性分析收敛路径分叉

判定的数学框架

其中 $Y_{baseline}$ 为基准线结果，$Y_{new}$ 为新环境结果。判定标准：

另外还要管理整个测试套件的合格率：

求解器版本变更的影响

基准线管理与许容差设计

基准线结果管理

• Git库中存储基准线JSON或CSV
• 各基准线附带元数据：求解器名称·版本、执行日期、网格尺寸、操作系统/编译器信息
• 结果值是标量值提取结果（最大位移、最大应力、固有频率、反力合计等）
• 必要时场数据（节点位移分布、应力等高线）也用二进制格式保存

{
  "model": "cantilever_beam_001",
  "solver": "MSC Nastran",
  "solver_version": "2024.1",
  "date": "2026-01-15",
  "os": "RHEL 8.9",
  "results": {
    "max_displacement_mm": 5.234,
    "max_vonmises_mpa": 325.8,
    "freq_mode1_hz": 142.35,
    "reaction_force_n": 1000.02,
    "energy_balance_pct": 99.97
  }
}

许容差基准设计

多阶段判定的思路

• 绿色（合格）：$e_{rel} < \varepsilon_1$ — 无问题。自动承认
• 黄色（警告）：$\varepsilon_1 \leq e_{rel} < \varepsilon_2$ — 需确认。工程师审查后判定
• 红色（不合格）：$e_{rel} \geq \varepsilon_2$ — 不合格。阻止发布

实践：测试套件的构建

测试用例的选择

• 第1级：理论解已知的基准问题 — NAFEMS基准、悬臂梁、圆孔板等。验证解析基本功能是否破损
• 第2级：社内标准模型 — 过去项目中反复使用的模型。涵盖业务中重要的解析类型
• 第3级：边界情况 — 非线性接触、大变形、多物理场等，求解器变更易受影响的高难度模型
• 第4级：大规模模型（冒烟测试） — 数百万自由度级别。检查能否完成运行及内存使用量

Python自动比较脚本

import json
import numpy as np
import pytest

def load_results(filepath):
    with open(filepath) as f:
        return json.load(f)

TOLERANCES = {
    "max_displacement_mm": {"rel": 0.005, "abs": 1e-4},  # 0.5%
    "max_vonmises_mpa":    {"rel": 0.03,  "abs": 0.1},   # 3%
    "freq_mode1_hz":       {"rel": 0.01,  "abs": 0.01},  # 1%
    "reaction_force_n":    {"rel": 0.001, "abs": 0.01},   # 0.1%
    "energy_balance_pct":  {"rel": 0.001, "abs": 0.01},   # 0.1%
}

baseline = load_results("baseline/cantilever_001.json")
current  = load_results("results/cantilever_001.json")

@pytest.mark.parametrize("key", TOLERANCES.keys())
def test_regression(key):
    b = baseline["results"][key]
    c = current["results"][key]
    tol = TOLERANCES[key]

    if abs(b) > 1e-12:
        rel_err = abs(c - b) / abs(b)
        assert rel_err < tol["rel"], \
            f"{key}: rel_err={rel_err:.6f} > {tol['rel']}"
    else:
        abs_err = abs(c - b)
        assert abs_err < tol["abs"], \
            f"{key}: abs_err={abs_err:.6e} > {tol['abs']}"

测试结果报告的自动生成

• 测试执行日期·环境信息（求解器版本、操作系统、主机名）
• 全部测试用例的 合格/黄色/不合格 一览表
• 不合格用例的详情（基准线值、本次值、差值、许容差）
• 全体合格率与前次执行对比的趋势图
• 不合格原因分析（RCA）章节（手工输入）

CI/CD管道集成

Jenkins / GitLab CI / GitHub Actions对比

求解器别的自动化手法

1. 触发：Git输入文件Push或定时计划（每晚、每周）
2. 构建：求解器批处理执行（通过HPC作业调度）
3. 测试：Python脚本与基准线自动比较（pytest）
4. 报告：HTML/PDF报告生成，通知Slack
5. 归档：测试结果保存为Jenkins artifact

大规模组织中的CI/CD运维

• 每晚自动运行：全部测试套件（50～200个）自动执行。次日早上生成报告
• 求解器版本评估：新版本发布时，2～3人专项小组用2～4周评估全部测试套件，调查不合格原因
• 门卫制度：求解器版本社内推广前，"CAE平台团队"必须验证全件合格
• 基准线更新流程：不合格原因判为"有意改进"时，2名以上工程师审查后才能更新基准线

先进课题

机器学习异常检知

• 主成分分析（PCA）：场数据降维，计算与基准线的"距离"。标量值无法检出的图案变化能发现
• 自编码器：学习正常图案，新结果的"重构误差"大则判异常
• 时序异常检知：历次测试结果追踪，如果数值跨多个版本有统计意义的漂移就发警

云HPC的联动

CAE仿真回归测试的故障排除

回归测试特有的陷阱

• 固定并行度（4核就始终4核）
• 求解器选项启用再现性模式（Nastran的SYSTEM(207)=1等）
• 微小差异设置专用的宽松许容差

版本变更时的应急对应

1. 分析不合格的图案：都是同种物理量？同一元素类型？同种解析类型？有图案就缩小范围
2. 查阅Release Notes：厂商的Release Notes里"改变的默认值"或"修复的bug"通常有说明。许多不合格就此得解
3. 制作最小再现用例：复杂模型的不合格，简化到1单元模型找原因快
4. 联系厂商：自己无法特定原因，提交不合格用例输入文件和两版本结果给技术支持
5. 判定："bug修复带来的改善"就更新基准线。"新bug嫌疑"就延期升级，继续用旧版本