ASME V&V 20 バリデーションメトリクス

理論と物理

バリデーションメトリクスとは

例えば、実験で測った応力が100 MPaだとする。シミュレーション結果が105 MPa。誤差5%、ダメだろうか？ でも実験の測定精度が$\pm8$ MPaだったら？ シミュレーションのメッシュ依存性が$\pm3$ MPaだったら？ その5 MPaの差は不確かさの範囲内であって、実は「合っている」と言えるかもしれない。

比較誤差 E の定義

ここで $S$ はシミュレーション結果（Simulation outcome）、$D$ は実験データ（experimental Data）だ。

バリデーション不確かさ $u_\text{val}$

• $u_\text{num}$（数値的不確かさ）：メッシュ依存性、時間刻み依存性、反復収束残差など、離散化に起因する不確かさ。GCI（Grid Convergence Index）で評価することが多い。
• $u_\text{input}$（入力パラメータの不確かさ）：材料物性値、境界条件、初期条件の測定精度やばらつき。例えばヤング率が$210 \pm 5$ GPaなら、その$\pm5$ GPaが入力不確かさになる。
• $u_\text{exp}$（実験の不確かさ）：センサ精度、測定位置のずれ、環境変動など、実験データ側の不確かさ。

これらが互いに独立と仮定できれば、RSS（Root Sum of Squares）で合成する：

判定基準：$|E|$ vs $u_\text{val}$

• $|E| \leq u_\text{val}$ の場合：比較誤差が不確かさの範囲内に収まっている。この条件では、シミュレーションと実験の差がモデル誤差によるものか不確かさによるものか区別できない。バリデーション成功と判断できる。
• $|E| > u_\text{val}$ の場合：不確かさでは説明できない差がある。つまりモデル誤差（model form error）が存在する。モデルの改良が必要。

だからバリデーションの質は$u_\text{val}$の小ささで決まる。不確かさを小さくするために、より精密な実験、より細かいメッシュ、より正確な物性値を使う努力が常に求められるわけだね。

エリアメトリクス（Area Metric）

ここで$F_S(y)$はシミュレーション結果のCDF、$F_D(y)$は実験データのCDFだ。

• 分布の形状（平均値だけでなく、ばらつきや歪みも）を反映する
• 複数の応答量を1つの数値にまとめられる
• 閾値を設けやすい（例：$d_\text{area} < 0.1$なら合格）

例えば、自動車の衝突試験で加速度の時刻歴を比較する場合、各時刻での値をサンプルと見なしてCDFを作り、エリアメトリクスで一括評価する、というようなやり方ができる。

u-pooling法

1. 各バリデーション点$i$で、実験データ$D_i$のCDF $F_{D_i}$を構築する
2. シミュレーション値$S_i$がそのCDF上でどの位置にあるかを求める：$u_i = F_{D_i}(S_i)$
3. もしモデルが完璧なら、$u_i$は$[0, 1]$の一様分布に従うはず
4. 集められた$\{u_1, u_2, \ldots, u_n\}$のCDFを、標準一様分布$U[0,1]$のCDFと比較する

実務では、Kolmogorov-Smirnov検定（KS検定）やAnderson-Darling検定を使って、一様分布からの逸脱度を統計的に検定することが多いね。

数値解法と実装

不確かさの定量化手法

1. 3段階以上のメッシュ密度（粗・中・細）で同じ問題を解く。代表メッシュサイズを$h_1 > h_2 > h_3$とする。
2. リファインメント比 $r = h_1 / h_2$（通常$r \approx 1.3\sim2.0$）を設定する。
3. 見かけの収束次数$p$を求める：

安全係数$F_s = 1.25$（3水準外挿の場合）。この$\text{GCI}_\text{fine}$が数値的不確かさ$u_\text{num}$の推定値となる。

モンテカルロ法との組合せ

1. 各入力パラメータの確率分布（正規分布、一様分布など）を設定する
2. Latin Hypercube Sampling（LHS）などで$N$個のサンプルセットを生成（$N = 100 \sim 10{,}000$程度）
3. 各サンプルでシミュレーションを実行し、応答の分布を得る
4. 応答の標準偏差が$u_\text{input}$になる

ただし、1回のシミュレーションに何時間もかかるCFDで$N=1000$回は現実的じゃない。そこでサロゲートモデル（応答曲面法、Kriging、PCE: Polynomial Chaos Expansion）を挟んで、計算コストを下げるのが実務的なアプローチだよ。

感度解析による寄与分解

例えば実際のプロジェクトで、$u_\text{val} = 12.5$ MPaだった場合：

実践ガイド

バリデーション計画の立て方

1. バリデーション対象のSRQ（System Response Quantity）を決める：何を比較するのか？ 最大応力？ 温度分布？ 流速プロファイル？ 漠然と「結果が合っているか」ではダメ。具体的な応答量を明確にする。
2. 必要な精度要件を設定する：$\delta_\text{req}$（許容誤差）を決める。これがないと「合格」の判断ができない。
3. 実験計画を策定する：どのパラメータ範囲で、何回測定するか。不確かさを十分小さくできる測定手法を選ぶ。
4. コードの検証（Verification）を先に完了させる：バリデーション前にコード検証と解の検証を完了させておく。数値的なバグがある状態でバリデーションしても意味がない。

実験データの品質管理

• 繰り返し測定：最低3回、できれば5回以上。標準偏差からType A不確かさを評価する。
• 系統誤差の特定：センサの校正証明書から精度クラスを確認。位置決め精度（例えば歪みゲージの貼付位置のずれ）もType B不確かさに含める。
• 測定条件の記録：温度、湿度、電源ノイズレベルなど、測定環境を記録する。シミュレーションの境界条件設定にも影響する。
• 外れ値の処理：Chauvenetの基準やGrubbs検定で外れ値を客観的に判定する。「見た目で変だから消す」は不可。

レポートに書くべき内容

1. SRQ（応答量）の定義と精度要件$\delta_\text{req}$
2. 比較誤差 $E = S - D$ の値（複数点ある場合は一覧表）
3. 不確かさの内訳：$u_\text{num}$, $u_\text{input}$, $u_\text{exp}$ の各値と評価方法
4. バリデーション不確かさ $u_\text{val}$ と信頼水準（$k=1$ or $k=2$）
5. 判定結果：$|E| \leq u_\text{val}$ かどうか。エリアメトリクスやu-poolingを使った場合はその結果も。
6. バリデーションの適用範囲：この結果がどのパラメータ範囲・条件に有効かを明記する。外挿領域への適用は別途リスク評価が必要。

ソフトウェア比較

主要ツールのV&V機能

オープンソースでの実装

import numpy as np
from scipy import stats

def validation_comparison(S, D, u_num, u_input, u_exp):
    """ASME V&V 20 バリデーション比較"""
    E = S - D                                          # 比較誤差
    u_val = np.sqrt(u_num**2 + u_input**2 + u_exp**2)  # バリデーション不確かさ
    passed = abs(E) <= u_val
    return E, u_val, passed

def area_metric(sim_samples, exp_samples, n_bins=200):
    """エリアメトリクス（CDF差の面積）"""
    all_vals = np.concatenate([sim_samples, exp_samples])
    y_grid = np.linspace(all_vals.min(), all_vals.max(), n_bins)
    cdf_sim = np.array([np.mean(sim_samples <= y) for y in y_grid])
    cdf_exp = np.array([np.mean(exp_samples <= y) for y in y_grid])
    dy = np.diff(y_grid)
    d_area = np.sum(np.abs(cdf_sim[:-1] - cdf_exp[:-1]) * dy)
    return d_area

def u_pooling(S_values, D_distributions):
    """u-pooling法: 各点のu値を集約"""
    u_values = []
    for S_i, (D_mean, D_std) in zip(S_values, D_distributions):
        u_i = stats.norm.cdf(S_i, loc=D_mean, scale=D_std)
        u_values.append(u_i)
    # KS検定で一様分布との比較
    ks_stat, p_value = stats.kstest(u_values, 'uniform')
    return np.array(u_values), ks_stat, p_value

先端技術

ベイズ推定アプローチ

• 事前知識の組み込み：過去の実験や文献値を事前分布$P(\boldsymbol{\theta})$として活用できる
• データが増えるほど精度が上がる：追加実験の結果を逐次的に取り込める
• モデル選択：ベイズ因子を使って「どのモデルが最もデータを説明するか」を定量的に比較できる

NASA やSandia National Laboratoriesでは、ASME V&V 20 の枠組みにベイズキャリブレーションを組み合わせた「ベイズV&V」が研究されていて、特に少数データでの不確かさ評価に威力を発揮している。

機械学習とサロゲートモデル

• Gaussian Process (Kriging)：少数のサンプルから応答面を構築。予測の不確かさも同時に得られるのが強み。
• Polynomial Chaos Expansion (PCE)：入力の確率分布を多項式展開で近似。解析的にモーメント（平均・分散）が計算できるので、モンテカルロより格段に効率的。
• Deep Neural Network：高次元入力空間にスケールしやすい。ただしブラックボックスなので、物理的な解釈がしにくい。

注意点として、サロゲートモデル自体の近似誤差も不確かさに含める必要がある。サロゲートが不正確だと、$u_\text{input}$の評価そのものが信用できなくなるからね。

トラブルシューティング

よくある失敗パターン

1. 不確かさを無視した「合ってる・合ってない」議論

• 症状：「誤差3%だから合格」「誤差8%だからダメ」と不確かさの考慮なしに判定する
• 対策：必ず$u_\text{val}$を評価し、$|E|$と比較する。3%の誤差でも$u_\text{val} = 1\%$なら不合格。8%の誤差でも$u_\text{val} = 10\%$なら合格。

2. $u_\text{num}$を無視する

• 症状：メッシュ収束確認なしに「細かいメッシュだから大丈夫」と決めつける
• 対策：3水準以上のメッシュでGCIを評価する。「十分細かい」の主観的判断は不可。

3. バリデーション点の外挿適用

• 症状：流速10 m/sでバリデーションしたモデルを流速100 m/sに適用する
• 対策：バリデーションは検証した条件範囲内でのみ有効。外挿にはPCMM（Predictive Capability Maturity Model）レベルの評価が必要。

4. 実験データと計算条件の不一致

• 症状：実験のジオメトリ公差、固定条件の詳細をシミュレーションに反映しない
• 対策：実験セットアップを写真・図面レベルで確認し、境界条件を忠実に再現する。「理想的な固定」と「ボルト締結」は全く別物。

メトリクスが悪いときの対処法

1. まず$u_\text{val}$の内訳を確認する：どの不確かさが支配的か？ $u_\text{num}$が支配的ならまだメッシュが粗い可能性がある。$u_\text{input}$が支配的なら入力パラメータの精度を上げる。
2. $E$の符号パターンを見る：全測定点で$E > 0$（系統的に過大評価）なら、材料物性値や境界条件のバイアスを疑う。ランダムにばらついているなら、モデルの物理記述に問題がある可能性。
3. 感度解析を実施する：どの入力パラメータが$E$に最も影響するかをSobol指標などで特定する。
4. 物理モデルを見直す：乱流モデルの選択、接触条件、材料の構成則など、モデル仮定が妥当か再検討する。
5. 実験データの再検証：稀にではあるが、実験側に問題がある場合もある。センサの故障、データ取得の時間ずれ、スケーリングエラーなど。