PCMM（予測能力成熟度マトリクス）
理論：6項目・4段階の評価
概要
上司に『このシミュレーション、どこまで信用できるの？』と聞かれて、うまく答えられませんでした。
その問いに答えるための道具がPCMMだよ。米国のサンディア国立研究所が2007年ごろに提案した枠組みで、シミュレーションの信頼の根拠を6つの項目に分けて、それぞれ0から3の4段階で評価する。大事なのは、点数そのものより『その判断に必要な水準と比べて、どこが足りないか』をはっきりさせることなんだ。
6つの項目
| 項目 | 見ること |
|---|---|
| 形状の忠実度 | 形状・部品の省略がどこまで実物に近いか |
| 物理・材料モデル | 物理モデルと物性の根拠 |
| コードの検証 | プログラムが式を正しく解くか |
| 解の検証 | 離散化誤差・反復誤差の見積もり |
| モデルの妥当性確認 | 実験との比較 |
| 不確かさと感度 | 入力のばらつきが結果に与える影響 |
各項目は、0（個人の判断だけ）、1（非公式な評価・内部の確認）、2（ある程度の正式な評価・第三者の確認）、3（正式で包括的な評価・外部の確認）の4段階で評価する。段階は評価の厳密さと、確認した人の独立性で上がっていく。
核兵器の試験禁止から生まれた問い
PCMMが生まれた背景には、1990年代に米国が核実験を停止したことがある。実験で確かめられなくなった兵器の性能と安全性を、シミュレーションで保証しなければならなくなり、『その計算をどこまで信用できるのか』を体系的に示す方法が必要になった。サンディア国立研究所のオーバーカンプらは、この問いに答えるために、検証と妥当性確認（V&V）の考え方を整理し、その成果の一つがPCMMだ。のちにNASAのモデル信頼性の標準や、医療機器のASME V&V 40にも同じ考え方が受け継がれている。
計算例：電子機器筐体の熱解析
電子機器の筐体の熱流体解析で、最も熱い部品の温度を予測するモデルを評価した。
| 項目 | 評価 | 通常の設計判断 | 安全に関わる判断 |
|---|---|---|---|
| 形状の忠実度 | 2 | 1 | 2 |
| 物理・材料モデル | 1 | 1 | 2（不足） |
| コードの検証 | 1 | 1 | 2（不足） |
| 解の検証 | 2 | 1 | 2 |
| 妥当性確認 | 1 | 1 | 2（不足） |
| 不確かさと感度 | 0 | 1（不足） | 1（不足） |
| 平均（参考） | 1.17 | 1.00 | 1.83 |
平均は1.17で、通常の設計判断に必要な1.00を上回っていますね。それなら十分ですよね？
それが一番やってはいけない読み方だ。形状を丁寧に作っても、不確かさを調べていないことの埋め合わせにはならない。項目どうしは補い合えないから、平均は取らない。表を項目ごとに見ると、通常の設計判断でも不確かさと感度が0で、必要な1に届いていない。安全に関わる判断なら4項目が足りない。PCMMの価値は、こうして『次に何をすればいいか』が具体的に見えることにあるんだ。
例2：段階の根拠をつくる
解の検証の根拠として、格子を2倍ずつ細かくした3段階で最も熱い部品の温度を求めると、粗い格子から75.8、72.6、71.8 ℃になった。収束の次数は2.00、外挿値は71.53 ℃、細かい格子のGCIは0.46%（±0.33 K）で、周囲25 ℃からの温度上昇の0.7%にあたる。
妥当性確認では、試作品の測定値70.1 ℃（測定の不確かさ±1.5 K、2σ）と比べた。差 $E$ は1.7 K。数値の不確かさ0.17 K、測定0.75 K、入力（発熱量・物性のばらつき）0.8 Kを合わせた検証の不確かさは1.1 Kで、差はその1.5倍だった。差は不確かさの範囲を大きくは超えないが、モデルの誤差が1〜2 K程度ある可能性を示す。
評価の進め方
- シミュレーションで決める判断と、その判断を誤ったときの影響を書き出す。
- 影響の大きさから、6項目それぞれの必要水準を決める（すべて同じとは限らない）。
- 現状を根拠つきで評価する。根拠のない段階は付けない。
- 項目ごとに必要水準との差を見て、足りない項目の作業計画を立てる。平均は取らない。
- 評価を文書に残し、第三者の確認を受ける。
「全部2にしておきました」
PCMMを初めて導入した部署で、提出された評価表がほぼすべての項目で2になっていた——ということがある。根拠を聞くと、格子を細かくした計算も、実験との比較の記録もなかった。評価者は『一般的な手法を使っているから』と考えていた。PCMMの段階は手法の一般性ではなく、実際に行った評価と、それを確認した人の独立性で決まる。根拠となる資料（格子の比較、実験の比較、感度の結果）を評価表に紐づけておくと、こうした自己評価の水増しを防げる。
よくある間違い
間違いと対策
| 間違い | 起きること | 対策 |
|---|---|---|
| 点数を平均する | 抜けている項目が隠れる | 項目ごとに必要水準と比較 |
| 根拠なしで段階を付ける | 評価が水増しされる | 根拠資料を紐づける |
| 必要水準を決めずに評価 | 十分かどうか判断できない | 判断の影響から先に決める |
| PCMMを合否判定に使う | 数値の精度と混同 | 成熟度の評価として使う |
| 評価後に更新しない | モデル変更が反映されない | 変更のたびに見直す |
根拠をつくるための計算を試したいです。
リチャードソン外挿ツールで格子の収束、不確かさの伝播の計算とSobol感度指標のツールで不確かさと感度を試せるよ。手順はGCI、解の検証、妥当性確認の指標、医療機器での使い方はASME V&V 40が参考になる。
なった
詳しく
報告