ギブスサンプリング シミュレーター

ベイズ統計のパラメータ推定：ギブスサンプリングが最も広く使われるのはベイズ推論です。階層モデルや回帰モデルの事後分布は解析的に書けないことが多く、各パラメータの完全条件付き分布だけが既知という状況がよく起こります。共役な事前分布を選べば条件付き分布が標準的な分布（正規・ガンマ・逆ガンマなど）になり、ギブスサンプラーで事後分布からサンプルを大量に取って、事後平均や信用区間を推定できます。BUGS・JAGS といった古典的なベイズソフトはまさにこの方式です。

画像処理とマルコフ確率場：ノイズ除去や画像の領域分割では、各画素のラベルが隣接画素に依存するマルコフ確率場（MRF）でモデル化されます。全画素の同時分布は巨大ですが、1画素の条件付き分布は近傍だけで決まるため計算が軽く、ギブスサンプリングと相性が抜群です。実際、ギブスサンプリングという名前自体、画像復元の文脈（Geman & Geman, 1984）で広まりました。

トピックモデル（LDA）と自然言語処理：文書集合から潜在的な話題を抽出する潜在ディリクレ配分法（LDA）では、各単語のトピック割り当てを崩壊型ギブスサンプリングで推定します。条件付き確率が単語・文書・トピックのカウントだけで書ける形になり、大規模なテキストコーパスでも実装しやすいのが利点です。

欠測データの補完：調査データやセンサーデータには欠測がつきものです。データ拡大法（data augmentation）では、欠測値そのものを未知パラメータとみなし、観測値で条件づけた分布からギブスサンプリングで補完します。多重代入法（multiple imputation）の中核アルゴリズムとしても使われています。

まず最大の誤解が、「サンプルどうしは独立だ」という思い込みです。ギブスサンプリングが生み出すのはマルコフ連鎖であり、隣り合うサンプルは強く相関しています。とくに目標相関 ρ が強いと条件付き分布の幅 1−ρ² が狭くなり、連鎖は分布全体を「ちょびちょび」としか歩けません。このとき N=1000 のサンプルがあっても、独立サンプル換算の「実効サンプルサイズ」はその何分の一かもしれません。標準誤差を独立サンプルの式で見積もると過小評価になります。自己相関関数や実効サンプルサイズ（ESS）を必ず確認してください。

次に、「バーンインさえ取れば収束は保証される」という油断です。バーンインは初期値の影響を捨てるだけで、連鎖が本当に目標分布全体を探索できたかは別問題です。例えば多峰性（山が複数ある）分布では、ギブスサンプラーが1つの山に長くトラップされ、他の山にまったく行けないことがあります。このツールの2変量正規は単峰なので起こりませんが、実務の複雑なモデルでは、複数の初期値から連鎖を走らせて結果が一致するか（Gelman–Rubin の R̂ など）で収束を診断するのが鉄則です。

最後に、「ギブスサンプリングはいつでも使える万能ツール」ではないという点。ギブスサンプリングが成立する前提は、すべての変数の完全条件付き分布から実際にサンプルできることです。条件付き分布が非標準的な形でサンプルが難しい、あるいは変数どうしの相関が極端に強くてミキシングが絶望的に遅い、という場面では、メトロポリス・ヘイスティングス法、ハミルトニアンモンテカルロ（HMC）、ブロック化ギブスなど別の手法のほうが効率的です。手法は「目標分布の構造」に合わせて選ぶものだ、と覚えておきましょう。