読書記録：[2007-07-15] 闇の守り人

「ベイズ統計と統計物理」伊庭幸人 (2003)

ベイズ推定について気になったので読む

ベイズ推定が嫌がられたのは事前確率の所為だったんだ、とか。 MCMC法の原理って、結局、前の状態に依存したモンテカルロ法だったんだ、とか。だから、マルコフ連鎖か、とか。そも、統計学にはこんな世界もあったのか、とか。ぼくのように物理をまったく知らなくても楽しめる入門になっていると思う。

理解しやすいが数式は多いので、数式自体にアレルギーがある人は全身が痒くなるかもしれない。

以下メモ

推定とは「既知の情報を統合して未知を知る」こと。
ベイズ推定の場合は、既知のサンプルと既知の制約（事前確率）
が得られたときに、未知のある状態が起こる確率を知る。

ベイズ推定では、事前分布の解釈が問題になる。事前分布 P(a) についての
情報がないときに、どうやって P(a) を決めたらよいのか。
これには「ジェフリーズの規則」という解決策があるらしい。

モデルのパラメータについても、事前分布を考えることで
事後分布を計算して、モデルの選択やパラメータの推定ができる。

ギブスサンプラー (Gibbs sampler)
(1) 適当な初期値を x={xi} に入れる
(2) ランダムなiを選んで、条件付確率 P(xi|{xj},y) にしたがって
    発生させた値で xi を置き換える。({xj}はxiの他の未知情報、yは既知の情報)
(3) 2を繰り返す。

どんな初期状態からでも、置き換えを十分に繰り返したあとの状態は、
ほしい分布 P(x|y) からのランダムサンプルと見なせる。また、十分な
ステップ数だけ間隔を置いた状態は、お互いに独立と見なせる。