統計検定準1級 発展編 要点まとめノート【第27〜32章】

この記事の役割

発展編（第27〜32章）の復習ノートです。連載の各回が「なぜそうなるのか」を実験しながら追う記事なのに対し、こちらは押さえるべきことだけを1ページに集めたものです。詳しい導出や検算は各回へのリンクから読んでください。

• 同じ形式のノート：確率の土台編（第1〜7章）・推測統計編（第8〜13章）・線形モデル編（第16〜21章）・確率過程編（第14〜15章）・多変量解析編（第22〜26章）
• 連載全体の目次は 統計検定準1級 独学記事インデックス にあります。
• 使い方：試験前は「つまずきやすいところ」の表だけを見返すのが効率的です。
• 筆者は統計の専門家ではありません。試験対策として使う場合は必ず公式テキストで確認してください。

この編は6章あって範囲が広く、内容の性質もばらばらです。 一続きの理論として読むより、章ごとに独立した道具箱として扱うほうが早いと思います。

この範囲の全体像

ここまでの章は、多かれ少なかれ「データが揃っていて、モデルは決まっていて、答えは式で書ける」という前提の上にありました。発展編の6章は、その前提が1つずつ壊れる話です。

全体を貫く筋を1つ挙げるなら、これです。

「知らないもの」をどう扱うかの技術が並んでいる。

第27章は「隣同士が相関していること」、第29章は「見えていない値」、第30章は「どのモデルが正しいか」、第31章は「パラメータの値」、第32章は「解析的に解けない積分」。どれも「分からない部分をどう処理するか」の作法です。

そしてこの編には、章をまたいで何度も出てくる構造が3つあります。ここを掴むと6章がばらばらに見えなくなります。

構造1：同じデータで2回使うと壊れる

「データを見て決めた」という操作が、あとの推論を汚すという一点が形を変えて出てきます。

構造2：知らないパラメータを1点に決め打つと不確実性を数え落とす

t分布・多重代入・階層ベイズは、どれも「消したいパラメータを積分する」という同じ操作でした。詳しくは第33回の周辺化の節にまとめてあります。

構造3：$n$ を増やしても救われないものがある

「大標本なら安心」が成り立たない場面が集中しているのがこの編の特徴です。

章と回の対応

各章の検算の過程はリンク先の記事にあります。

なお公開順と章の順が入れ替わっています。第30章（モデル選択）を第32回、第31章（ベイズ法）を第33回に置いたのは、モデル選択が第16章の「決定係数は無意味な変数でも増える」の解決編にあたるため、線形モデル編を終えてから読むほうが通りがよいと判断したためです。

用語集

言葉で説明できるかを先に確認する用です。章ごとに分けてあります。

第27章 時系列解析

第28章 分割表

第29章 不完全データの統計処理

第30章 モデル選択

第31章 ベイズ法

第32章 シミュレーション

記号の注意：$\lambda$ がこの編で3通りに使われます。第29章では欠測に起因する分散の割合、第30章では正則化パラメータ（第19回から）、そして確率過程編では到着率でした。$B$ も第29章の代入間分散と第31章のベイズの $\hat R$ の鎖間分散で別物です（どちらも「グループ間のばらつき」なので発想は近いですが、式は別です）。

第27章 時系列解析

定常性がすべての土台

なぜ定常性から始まるのか。定常なら「時間方向にずらす」ことが繰り返し観測の代わりになるからです。非定常だと時刻ごとに別のルールなので、何期集めても「同じものの繰り返し」になりません。

弱定常の定義は3つです。

1. 平均が時刻によらない
2. 分散が時刻によらない
3. ラグ $k$ の自己共分散が時刻によらない

ランダムウォークは①を満たします（平均は常に0）。それでも非定常です。「非定常＝トレンドがある」と覚えると間違えます。崩れているのは②と③です。

条件③の読み方にコツがあります。自己共分散を表にして、横に読むと一定、縦に読むと $\varphi^k$ で減衰するのが定常。単位根では横が時刻とともに変わり、縦が減衰しません。

$\varphi=1$ は崖ではなく坂

$\varphi$ が1に近づくと何が起きるか。落ち着き先の標準偏差 $1/\sqrt{1-\varphi^2}$ が発散します。ただし$\varphi=0.999$ と $\varphi=1$ の間に断絶があるわけではありません。$\varphi=0.5$ の時点で既に見せかけの回帰が 12.5% の確率で起きます。

「単位根」の名の由来は、ラグ演算子で $(1-\varphi L)x_t = e_t$ と書いたときの特性方程式の根が1だからです。定常条件は「根が単位円の外」。

見せかけの回帰の正体は標準誤差

ここが第29回でいちばん誤解を正した部分です。

「無関係な系列に相関が生まれる」のではありません。 傾き $\hat\beta$ の符号は正 50.6% / 負 49.4% のコイン投げで、平均は $-0.0008$。相関そのものは生まれていません。

起きているのは2つです。

だから標準誤差を直すだけでは足りず、差分が必要になります。

そしてなぜ $n$ を増やすと悪化するのか。$\lvert t \rvert$ が $\sqrt{n}$ で育つからです。定常なら有効標本サイズ $n_{\text{eff}} = n(1-\varphi)/(1+\varphi)$ で情報の増え方が測れますが、$\varphi=1$ はこの式の適用域外で、実際は $V[\bar x]$ が $n$ に比例して増えます。

正規性はまったく無関係でした。ノイズをコイン投げ・$t(3)$・一様に変えても棄却率は 75〜77% で同じ。効くのは「累積和にした」構造だけです。

目に見える形は残差の自己相関です。非定常の回帰で 0.858（1組の実現値）、ダービン・ワトソン比は5000回の平均で 0.171。第17回で扱ったダービン・ワトソン比の極端版として現れます。

AR と MA の見分け方

覚え方は「ACF が切れたら MA、PACF が切れたら AR」。頭文字が逆になるのが引っかけです（PACF ↔ $p$ と覚えると逆になります）。

なぜこうなるのか。ACF は単回帰の傾き、PACF は重回帰の偏回帰係数（間の期を固定する）です。AR(1) で ACF のラグ2が 0.49 になるのは $0.0022 + 0.6999 \times 0.6984$ という遠回りの経路で、直接効果はゼロ。だから PACF では消えます。

層別で見ると分かりやすく、全体では傾き 0.489 だが $x_{t-1}$ を固定した各層は水平（$+0.009$、$+0.023$、$+0.019$）。第28章のシンプソンのパラドックスと同型です。

MA で ACF が切れるのは、共分散が共有ノイズを数える計算なので、箱が重ならないラグで厳密にゼロになるからです。

本質は道具とモデルの「言語」が一致した側だけ切れるということです。PACF は過去の自分の言葉、ACF はノイズの言葉。

単位根検定

DF検定の中身は単純で、$\Delta x_t = \rho x_{t-1} + e_t$ の $\rho=0$ を片側検定するだけです。

専用の臨界値が必要な理由は、帰無仮説のもとで $x_{t-1}$ が非定常なので $t$ 分布に従わないこと。$t$ 表を使うと誤り率が 45.7% になります（臨界値は $-2.87$ 付近）。

弱点は検出力です。$\varphi=0.95$ を $n=200$ で見抜けるのは 34.5% だけ（$n=500$ なら 97.4%）。

ADF が必要になるのは、差分に負の MA 成分があるときです。$\theta=-0.8$ で DF は 99.8% 誤判定します。

差分をいつ取るか

$\varphi=1$ のときだけです。$\varphi<1$ に使うと $-(1-\varphi)/2$ の負の自己相関を作ってしまいます（過剰差分）。

そして確定的トレンドと確率的トレンド（単位根）は見た目で区別できません（自己相関 0.922 vs 0.943）。前者は直線を引いて除去、後者は差分。処方が逆なので判定が必要です。

実務での効き方

ブログのアクセス数に当てはめたときの改善幅がこうでした。

凝ったモデルより曜日と対数変換です。季節差分は過剰でした（ラグ7が $-0.415$ に反転）。

→ 第29回。

第28章 分割表

適合度検定との違いは期待度数の作り方だけ

統計量の式は $\sum (O-E)^2/E$ でまったく同じです。違いは1点。

期待度数は「行合計 × 列合計 ÷ 総計」。ここで大事なのは、この作り方だと行合計・列合計は観測値と完全に一致することです。だからズレていいのは表の内側だけ。それが自由度 $(r-1)(c-1)$ の意味で、$-1$ は「最後の行と列は引き算で出るから数えない」と読めます。

2×2表なら自由度1で、4セルすべて $\lvert O-E \rvert$ が同じ値になります（市松模様）。自由度1が目に見える形です。

3つの指標は「同じデータで結論が変わる」

関係式は $\text{OR} = \text{RR} \times \dfrac{1-p_0}{1-p_1}$ です。ずれの上限は大きいほうの確率 $p_1$ だけで決まり $1/(1-p_1)$（$p_1 \leq 0.10$ なら 11.1% 以内）。

結論が逆転する例：15.0%→22.5% と 60.0%→75.0% を比べると、リスク比は前者が大（1.50 > 1.25）なのに、オッズ比は後者が大（2.00 > 1.65）になります。

なぜケース・コントロール研究ではオッズ比だけ使えるのか

結果で群を分けるので確率そのものが計算できません。それでもオッズ比だけは抽出率 $f_1, f_0$ が約分で消えるので不変です（4通りの抽出すべてで 2.0638297872 と一致）。

理由は掛け算と割り算だけでできているから。リスク比は分母が $cf_1 + df_0$ という足し算なので定数倍が消えません。

シンプソンのパラドックスの正体は加重平均

層別では全部Aが勝つのに、合計ではBが17ポイント勝つ、という現象です。正体は加重平均で、重みがAとBで正反対になっているだけです。

大事なのは2点あります。

①有意性は交絡を直しません。 逆向きの結論が $X^2 = 237$、$p \approx 10^{-53}$ で出ます。$n$ を増やすと間違いに自信がつくだけです。

②交絡の条件は2つ揃う必要があります。 ①群の割り付けと関係する ②結果とも関係する。片方だけでは結論は逆転しません。ランダム化は①を切る操作です。

直し方は標準化（重みを揃える）か、マンテル・ヘンツェル法 $\sum (a_id_i/n_i) \div \sum (b_ic_i/n_i)$ です（$a$ は「曝露あり×イベントあり」、$d$ は「曝露なし×イベントなし」。どちらの群を曝露側に取るかで分子と分母が入れ替わるので、第30回の表とは向きが逆に見えます）。

層別すべきかは統計ではなく因果の問題です。割り付け前から存在する性質なら層別する。割り付け後に起きたことで層別すると、効果の経路を潰します。

なお注意点として、均等割り付けでもオッズ比は層別値と一致しません（共通2.000 → 合計1.451）。率とリスク差は加重平均で保たれるのにオッズ比は保たれない、という性質（非崩壊性）です。向きは変わらないので交絡とは別問題です。

マクネマー検定の見分け方

対応のある2×2表の検定で、$X^2 = (b-c)^2/(b+c)$。一致ペア $a, d$ は完全に無情報です（$a$ を20→40に変えても $X^2$ は 13.3333 のまま）。

見分け方は機械的です。

1人が表に何回登場するかを数える。 2回登場（測定回数が表の合計の2倍）→ マクネマー、1回（測定回数＝合計）→ ふつうの分割表。

中身は不一致ペアに対する符号検定です。発想は対応のあるt検定と同じ（個人差を消す）ですが、差が3値しかなく、差0の人が捨てられる点が違います。

独立性の検定を誤用すると、p値は小さくなりますが（0.000049）別の問いに答えています（個人の一貫性を測ってしまう）。

残差は3種類あって使えるのは1つ

なぜ補正が必要かというと、期待度数を周辺合計から推定した分だけ分散が縮んでいるので、それを割り戻しているのです。

イエーツの補正と対数線形モデル

イエーツの連続性補正は $\lvert O-E \rvert$ から 0.5 を引く操作で、0.5 の由来は「幅1の区間の半分」です。現在は推奨されません（保守的すぎる）。存在と理由を知っていれば十分です。

対数線形モデルはセル度数の対数を行効果・列効果・交互作用の和で表すもので、交互作用ゼロ＝独立になります。$G^2 = 2\sum O\log(O/E)$ が尤度比統計量で、ロジスティック回帰と等価な形に書き直せます（第18回の接続）。

→ 第30回。

第29章 不完全データの統計処理

3分類は「欠測確率が何で決まるか」

形式的には $P(R \mid Y_{\text{obs}}, Y_{\text{mis}})$ が何に依存するかで定義されます。

決定的に重要な非対称性が1つあります。

MCAR は検定できるが、MAR と MNAR は原理的に区別できない。

理由は単純で、MNAR の情報は欠測している値の中にあり、それは定義上手元にないからです。同じ観測データを生む「MAR の世界」と「MNAR の世界」を構成できてしまいます。だからMAR は検定して確かめるものではなく、仮定して明示するものです。

削除と代入の何が問題か

この章でいちばん効いた言い方がこれです。

表に数字を書いた瞬間、その値の不確実性がゼロになる。

平均代入も回帰代入も、埋めた値を「観測されたのと同じ確かさ」として扱ってしまいます。だから見た目の分散が縮み、信頼区間が短くなり、被覆率が落ちる。削除のほうがまだ正直です（捨てたことが $n$ に現れる）。

EM アルゴリズム

E ステップ（欠測部分の期待値を計算）と M ステップ（それを使って最尤推定）を繰り返します。

コツは E ステップで2乗の期待値を忘れないことです。

分散を足す項を落とすと、それが回帰代入と同じ間違い（分散が縮む）になります。

EM は最尤推定値に一致します（実測で12桁一致）。弱点は標準誤差が出ないことで、別途2階微分かブートストラップが必要です。これが FIML や多重代入が主流になった理由です。

多重代入法とルービンの公式

$m$ 通り埋めて、それぞれで「いつもの分析」をして、結果を統合します。

$m$ 回埋める理由は点推定の精度ではなく標準誤差です。$B$ を測るために複数回必要になります。$m=5$ で実用上十分です。

実務上の強みは段階2で「いつもの分析」がそのまま使えることです。欠測用の手法を覚え直す必要がありません。

なお $\lambda = (1+1/m)B/T$ は「全分散のうち欠測由来の割合」ですが、FMI（欠測情報割合）の大標本近似で別物です（実測で 7.35% vs 7.60%）。しかも $m=5$ ではばらつきが大きく（800回の5〜95%点で 3.0%〜28.1%）、1標本の値は信用しすぎないほうがよいです。

FIML と感度分析

FIML は欠測を埋めず、観測されていない変数を尤度から積分して消します。EM と同じ推定値になり、違いは「反復で解くか数値最適化で直接解くか」だけです。

MNAR に対する唯一の誠実な対応は感度分析です。$\delta$（無回答者が回答者とどれだけ違うか）を振って、「$\delta$ がこの範囲なら結論はこの範囲」と幅で報告します。グラフの傾き自体が情報で、緩やかなら結論が頑健、急なら仮定に強く依存しています。

MNAR を検定可能にする唯一の道は無回答者の一部を追跡して回収することです。$\delta$ を実測値に置き換えられます。

そして実務でいちばん効くのは解析より設計でした。区間で聞く、予測変数を一緒に集める、追跡調査をする。

→ 第31回。

第30章 モデル選択

AIC の $2k$ はどこから来たのか

$-2\log L$ に $2k$ を足す、あの $2$ の出どころです。

$2$ は $(+k)-(-k)$ であって、$-2\log L$ の $-2$ ではありません。 ここは混同しやすい点です。

バイアス項 $\lVert (I-H)\mu \rVert^2$ は両辺で同一なので消えます。だからモデルが誤特定でも $2k\sigma^2$ は成立します。20万回のシミュレーションで検証済み（$n=40$, $\sigma=1.5$, $k=4$ → 80.970 vs 81、99.032 vs 99、差 18.062 vs 18）。

AIC の読み方の注意

• AIC は新データでの予測誤差（悪さ）の推定量。小さいほどよい
• 絶対値は無意味で、差だけが意味を持つ
• パラメータ数ではなくモデルを順位づける。 3変数の56通りは全部 $k=5$ なのに、AIC は 8.45〜129.01 の幅 120.6 で散らばる

AIC ≒ LOO は偶然ではない

どちらも同じハット行列 $H$ から出ます。

$h_{ii}$ は第17回のてこ比です。PRESS の式とブルートフォースの LOO が浮動小数の精度いっぱい（誤差 $1.6\times10^{-14}$）で一致することを確認しました。

そして実務的に重要な違いがあります。AIC と LOO は決定的だが、K-fold は分割の乱数に依存します。 同一データで200通りの分割を試すと、5-fold は17種類、10-fold は11種類のモデルを返しました。AIC と LOO は常に同じ答えです。

一貫性 vs 効率性

「AIC は予測が得意」という雑な言い方は、実験で崩れました。どちらが勝つかは真の構造次第です。

BIC $=-2\log L + k\log n$ で、$\log 8 = 2.079$ なので $n \geq 8$ で AIC より厳しくなります。

AIC は尤度比検定の限界を差し替えたもの（この章の山場）

入れ子モデルなら、

左辺は尤度比検定統計量そのものです。つまり

AIC ＝ 棄却限界を $\chi^2_{0.95}$ ではなく $2\Delta k$ にした尤度比検定。BIC ＝ 限界を $\Delta k \log n$ にしたもの。

対応する有意水準を計算するとこうなります。

「AIC は甘い」は $\Delta k$ が小さいときだけでした。$\chi^2(\Delta k)$ の平均 $\Delta k$・標準偏差 $\sqrt{2\Delta k}$ に対し、限界 $2\Delta k$ は $\sqrt{\Delta k/2}$ 標準偏差ぶん上にあるので、$\Delta k$ が増えると相対的に遠ざかります。

逆転する最初の整数は $\Delta k = 8$（0.042）です。$\Delta k = 7$ は 0.051 でまだわずかに甘く、厳密な交差点は $\Delta k = 7.12$。境目を整数で丸めると向きを間違えます。

BIC（$\Delta k=1$）の $\alpha$ は $n=30$ で 0.065、$n=100$ で 0.032、$n=1000$ で 0.0086、$n=10^6$ で 0.0002。BIC は「$n$ とともに有意水準を下げる検定」で、これが一貫性の正体です。

検定との本質的な違いは3つあります。

1. 検定は $H_0$ と $H_1$ が非対称／AIC は対称（「良いか」に答え「証拠が十分か」には答えない）
2. 検定は入れ子必須で2つ限定／AIC は非入れ子でも3つ以上でも順位づけできる
3. 目的が「偶然で説明できるか」vs「新データで当たるか」

共通の限界は、選択と推論を同じデータで兼用できないことです。

ステップワイズ法の「5つの罪」

5つは同じ種類の問題ではありません。 3つに分かれます。

罪1・3は「選んだモデルを最初から仮説だったように報告すること」が原因なので報告の仕方で直りますが、罪2・4は予測にも効くので直りません。

呪いの強さは「門の狭さ」で決まる

「真の係数0.25の変数の報告される $E\lvert b \rvert$ ÷ 真の値」を並べるとこうなります（ボンフェローニの行は候補30本の別実験なので傾向の比較として見てください）。

これを最初「門の狭さ」という1本の軸で説明しようとして失敗しました。リラックス・ラッソとラッソは同じ $\lambda$ で選んだ同じ変数集合を使っていて門はまったく同じなのに、1.52 と 0.84 に分かれます。

軸は2本あります。

ラッソが免れるのは、選ぶのをやめて全員を縮めているからです。

そして多重性の補正は問題を解決しません。門を狭くすると偽陽性は治りますが（本物3本入りの別実験で 0.750→0.047）、罪4を悪化させ、検出力も壊します（真0.25の選択率 0.223→0.019）。

壊れ方の性質も違います。ステップワイズは 1.01〜2.98 と信号の強さで激しく変動し、弱い信号ほど酷い（いちばん知りたい変数でいちばん壊れる）。ラッソは 0.71〜0.84 で方向が常に「控えめ」でほぼ一様。どうせ外れるなら安全側に一様に外れるほうが扱いやすい、という実務的な差になります。

ラッソを変数選択として見る

ラッソ ＝ $L_1$、リッジ ＝ $L_2$ です（第19回の内容ですが、私は一度混同しました）。決め手は

リッジは係数をゼロにしないので、変数選択の手法になりえない。

覚え方は「絶対値は原点で折れている。その折れがゼロを作る」。

同一データでステップワイズと比べると、真の効果が最大の $x_1$ の選択率が 0.11 → 0.68、$x_3$ が 0.40 → 0.87。ただし理由は「相関の扱いが賢いから」ではありません（相関ペアの一方だけを選ぶ傾向はラッソにもあります）。交差検証の $\lambda$ が緩く、平均5.87本も入れているから拾えているだけです。

代わりに真の係数0の変数が 0.28〜0.54 混入します（交差検証の $\lambda$ は予測最適で、選択最適ではない。AIC が BIC より多く選ぶのと同じ理屈）。失敗の仕方が正反対です。

同じ式で解ける他の問題

すべて $-2\log L + (\text{罰則})$ の候補集合を変えただけです。変化点の実験では、真の [40, 90] に対し BIC が $m=2$ で [40, 86]、AIC は $m=10$ に暴走しました（ただし変化点の位置は正則なパラメータではないので、罰則の理論的正当化がこの設定では成り立っておらず、非正則性による罰則の過小も混ざっています）。

→ 第32回。

第31章 ベイズ法

変わったのは「何が動くか」だけ

$\theta$ が確率変数になった瞬間に「$\theta$ が区間に入る確率は95%」と言えるようになります。分布が表しているのは $\theta$ の物理的なばらつきではなく、自分の知識の不確かさです。

計算は $\text{事後} \propto \text{事前} \times \text{尤度}$ の一行だけです。

共役は「形が掛け算で壊れないこと」

尤度の族を決めたとき、事後分布が事前分布と同じ族に戻るような事前分布の族。

「二項分布と共役」は省略した言い方で、正確には「ベータ分布は二項尤度に対する共役事前分布」。分布と分布の関係ではなく、尤度の族と事前分布の族の関係です。

理由は式を3行並べれば分かります。$\pi(\theta) \propto \theta^{a-1}(1-\theta)^{b-1}$ と $L(\theta) \propto \theta^x(1-\theta)^{n-x}$ は同じ骨格なので、掛けると指数が足されるだけです。

共通の型は「事前分布のパラメータに十分統計量を足す」だけです。理由は第9回の指数型分布族で、指数の中で足し算になるからです。

注意：「共役が存在するのは指数型分布族のときだけ」は誤りです。一様分布 $U(0,\theta)$ は指数型でないのにパレート分布が共役です。逆向き（指数型なら構成できる）は正しいですが、構成できても名前のついた分布になるとは限りません（ロジスティック回帰がその例で、共役族は存在するが正規化定数が書けない）。

信頼区間と信用区間

同じデータ（$n=20$ で6クリック）で計算するとこうなります。

Wilson と信用区間がほぼ一致します。 哲学が違うのに数字はほぼ同じ。だから

通常の条件下で $n$ が十分なら、ベイズにするかで結論の数字はほぼ変わらない。変わるのは「何と言い表せるか」だけ。

裏を返すと、差が出るのは小標本です。被覆率を厳密に計算すると、$\theta=0.05$ で Wald は 63.89%（95%と名乗って3回に1回以上外す）。$x=0$ では Wald の区間が [0, 0] に潰れます。

信用区間には等裾区間（左右2.5%ずつ切る）とHPD区間（密度が高い順に集める。幅最小）があり、単峰かつ対称なら一致します。

無情報事前分布は無情報ではない

$\theta$ に一様分布を置いても、対数オッズ $\psi = \log\bigl(\theta/(1-\theta)\bigr)$ で見ると 0 の近くに集まった山型になります（$P(-1<\psi<1) = 0.462$。$\psi$ は全実数を動くので「$\psi$ について一様」は不適切事前分布になりますが、$(-8,8)$ に切れば一様なら $2/16 = 0.125$）。ロジスティック回帰の係数は $\psi$ の側なので実害があります。

これを解決するのがジェフリーズ事前分布 $\pi(\theta) \propto \sqrt{I(\theta)}$ で、二項なら $\text{Beta}(0.5, 0.5)$。変換不変性を数値で確認すると、$\theta$ で作って変換した密度と最初から $\psi$ で作った密度の比がすべて 1.000000 で一致します。

そして実務上の落としどころ。

$n$ が数百を超えると事前分布を何にしても同じです。神経を使うのは小標本のときだけで、逆にそこでは選んだ理由を説明できなければなりません。

なお不適切事前分布（積分が発散する。ハルデーン $\text{Beta}(0,0)$ など）は、$x=0$ のデータで事後分布そのものが正規化できなくなります。

MCMC は2つの技術の合成語

この分解が理解の鍵でした。私は最初アルゴリズムから入って完全に詰まりました。積み上げるとこうです。

1. 事後平均や区間が知りたい → 積分が必要 → 高次元では不可能（$d=10$ でグリッド積分は317万年）
2. でもサンプルがあれば数えるだけで済む（＝モンテカルロ法）
3. サンプルをどう作るか → 棄却法は高次元で死ぬ（$d=20$ で採用率 $8\times10^{-11}$%）
4. 今いる場所の隣を歩くようにすれば動ける（＝マルコフ連鎖）
5. 足跡の分布は定常分布なので、定常分布＝事後分布になるよう設計する
6. その足跡を数える（2に戻る）

メトロポリス法

prop = cur + normal(0, step)               # ① 隣を提案
logr = log_target(prop) - log_target(cur)  # ② 比を取る → 正規化定数が消える
if log(uniform()) < logr:                  # ③ 確率 min(1,r) で受容
    cur = prop
chain[i] = cur                             # ④ 棄却でも記録する

②が仕掛けです。 比を取ると計算できない分母が約分で消えるので、正規化定数を知らないままサンプルできます。

歩き方は「登るときは必ず行く。下るときはときどき行く。」

④を落とすとバグります。 棄却は「動かない」だけで、その場にもう1回滞在したことになります。

なぜ定常分布が事後分布になるのかは詳細釣り合い

で、受容確率 $\min(1, \pi(y)/\pi(x))$ はこの等式が成り立つよう逆算して作られています。

注意：詳細釣り合いは定常分布であるための十分条件で必要条件ではありません（決定的スキャンのギブスは満たさないのに $\pi$ を不変にします）。また詳細釣り合いだけでは収束せず、既約性と非周期性が別途必要です。

チューニングと収束判定

受容率が高いほど良いのではありません。 20〜50%が目安（1次元の理論的最適は約44%、高次元では約23.4%）。

収束判定は $\hat R$（Gelman-Rubin）で、鎖間のばらつき $B$ と鎖内のばらつき $W$ を比べます。

判定基準は 1.01 未満（昔は1.1）。二峰分布の失敗例では $W = 0.476$ に対し $B = 120{,}272$ で $\hat R = 5.12$ でした。

複数の鎖が必須です。 失敗例の第1鎖だけ見ると平均 $-3.0006$・前半後半差 0.0204 で完璧に安定して見えるのに、第3鎖は $+3.0110$ にいます。しかも反復を増やしても $\hat R$ は下がりません（5.0 のまま）。

さらに罠として、4本まとめた平均は $+0.0047$ で真値0とほぼ一致してしまいます（対称なので偶然打ち消し）。「平均が合っているから大丈夫」は収束の証拠になりません。

メトロポリスとギブスの使い分け

条件付き分布が書けるならギブス、書けないならメトロポリス。 同一問題で ESS は 7.8〜10.1倍の差でしたが、どちらも正しい答えに収束します（差は正しさでなく効率）。

ギブスは受容確率が恒等的に1になるメトロポリス・ヘイスティングス法の特別な場合として導けます。

ベイズファクターとリンドレーのパラドックス

p値を 0.01 前後に固定したまま $n$ を増やすとこうなります。

p値は有意と言い、ベイズファクターは $H_0$ 支持と言います。 種は「$H_1$（一様）は的が広すぎて当てても偉くない」こと。p値は「差があるか」、BF は「$H_0$ と $H_1$ のどちらがマシか」を見ています。

BF の弱点は $H_1$ の設定に敏感なことです。同じデータで $H_1$ を狭くすると 0.0348 → 6.184 と反転します。

利点は $H_0$ を積極的に支持できること（$BF_{10}<1/3$）。頻度論の「有意差なし＝言えなかっただけ」という非対称性を解消します。ただし指定した $H_1$ と比べての相対的な主張です。

そして $\text{事後オッズ} = \text{事前オッズ} \times BF$ は、第2回の陽性的中率とまったく同じ形です。オッズは常に $H_1/H_0$ の向きなので注意（私は一度逆にしました）。

階層ベイズと縮小

「記事ごとに違うが、無関係でもない」を3層で書いたモデルです。$\text{Beta}(a,b)$ は個々の率ではなく「率の集団」を表します（第2層に置かれているのが目印）。

$a, b$ の読み方は2通りあります。

事後平均は共役なので足すだけで、重み付き平均に書き換えられます。

$n = a+b$ でちょうど半々になります。$n$ が小さい記事は全体平均に強く引かれ、大きい記事はほとんど動かない（$n=8$ で $w=28.4\%$、$n=2000$ で $99.0\%$）。

この書き換えは共役の副産物です。共役でない事前分布（ロジット正規）だと $10^{-3}$ オーダーのずれが残り、厳密には成り立ちません。

効果は大きく、記事30本の平均二乗誤差が標本比率の 44.1%（表示20回以下に絞ると 34.3%）。全記事独立にも全記事プーリングにも勝ち、その中間が最良です（プーリングは 1.078倍で悪化）。

第19回のリッジ・ラッソと同じバイアス・バリアンストレードオフが、ベイズでは事前分布という形で出てきます。

階層ベイズと経験ベイズの差は区間幅に出る

点推定はほぼ同じで、違いは区間幅です。経験ベイズは $a, b$ の不確実性を数え落とすので自信過剰になります。全分散の公式で分解すると

で、経験ベイズは第2項を丸ごと落としています（1点に固定すると $V[E(\cdot)]=0$ になる）。

局外パラメータの周辺化（この編の統合点）

興味のないパラメータ（局外パラメータ）を積分で消す操作が周辺化です。MCMC はこの二重積分を「引いて数える」で実行しています。

そして同じ構造が連載の各所に散らばっていました。

t分布は正規分布の混合分布でした（$\nu=5$ で分位点が 2.0158 対 2.0150 と一致）。そして過分散＝混合したから分散が増えたと読み替えられます。

一般則はこうです。

消すべきパラメータを最尤推定値のような1点に決め打つと、たいてい自信過剰になる。 正しく周辺化すると裾が厚くなる。

$\sigma^2$ を固定して $z$ を使うと $\nu=3$ で区間が 38.4% 短くなります。それが t分布の存在理由でした。

ただし「必ず」ではありません。$\sigma^2$ を事後平均で代入すると $\nu=3$ で逆に 6.7% 広くなります。代入する点の選び方で符号が変わります。

→ 第33回。

第32章 シミュレーション

この章の技術は2種類に分かれる

まずここを分けないと混乱します。この章には性質の違う2種類の技術が同居しています。

①の出力が②の入力です。そしてMCMC は①と②の合体（マルコフ連鎖で作り、モンテカルロで数える）。

日常会話では両方まとめて「モンテカルロ」と呼ばれるのが混乱の原因でした。同じダーツ400万本から両方が出ます（個数を数えれば $\pi = 3.142276$、座標を使えば円内一様分布の標本 $E[r] = 0.666661$・理論 2/3）。

なお円内一様分布は半径の密度が $2r$ に比例するので、「$r$ を一様に引く」は罠です（半径を4等分すると、最も内側の帯が全体の 6.25%、最も外側が 43.75% を占めます）。

逆関数法

1個の一様乱数で1個の標本が出ます。原理は「$F$ の傾きが密度そのもの」なので、傾きが急な区間に $u$ がたくさん落ちる、というだけです（指数分布で $F'(0.2) = 0.819$、$F'(2.5) = 0.082$）。

区間の対応が1対1であることを200万個で確認すると、「$u$ が帯に入ったか」と「$X$ が区間に入ったか」の判定が全件一致しました（[1,2] ↔ [0.6321, 0.8647]、長さ 0.2325）。

逆向きに使うのが確率積分変換で、$F(X) \sim U(0,1)$ になります。Q-Qプロットとp値の正体がこれです。

「$F$ が計算できるなら逆変換のメリットは何か」という疑問は半分正しいです。1変数の積分ならグリッド法が圧勝します（誤差 $4.91\times10^{-10}$ 対 $6.86\times10^{-2}$ で1億倍以上）。逆転するのは滑らかな例で $d=4$ 付近（確率のような不連続な量なら $d=2$ まで下がる）で、分かれ目は「$F$ が計算できるか」ではなく「知りたい量が何変数の積分か」でした。

棄却法

覆い $c\,g(x) \geq f(x)$ から引いて、はみ出したら捨てます。覆いが全域を覆うなら採択率は $1/c$、$c$ は $f/g$ の最大値（微分してゼロで出ます）。

覆いを分布に変えると効率が上がります。 なお長方形を狭くすると採択率は上がりますが（$[-1,1]$ で 0.8556）、裾が切れて別の分布になります。

そして高次元で崩壊します（立方体 → 単位球）。

これが第33回の MCMC が必要になる理由です。

重点サンプリング法と MCMC の関係

この2つは「同じ目的の別手段」です。整理するとこうなります。

用語の整理も押さえておきます。

同じ目標分布（$\text{Beta}(7,15)$）を2通りで扱うと、どちらも同じ答えに到達します。

同じ $n = 200{,}000$ で比べます。

この例では提案（一様）が目標とそれなりに重なるので重点サンプリングが有利です。提案が外れると重みが暴れるので、高次元では MCMC が現実的になります。

重点サンプリングは希少事象で真価を発揮する

$\text{Exp}(1)$ を20個足した和 $S$ について $P(S>100)$ を求めます。厳密値は $3.764894\times10^{-23}$（$S \sim \text{Gamma}(20,1)$ なので閉形式で出ます）。

素朴なモンテカルロは無力です。

平均 $2.66\times10^{22}$ 回に1回しか当たらないので素朴法は当然の結果です。重点サンプリングは1000回で桁が合い、10万回で誤差1%。 命中率が 0% から 47% に上がっています。

やっていることは指数傾斜です。$\text{Exp}(1)$ を $\text{Exp}(\theta)$ に置き換えて分布を右へずらし、重み

で補正します。目安は $\theta = a/d$（提案分布のもとで $E[S] = a$ になる傾き）で、$100/20 = 5$。

$\theta$ の選び方はU字になる

$P(S>40) = 1.763029\times10^{-4}$ で $\theta$ を振ります（目安は $40/20 = 2$）。

傾けすぎると素朴法より悪くなります（$\theta=6$〜8 で2〜3倍悪化）。そして ESS 率が最大になるのは $\theta=2.0$ で、目安 $a/d = 2.0$ と一致しました。ESS は真値を使わずに計算できる診断指標なので実務で使えます。

なお ESS は教科書では重みだけで $(\sum w_i)^2/\sum w_i^2$ と定義しますが、まれな事象では推定量への寄与 $v_i = w_i\mathbf{1}_A$（命中しなかった試行は0）を使います。こうすると「命中したうえで重みが均等か」を1つの数で見られます。

重点サンプリングでいちばん危険な失敗

$\theta = 10$ の行を見ると、分散は素朴法の 0.1405 倍と「小さく」見えるのに、推定値は真値の 4.5%（相対誤差 95%） です。答えが外れているのに、分散だけ見ると成功したように見える。

同じ $n = 200{,}000$ で40回反復して確かめました。

$\theta=10$ は報告される標準誤差が実際のばらつきの4分の1しか言わない。しかも40回中40回が外れる。

標準誤差が嘘をつくので、失敗を自動で検知できません。 素朴法（$\theta=1$）は不正確ですが標準誤差は正直（1.02倍）で、目安（$\theta=2$）は 1.00倍で40回すべて当てています。

これが重点サンプリングを使うときに最も気をつける点で、ESS のような真値を使わない診断指標を併走させる必要があります。

モンテカルロも次元の呪いを受けるのか

受けます。ただし現れ方が違います。

グリッド法の誤差は $O(n^{-2/d})$ で、次元とともに収束の傾きが寝ます（実測で $d=1,2,4,8$ に対し $-2.001, -1.001, -0.503, -0.261$）。

モンテカルロは常に $O(n^{-1/2})$ で傾きが変わりません（実測 $-0.593, -0.434, -0.574, -0.472$）。

次元の呪いは、モンテカルロでは傾きではなく「高さ」に出る。

$\sigma/\text{答え}$ の比が次元でどう動くかがケースによって違い、①平均の推定なら縮む ②積なら指数増加 ③まれな事象なら崩壊します。だから重点サンプリングが必要になります。

グリッド法との交差は滑らかな例で $d=4$ 付近（確率のような不連続な量なら $d=2$ まで下がる）。$d=20$ で軸10点なら $10^{20}$ 回で、1秒10億回でも約3175年かかります。

分散減少法は「何を推定したいか」で効果が変わる

層別の 9707倍は $n=10^5$ という一点での倍率です。素朴法の $n^{-1/2}$ に対し層別は $n^{-3/2}$ なので、倍率は $n$ とともに開きます。

期待値だけ極端に効きます。 「分散減少法を使えば速くなる」と一般化できず、推定したい量の構造に依存します。

主要な4手法は、対照変量法（$u$ と $1-u$ の対称な乱数を使う。負の相関法とも呼ばれる同じ手法）・層別サンプリング・制御変量法・重点サンプリングです。

ブートストラップと並べ替え検定

どちらも既習ですが、区別を押さえます。

ジャックナイフ法は1個ずつ抜いてばらつきを測る手法で、ブートストラップより古く計算が軽い代わりに、滑らかでない統計量（中央値など）で失敗します。

擬似乱数の注意

コンピュータの乱数は決定的な計算で作られるので、シードを固定すれば完全に再現できます。逆に言うと、

• 論文やレポートではシードを明記する（再現性のため）
• 周期がある（メルセンヌ・ツイスタは $2^{19937}-1$ で実用上問題ない）
• 並列計算では鎖ごとに独立なシードを使う（同じ列を2回使わない）

この連載でも、記事の数値と図が食い違う事故が何度か起きました。原因はすべて「別のスクリプトで別のシードから生成した」ことでした。図と本文の数値は同じスクリプトから出すのが唯一の予防策です。

→ 第34回。

試験で問われる計算パターン

第27章

1. ACF の計算 … AR(1) なら $\rho_k = \varphi^k$。定常条件は $\lvert\varphi\rvert<1$。分散は $\sigma^2/(1-\varphi^2)$
2. MA(1) の ACF … $\rho_1 = \theta/(1+\theta^2)$、$\rho_2$ 以降は厳密にゼロ。$\rho_1$ の絶対値は 0.5 を超えられない
3. モデルの識別 … コレログラムを見て「ACF が切れたら MA、PACF が切れたら AR」。切れる位置が次数
4. 特性方程式 … $1-\varphi_1 z-\varphi_2 z^2 = 0$ の根が単位円の外か。AR(2) なら $\varphi_1+\varphi_2<1$、$\varphi_2-\varphi_1<1$、$\lvert\varphi_2\rvert<1$ の三角形
5. 差分の判断 … 単位根があるときだけ。DF検定は専用の臨界値（$-2.87$ 付近）

第28章

6. 期待度数と $X^2$ … 行合計×列合計÷総計。自由度 $(r-1)(c-1)$
7. オッズ比 … $ad/bc$ のたすき掛け。信頼区間は $\log$ に直して $\text{SE} = \sqrt{1/a+1/b+1/c+1/d}$、戻すときは指数
8. リスク比とオッズ比の変換 … $\text{OR} = \text{RR}\times(1-p_0)/(1-p_1)$
9. マクネマー検定 … $(b-c)^2/(b+c)$。自由度1。$a, d$ は使わない
10. 調整済み残差 … $(O-E)/\sqrt{E(1-p_i)(1-p_j)}$。$\pm 2$ を目安に判定
11. マンテル・ヘンツェル推定量 … $\sum(a_id_i/n_i) \div \sum(b_ic_i/n_i)$（$a$ は曝露あり×イベントあり。曝露側の取り方で分子と分母が入れ替わる）

第29章

12. 3分類の判定 … 「欠測確率が何に依存するか」を文章から読む。観測変数なら MAR、欠測値そのものなら MNAR
13. ルービンの公式 … $T = \bar U + (1+1/m)B$。自由度は $(m-1)(1+\bar U/((1+1/m)B))^2$（式は与えられることが多い）
14. EM の E ステップ … $E[y^2 \mid x] = (E[y\mid x])^2 + \sigma^2_{y\mid x}$ の分散項を忘れない
15. 削除と代入の影響の向き … 平均代入は分散を過小・相関を過小、回帰代入は相関を過大

第30章

16. AIC・BIC の計算 … $-2\log L + 2k$ / $-2\log L + k\log n$。$k$ に $\sigma^2$ を数え忘れない（正規回帰なら $p+2$）
17. AIC の差の解釈 … 差だけが意味を持つ。$\Delta\text{AIC}$ が 2 以内なら区別しない、10 以上なら決定的
18. PRESS … $\sum\bigl(e_i/(1-h_{ii})\bigr)^2$。$h_{ii}$ が与えられれば LOO が一発で出る
19. AICc … $\text{AIC}+2k(k+1)/(n-k-1)$。$n/k$ が小さいとき使う
20. どちらの規準を選ぶか … 「真のモデルを見つけたい」なら BIC、「予測を当てたい」なら AIC