モデル選択：AICの「2k」の2はどこから来たのか【第32回】

はじめに

第30章はモデル選択です。第16回の重回帰分析で「説明変数を増やすと決定係数は必ず上がる。無意味な変数を足しても上がる」という現象を見ました。あのとき置いた宿題を、この回で回収します。

学ぶ前の私の理解はこうでした。「AIC という指標があって、小さいほうが良いモデルらしい。パラメータ数に罰則がかかるので、複雑すぎるモデルは選ばれない」。実際に使ったこともあります。ただ、なぜ罰則が「パラメータ数の2倍」なのかは考えたこともありませんでした。$2k$ の $2$ は、どこから来た数字なのか。

結論から書くと、この $2$ は$(+k) - (-k)$ の $2$ でした。$-2\log L$ の $-2$ とは無関係です。訓練データでの誤差は $k$ のぶんだけ甘く出て、本当に知りたい新データでの誤差は $k$ のぶんだけ重く出る。その差が $2k$ です。20万回のシミュレーションで、小数第2位まで一致することを確かめました。ここが今回いちばんスッキリしたところです。

もう一つの山場は終盤にあります。AIC は尤度比検定と何が違うのかという疑問です。式を並べてみると、AIC でモデルを比べる操作は「第12回の尤度比検定で、棄却限界を $\chi^2$ の5%点でなく $2\Delta k$ にしたもの」とぴったり一致しました。そこから「AIC に対応する有意水準」を逆算できます。$\Delta k = 1$ なら 0.157。よく言われる「AIC は甘い」はここから来ています。ところが $\Delta k$ を増やすと対応する有意水準は下がり続け、$\Delta k = 8$ で 0.042 と 5% を下回ります（厳密な交差点は $\Delta k = 7.12$）。そこから先は AIC のほうが厳しいという逆転がありました。私は「AIC は甘い」を無条件の性質だと思っていたので、これは予想外でした。

そしてこの回には、ずっと後ろに引きずってきた薄気味悪い話があります。ステップワイズ法です。教科書には「批判が多い」と書いてあるのに、理由が列挙されるだけで納得できていませんでした。今回それを5つに分けて全部測りました。純粋なノイズだけのデータでステップワイズを回すと、自由度調整済み決定係数でも 0.145 という値が出ます。調整済みなら安全だと思っていたので、これは効きました。

さらに、5つの罪は同じ種類の問題ではなく、「選んだあとに推論をしたことの罪」「予測にも効く罪」「探索の限界」の3つに分かれると分かったのが、この回の構造的な収穫でした。そして「データを見て 0 か 1 で選ぶ」という操作そのものがコストの発生源だと分かると、ステップワイズ・第19回のラッソ・赤池ウェイトによる平均化が、一本の軸に並びます。

いつものように、出てくる数値はすべて自分で計算しています。$\chi^2$ 分布の確率とラッソは、この環境に scipy も scikit-learn も無いので自分で実装し、教科書の数値表や最小二乗法の解と突き合わせて検証しました。

この回で扱う用語

略語が多い回なので、先に並べておきます。

$k$ はパラメータ数、$n$ はデータの件数、$L$ は尤度です。

$k$ の数え方には流儀が2つあるので、先に整理しておきます。AIC の定義に忠実に数えるなら、正規分布の回帰では $\sigma^2$ も推定しているのでこれも1つ数えます。説明変数 $p$ 本＋切片＋$\sigma^2$ で $k = p + 2$ です。いっぽう、このあと出てくる残差平方和を使った導出では「回帰係数の本数」だけを数えます（$p + 1$）。

紛らわしいのですが、実害はありません。どちらの流儀でも全モデルに同じ定数が足し引きされるだけなので、AIC の差は変わらないからです。そして後で見るように、AIC は絶対値ではなく差だけが意味を持ちます。以下では、どちらの数え方をしているかを都度明記します。

何に使うのか：決定係数の話の続き

第16回で見た現象をおさらいします。説明変数を増やすと決定係数 $R^2$ は必ず上がります。$y$ とまったく無関係な乱数を足しても上がります。だから「$R^2$ が大きいモデルを選ぶ」をやると、いつも「全部の変数を入れたモデル」が勝ってしまう。

これは「当てはまりの良さ」を手元のデータで測っているからです。手元のデータへの当てはまりは、変数を増やせばいくらでも良くできます。極端には、$n$ 個のデータに $n$ 個のパラメータを当てれば残差はゼロになります。

私たちが本当に知りたいのは別のことです。このモデルは、まだ見ていないデータをどれだけ当てるのか。 モデル選択の道具は全部、この一点に向けて作られています。やり方は大きく2つです。

そして道具の外側に、もっと重要な区別があります。第31回の最後に触れた話です。予測が目的なのか、説明が目的なのか。 同じデータでも、この2つで正反対の判断になります。予測が目的なら「効くかもしれない変数は入れておく」が正しく、説明が目的なら「本当に効いている変数だけ残す」が正しい。AIC と BIC は、まさにこの2つに対応しています。

過学習は「二手に分かれる」現象

まず現象を見ます。真の関数を3次式 $1 + 2x - 1.2x^2 + 0.25x^3$ とし、そこに標準偏差 0.6 の誤差を乗せた15点を用意しました。この15点に $d$ 次の多項式を当てはめ、手元の15点での誤差と、同じ仕組みで作った新しい4000点での誤差を両方測ります。

左のグラフが過学習の定義そのものです。訓練誤差（青）は下がり続けるのに、検証誤差（赤）は途中から上がる。 数値で書くとこうなります。

12次では訓練誤差が 0.011 まで落ちています。手元のデータについては、ほぼ完璧に説明できている。ところが新しいデータでの誤差は 4114 です。約37万倍の落差です。

もう一つ、大事な線が引かれています。$\sigma^2 = 0.36$ の水平な点線です。誤差の標準偏差が 0.6 なので $\sigma^2 = 0.36$。これはどんなに良いモデルを持ってきても消せない床です。真の関数を完全に知っていたとしても、$y$ には $\sigma$ のばらつきが乗っているので、予測誤差は $\sigma^2$ より下がりません。検証誤差の最小値 0.414 が 0.36 より少し上なのは、この床の上に「モデルを推定したことによる誤差」が乗っているからです。

そして訓練誤差はこの床を下回っています（12次で 0.011）。消せない誤差より小さい誤差が出ているというのは、それ自体が異常のサインです。ノイズを構造として覚え込んでいる証拠です。

右のグラフは同じ現象を別の軸で見たものです。次数を10に固定して、データ件数だけ増やします。$n = 12$ のとき検証誤差は 257915（この列だけは反復の中央値です。$n$ が小さいと検証誤差は極端に裾を引き、平均は数回の外れ値に支配されてしまうので、中央値で見ています。訓練誤差の側は平均です）。$n = 3000$ では 0.371 まで落ち、訓練誤差 0.359 とほぼ同じ値になって $\sigma^2 = 0.36$ に収束します。過学習は「モデルが複雑すぎる」のではなく「データの量に対してモデルが複雑すぎる」現象です。$n$ と $k$ の比の問題です。

曲線そのものを描くとさらに分かりやすいです。

左は単純すぎて構造を捉えきれていない。曲がっているものに直線を当てているので、どんなにデータを増やしても直りません。右は点を通すために暴れている。データが少し変われば、この曲線はまったく別の形になります。この「捉えきれない」と「暴れる」が、次の分解の2つの成分です。

バイアスとバリアンスに分解する

予測誤差は3つに分かれます。

言葉で言えばこうです。バイアスは「何回データを取り直して平均しても残るズレ」。左の図の直線が真の曲線からずれている分です。バリアンスは「データを取り直すたびに答えが変わる幅」。右の図の暴れる曲線が、データごとに別の形になる分です。$\sigma^2$ は $y$ そのものに乗っているノイズです。

複雑さを上げるとバイアスは減り、バリアンスは増えます。逆向きに動くので、合計には最小値があります。これがトレードオフです。

数値で確かめます。$n = 30$ のデータを8000回作り直して、各次数について2つの成分を実測しました。$x$ の位置は 30 点に固定して、毎回ノイズだけを作り直しています（固定設計）。誤差を測るのも同じ 30 点の上です。ひとつ前の実験は新しいランダムな $x$ 点で測っていたので、同じ「予測誤差」という語でも中身が違います。$k\sigma^2/n$ という綺麗な形が出るのは、同じ $x$ 点で測っているからです。このあとの $(n \pm k)\sigma^2$ の話も、同じ設定の上にあります。

バイアス$^2$ は3次でほぼ完全にゼロになります（$10^{-5}$ 程度）。真の関数が3次なので、3次以上の多項式は真の関数を含んでいて、構造的なズレが消えるからです。4次以上でもゼロのままです。「余分な項があっても、その係数の期待値がゼロなら、平均的なズレは生じない」ということです。

いっぽうバリアンスは増え続けます。しかもその値が理論値 $k\sigma^2/n$ とぴったり一致しています。$d = 10$ なら $k = 11$ で $11 \times 0.36 / 30 = 0.132$、実測 0.1319。

この式は覚える価値があります。バリアンスはパラメータ1個あたり $\sigma^2/n$ ずつ増える。 過学習の「値札」がこれです。パラメータを1個足すたびに、$\sigma^2/n$ の税金を払う。データが多ければ税率は下がります。

そしてこの $k\sigma^2/n$ が、次の AIC の $2k$ の正体に直結します。

なぜ「$k$ 個あたり」なのか

回帰の予測値は $\hat y = Hy$ と書けます。$H = X(X^\top X)^{-1}X^\top$ はハット行列（第17回のてこ比の親玉）です。$\hat y$ の分散の合計は $\sigma^2 \operatorname{tr}(H)$ になり、$\operatorname{tr}(H) = k$（ここでの $k$ は係数の本数）です。1点あたりに直すと $k\sigma^2/n$。

$\operatorname{tr}(H) = k$ になるのは、トレースが順序を入れ替えられる性質から出ます。

5点・2パラメータの小さな例で確かめました。てこ比 $h_{ii}$ は $[0.6, 0.3, 0.2, 0.3, 0.6]$ で合計 2.0、パラメータ数と一致します。各点の予測値の分散の実測は $[2.391, 1.195, 0.798, 1.200, 2.400]$、理論値 $h_{ii}\sigma^2 = [2.4, 1.2, 0.8, 1.2, 2.4]$。てこ比は「その点が自分の予測値をどれだけ引っ張れるか」であり、引っ張れる点は分散も大きいという関係がここで見えます。

AIC：$2k$ の $2$ はどこから来たのか

AIC の定義はこれです。

第1項は当てはまりの良さ（の逆）、第2項は複雑さへの罰則。小さいほど良い。ここまでは知っていました。分からなかったのはなぜ「$2k$」なのかです。$k$ でも $3k$ でもなく $2k$ である理由が要ります。

訓練誤差は $k$ だけ甘く、真の誤差は $k$ だけ重い

答えは、2つの期待値を並べると見えます。$n$ 点のデータに $k$ 個の回帰係数を最小二乗で当てはめたとき、

これは第16回で出てきた話です。$\hat\sigma^2 = \mathrm{RSS}/(n-k)$ が不偏推定量になるのは（モデルが真の平均構造を含んでいるとき）、$\mathrm{RSS}$ の期待値が $(n-k)\sigma^2$ だからでした。パラメータを増やすと分母が減る。つまり手元のデータでの誤差は $k\sigma^2$ ぶん甘く出ます。

「甘い」「重い」の基準は $n\sigma^2$ です。真の平均を最初から知っていて何も推定しなければ、残差は純粋なノイズなので $E[\mathrm{RSS}] = n\sigma^2$。この線を挟んで、訓練誤差が $k\sigma^2$ ぶん下、新データの誤差が $k\sigma^2$ ぶん上に来ます。

ここで、同じ $x$ の位置で $y$ だけをもう一度観測しなおしたとします。当てはめた係数はそのままで、新しい $y$ に対する誤差を測ると、

符号が反転します。理由は素直です。訓練データでは、当てはめた予測値 $\hat y$ が $y$ に引っ張られている（残差が小さくなる方向に動いている）。新しい $y$ はその引っ張りの外側にあるので、$\hat y$ のばらつき $k\sigma^2$ が誤差に足される側に回ります。

差を取ります。

これが $2k$ です。$2$ は $(+k) - (-k)$ の $2$。$-2\log L$ の $-2$ とは何の関係もありません。私はここを混同していたので、ずっと「$2$ の意味」が見えていませんでした。

20万回で確かめる

$n = 40$、$\sigma = 1.5$（$\sigma^2 = 2.25$）、真の関数は3次式。20万回シミュレーションしました。$k$ は回帰係数の本数です。

$k = 4$ の行を見ると、訓練 80.970 対理論 81.000、新データ 99.032 対理論 99.000。ぴったりです。

そして $k = 2$ と $k = 3$ の行が面白い。 真の関数は3次（係数4本）なので、$k = 2$ や $k = 3$ のモデルは間違ったモデルです。実際、訓練RSS の実測 95.385 は理論 85.500 から大きく外れています。この差 9.885 が「捉えきれていない構造」＝バイアスです。

ところが差の列を見ると 8.917 で、理論 $2k\sigma^2 = 9.000$ にちゃんと合っています。 バイアスは訓練側にも新データ側にも同じだけ乗るので、差を取ると消えるのです。式で書くと、バイアス項 $\|(I - H)\mu\|^2$ が両辺に同一の形で現れて引き算で落ちます。

これは実用上とても重要な性質です。$2k$ という補正は、モデルが間違っていても正しく機能する。 AIC が「真のモデルが候補に入っている」を前提としないのは、この性質の帰結です。

ただし、どこまで間違っていていいのかには限度があります。ここで消えたのは平均構造の誤りだけで、$\sigma^2$ は正しいままでした。分散構造まで間違っている一般の場合、誤特定のもとで正しい罰則は $2\operatorname{tr}(J^{-1}I)$（竹内情報量規準, TIC, Takeuchi Information Criterion）に変わります。ここで $J$ は対数尤度のヘッセ行列の期待値（の符号を変えたもの）、$I$ はスコア関数の分散で、モデルが正しければ $I = J$ なので $\operatorname{tr}(J^{-1}I)$ は $k$ 次の単位行列のトレース、つまり $k$ になります（第10回のフィッシャー情報量の2つの表し方が一致する、という話と同じものです）。つまり $2\operatorname{tr}(J^{-1}I)$ が $2k$ に一致するのは、モデルが正しく特定されているときです。「モデルが間違っていても機能する」は、$\sigma^2$ を固定した正規線形モデルという今の枠の中での話です。

図にすると2つの曲線の関係が見えます。

左が2つの期待値、右が補正の結果です。訓練誤差に $2k$ を足すと、本当に知りたかった新データでの誤差の曲線が復元されます。 これが AIC の全部です。AIC は「新データでの予測誤差の推定量」であり、$-2\log L$ の部分が甘く出るぶんを $2k$ で埋め戻しているだけです。

$-2\log L$ と残差平方和のつながりも確認しておきます。正規分布を仮定すると対数尤度は

なので、$-2\log L = n\log \mathrm{RSS} + \text{（モデルによらない定数）}$ です。残差平方和が小さいほど尤度が高い。第31回の EM アルゴリズムで最大化していた対数尤度が、そのまま AIC の材料になります。

AIC はパラメータ数の最適値を求める道具ではない

ここで私は勘違いをしていました。「AIC はパラメータ数として幾つが最適かを求める指標」だと思っていたのです。上の図がまさに「$k$ を横軸にした曲線」なので、そう見えます。

違います。AIC が順位づけるのはモデルであって、パラメータ数ではありません。

実演します。8本の候補変数（真に効くのは $x_1, x_2, x_3$）から3本を選ぶ組み合わせは56通りあります。56通りすべてがパラメータ数 $k = 5$ です（3変数＋切片＋$\sigma^2$）。罰則項 $2k = 10$ は全部同じ。それでも AIC の値は大きく散らばります。

同じ $k = 5$ なのに、AIC の幅は 120.6 あります。 罰則が同じなら、あとは当てはまりの勝負です。だから AIC は「3本使うモデルの中でどの3本か」を選べます。パラメータ数だけの関数なら、こんなことは起きません。

そのうえで、パラメータ数をまたいだ比較もできます。同じデータで全256通り（8変数の全部分集合）を計算しました。

AIC 最小は変数4個の $x_1 + x_2 + x_3 + x_8$（8.04）で、真のモデル（8.45）ではありません。 余分な $x_8$ が1本入っています。差は 0.41 なので実質同点ですが、AIC はこういう「少し入れすぎ」を系統的にやります。この性質は後で正面から扱います。ちなみに同じデータで BIC を計算すると、最小は変数3個の真のモデル（18.92）でした。

絶対値は無意味、差だけが意味を持つ

上の表の「8.04」という数字そのものには意味がありません。$-2\log L$ には $n\log(2\pi) + n$ のようなデータに依らない定数が入っていますし、$y$ の単位を $c$ 倍すれば全モデルに $2n\log c$ が共通に乗ります。データを別のものに変えれば AIC は簡単に数百も動きます。

AIC は同じデータに対する複数モデルの間で、差を見るためだけの量です。 「AIC が 8.04 だから良いモデル」という言い方は成立しません。「AIC がこちらのほうが 41 小さいから、こちらを選ぶ」が正しい使い方です。

AICc：小標本では罰則が足りない

$2k$ という補正は $n$ が大きいときの近似です。$n$ が $k$ に比べて小さいと補正が足りず、AIC は複雑なモデルを選びすぎます。修正版が AICc です。

追加項の大きさを表にしました。

$n = 20$、$k = 15$ では罰則が5倍に膨れます。分母 $n - k - 1$ がゼロに近づくからです。逆に $n = 150$、$k = 8$（$n/k = 18.8$）なら 1.06 倍で、無視して構いません。よく言われる目安は $n/k \gtrsim 40$ なら AICc は要らないですが、これは安全側に寄せた慣行で、両者が分かれる境目ではありません。実際に差が出るのは $n/k$ が 10 を切る辺りからです（$n=150, k=8$ で 1.06 倍、$n=20, k=15$ で 5 倍）。$n/k$ が 40 を下回ったら AICc も計算して、差が出るかどうかを自分で見るのが正しい使い方だと思います。

なお、この式が厳密に成り立つのは正規線形回帰（かつ $n - k - 1 > 0$）のときです。一般の尤度モデルに使う場合は近似です。

効果も測りました。真の次数が3の多項式回帰で、真の次数を当てられる割合です。$x \sim U(0, 4)$、$\sigma = 0.8$、候補は0次から9次まで（$n$ が小さいときは $n-4$ 次まで）、反復は $n$ が小さい順に 3000・3000・2000・1500 回です。

$n = 15$ では AIC の平均次数が 5.21 と暴走しています。AICc は 1.62 に抑えますが、こちらは抑えすぎで的中率は 0.152 と大差ありません。$n = 15$ ではどの規準も的中率が15%程度で、そもそも選べていない。 この「小標本では選べない」は最後の実務の節でもう一度出てきます。

Mallows の $C_p$

回帰専用の規準として $C_p$ があります。

$\hat\sigma^2$ を全変数モデルから取って固定した AIC の回帰版です。いま評価しているそのモデル自身が真の平均構造を含んでいれば（バイアスがなければ）$E[C_p] \approx p$、含んでいなければ $p$ より大きくなります。だから「$C_p$ が $p$ に近く、$p$ を大きく超えていないモデル」を選びます。$\hat\sigma^2_{\text{full}}$ が $\sigma^2$ の不偏推定であること、つまり全変数モデルが正しいことも前提です。$-n + 2p$ の $2p$ に AIC と同じ $2$ が居ることに注目してください。出どころは同じ $(+k) - (-k)$ です。

試験対策としては存在と式の形を知っていれば十分だと思っています。AIC を理解していれば導ける関係です。

BIC：変化点がいくつあるかを決める

BIC の定義は、罰則の係数だけが違います。

$2$ が $\log n$ に変わっただけ。$n > e^2 \approx 7.4$ なら $\log n > 2$ なので、実質どんなデータでも BIC のほうが厳しい。$n = 150$ なら $\log 150 = 5.011$ で、罰則は AIC の 2.51 倍です。

由来はまったく違います。AIC は予測誤差の推定量でしたが、BIC はモデルの事後確率から出ます。データ $y$ が与えられたときのモデル $M$ の周辺尤度 $p(y \mid M) = \int p(y \mid \theta, M)\,p(\theta \mid M)\,d\theta$ をラプラス近似すると、$-2\log p(y \mid M) \approx -2\log L + k\log n$ になります。第33回のベイズ法で扱う周辺尤度がそのまま出てきます。

つまり AIC と BIC は「どちらが正しいか」という関係ではなく、質問が違います。

• AIC：このモデルは新しいデータをどれだけ当てるか
• BIC：このモデルが真のモデルである確率はどれだけか

変化点の個数を決めてみる

差が最も見やすい例を作りました。時系列に段差（変化点）がいくつあるかを決める問題です。$n = 150$ 点、真の変化点は 40 と 90 の2か所、区間ごとの平均は $[0, 3, 1]$、$\sigma = 1$。変化点の個数 $m$ を 0 から 15 まで動かし、各 $m$ について位置の最適な組み合わせを動的計画法で厳密に求めました（総当たりだと組み合わせ数が爆発します）。

$\sigma$ は既知としたので、$-2\log L$ は $\mathrm{RSS}/\sigma^2$ に定数を足したものになり、AIC は $\mathrm{RSS}/\sigma^2 + 2k$ と書けます。パラメータ数は「区間ごとの平均 $m+1$ 個＋変化点の位置 $m$ 個」で $k = 2m+1$ と数えました。位置もデータから決めているので、パラメータとして数えないと不公平になります。

まず下段左のグラフを見てください。RSS は変化点を増やすほど下がり続けます。 決定係数と同じ現象で、これだけ見ていると「変化点は多いほど良い」になってしまいます。個数を決めるには罰則が必要です。

結果です。

BIC は真の構造をほぼ正確に取り出しました。位置も 40 は完全一致、90 に対して 86 です。AIC は 10 個の変化点を置き、うち 40 と 86 は当てていますが、残り8個はノイズに階段を合わせているだけです。

上段右のグラフを見ると、AIC の階段が細かく刻まれているのが分かります。予測の観点では、この細かい刻みは（少なくとも害にならない程度には）情報を持っています。しかし「この時系列に何が起きたのか」を人に説明したいなら、10 個の変化点は使えません。BIC が選んだ2個のほうが、明らかに「答え」です。

これが AIC と BIC を使い分ける理由です。構造を取り出したいなら BIC、予測したいなら AIC。

一つ注意を書いておきます。$2k$ と $k\log n$ はどちらも正則条件（パラメータが定義域の内点にあり、尤度が滑らか）のもとでの漸近論から出た罰則です。変化点の「位置」は正則なパラメータではありません（整数値で、尤度が滑らかにつながらない）。変化点問題では位置1個あたりの実効的な罰則はもっと大きいことが知られていて、$3\log n$ 型の罰則が使われます。ですからここで AIC が 10 個も置いたのは、AIC の一般的な甘さだけでなく非正則性による罰則の過小も混ざった結果です。性格の対比としては分かりやすい例ですが、罰則の理論的な正当化はこの設定では成り立っていません。

AIC と BIC はどちらが「良い」のか

「BIC のほうが真のモデルを当てる」なら、常に BIC を使えばいいのでは、と思いました。そうならない理由が2つあります。

一貫性：BIC が勝つ状況

まず BIC が勝つ状況を確認します。候補は8変数の全部分集合256通り、真のモデルは $x_1 + x_2 + x_3$（残り5本の係数は厳密にゼロ）。真のモデルを正確に選べた割合です。

BIC は $n$ を増やすと 1 に近づき、AIC は 0.42 付近で止まります。 この「$n \to \infty$ で真のモデルを選ぶ確率が 1 に収束する」性質を一貫性（consistency）と呼びます。BIC は一貫、AIC は非一貫です。

用語で一つ注意です。この一貫性と、次に出てくる効率性は、第10回の推定量の一致性（consistency）・効率性（efficiency）とは別の概念です。英語は同じでも、あちらは「推定値が真の値に近づくか」「分散が下限に達するか」という1つのモデルの中でのパラメータの話、こちらは「$n$ を増やすとモデルの選択が真のモデルに収束するか」「選んだモデルの予測誤差が最小に近づくか」という話です。同じ語で違うものを指す典型なので、混ぜないようにしてください。

AIC が止まる理由は右の2列を比べると見えます。AIC の選びすぎは 0.68 から 0.56 へわずかに下がったあと 0.57 前後で止まるのに、BIC の選びすぎは 0.378 から 0.008 まで消えていきます。 $n$ が増えても、AIC で余分な変数1本を入れるかどうかの判断は「$\chi^2(1)$ が 2 を超えるか」という固定の勝負のままなので、確率 0.157 で入ってしまいます。この確率は $n$ に依存しません。BIC は罰則が $\log n$ で伸びるので、対応する確率が $n$ とともに縮みます。

この 0.157 から、AIC が止まる高さを計算できます。偽の候補が $q$ 本あって、それぞれ独立に確率 0.157 で入るなら、1本も入らない確率は $(1 - 0.157)^q$ です。この設定は偽の候補が5本なので $0.843^5 = 0.425$、実測 0.425（$n = 4000$）とぴったり合います。選びすぎのほうも $1 - 0.843^5 = 0.575$ で実測 0.575 です。

つまり「0.42 で止まる」は普遍的な定数ではありません。 止まる高さは候補の作り方で決まります。偽の候補が20本なら $0.843^{20} = 0.03$ まで落ちます。$n$ をいくら増やしても改善しないという性質だけが、$n$ に依らない部分です。

なお「不足」（真の変数を落とす）は $n = 60$ 以降どちらも 0.000 でした。外れる原因は、ほぼすべて選びすぎのほうです。

効率：AIC が勝つ状況

では BIC が常に良いのか。上の設定には「真のモデルが候補に入っていて、しかも余分な係数が厳密にゼロ」という強い仮定があります。これを崩します。

候補変数を10本にして、係数を $\beta_j = 1/(j+1)^{1.1}$（$j = 0, \ldots, 9$）、つまり

と、小さくなっていくがゼロにはならない形にしました。現実のデータはたいていこちらです。候補は $x_1$ から順に入れていくネストした11通り（$s = 0, \ldots, 10$）で、真のモデルは全部入りです。ただし10本目の係数は 0.079 しかないので、これを推定するコストが情報の利得を上回るなら、入れないほうが予測は良くなります。

$n = 400$ で BIC の予測誤差は AIC の 1.67 倍です。変数数の列に原因が出ています。真は10本なのに、$n = 400$ で BIC は平均 6.69 本しか使っていません。小さい係数を「ゼロだ」と切り捨てて、その情報を捨てています。AIC は 9.12 本まで拾います。この「予測誤差を（達成可能な最小に対して）最小化する」性質を効率性と呼びます。AIC は効率的、BIC は非効率です。

$n = 4000$ で差が 1.05 に縮むのは、$n$ が十分に大きいと BIC でも全部入れるようになるからです（9.97 本）。$n = 30$ で BIC が勝つのは、データが少なすぎて、小さい係数を推定するコストのほうが情報の利得を上回るためです。「小さい係数を入れるべきか」は、$n$ 次第で答えが変わる。 どちらの規準が良いかという話ではなく、$n$ と係数の大きさの兼ね合いです。

一貫性と効率性は両立しません。 これは選び方の工夫の問題ではなく、原理的な二者択一だと知られています（Yang 2005。損失の測り方や漸近の枠組みを固定したうえでの結果です）。真のモデルを当てたいなら小さい係数を切る覚悟が要り、予測を良くしたいなら偽の変数が混ざる覚悟が要ります。

図にまとめました。

使い分けはこうなります。

両方を計算して、一致すれば安心、割れたら「予測なら AIC、説明なら BIC」で決めるのが実際的だと思います。上の変化点の例では、まさに割れたことが判断の材料になりました。

交差検証：理論で補正せずに実測する

もう一つの流派です。AIC は「甘く出る量」を数式で計算しましたが、交差検証（CV, Cross Validation）は実際に測ります。データを分けて、当てはめに使わなかった側で誤差を測る。第25回の判別分析で見かけの誤判別率と対比して出てきた方法です。

一個抜き（LOO, Leave-One-Out）は、$i$ 番目の1点だけを抜いて残り $n-1$ 点で当てはめ、抜いた点を予測し、それを $n$ 回繰り返します。誤差の二乗和が PRESS（予測残差平方和）です。

PRESS は再計算せずに出る

$n$ 回当てはめ直すのは重い。ところが線形回帰では閉じた式があります。

$e_i$ は普通の残差、$h_{ii}$ はてこ比です。当てはめは1回だけで、LOO の答えが完全に一致します。 確かめました。

一致は浮動小数の精度いっぱいです。参考に、通常の残差平方和は 46.2818 で、PRESS はその 1.357 倍でした（下の図では 1.36 と丸めています）。この 1.357 倍が「手元のデータで測ると甘く出る」の実測値です。

分母の $1 - h_{ii}$ の意味も見えます。てこ比が大きい点は自分の予測値を強く引っ張っているので、抜いたときのズレも大きくなる。だから残差を $1-h_{ii}$ で割り戻して膨らませます。第17回で出てきた標準化残差と同じ発想で、割る量が違うだけです。

AIC ≒ LOO は偶然ではない

理論から補正する AIC と、実測する LOO が、しばしば同じモデルを選びます。理由は式の出どころが同じだからです。

どちらもハット行列 $H$ から出ています。

AIC は「点ごとの補正を平均で代表させたもの」、LOO は「点ごとに個別にやったもの」。 $h_{ii}$ がどの点でも $k/n$ に近い（てこ比が均等な）設計では、両者は一致に近づきます。実際、$\sum h_{ii} = k$ なので平均は必ず $k/n$ です。この対応が見えたのが、この節でいちばんスッキリしたところでした。

一致率を測りました。8変数256通りの候補から選ばせ、AIC と各方法が同じモデルを選んだ割合です。

$n = 400$ で AIC と LOO は 95% 一致します（60回中57回。反復が少ないので標準誤差は 2.8% あります）。いっぽう $K$-fold は $K$ が小さいほど AIC から離れます。$K$-fold は $n(1 - 1/K)$ 点で当てはめているので、5-fold は $0.8n$ 点のモデルを評価していることになり、$n$ 点のモデルを評価する AIC とはそもそも別のものを測っています。

$K$-fold は分け方で答えが変わる

$K$-fold のもう一つの弱点は再現性です。同じデータを 200 通りの分け方で 5-fold にかけたら、選ばれるモデルが 17 種類に分かれました。

最頻モデル（$x_1+x_2+x_3+x_5+x_8$）が選ばれるのは 5-fold では5回に1回しかありません。AIC と LOO は分け方の乱数を使わないので、常に同じ答えを返します（そして両者はこの例では一致していました）。

中央のグラフが「甘く出る」の正体を点ごとに見せています。てこ比の小さい点では訓練の残差と LOO 誤差がほとんど同じですが、てこ比の大きい点では LOO 誤差が大きく跳ねます。 モデルが自分に引っ張られている点ほど、抜いたときのペナルティが大きい。

まとめるとこうです。

線形回帰なら PRESS があるので、LOO を既定値にできます。 決定的で、当てはめも1回で済む。ただし PRESS の閉じた形が使えるのは二乗誤差でハット行列が固定される線形の場合に限られますし、モデル選択の道具としての LOO は AIC と 95% 一致する、つまりAIC と同じ甘さも共有していることを忘れないほうがよいです。$K$-fold の出番は、当てはめが重くて $n$ 回回せない場合か、PRESS のような閉じた式が無いモデル（一般化線形モデルや機械学習）です。そして $K$-fold を使うなら、分け方の乱数を変えて何回か回して、答えが安定しているかを見るべきです。1回の結果だけを見て「CV で選んだ」と言うのは危ういと分かりました。

ステップワイズ法の5つの罪

ここが今回いちばん腹に落ちた節です。

ステップワイズ法は、変数を1本ずつ入れたり抜いたりして良いモデルを探す手続きです。前向き（何も入っていない状態から、最も改善する変数を1本ずつ足す）、後ろ向き（全部入れた状態から、最も要らない変数を1本ずつ抜く）、その混合があります。$p$ 本の変数の全部分集合は $2^p$ 通りあり、$p = 30$ なら10億通りを超えて総当たりできません。ステップワイズはこれを $O(p^2)$ 回程度の当てはめで済ませます。

教科書には「批判が多い」と書いてあります。ただ理由が並べられるだけで、私はどれも「なんとなく危なそう」の域を出ませんでした。全部測ってみます。

罪1：ノイズだけのデータでも「発見」が出る

いちばん効いた実験です。$y$ を説明変数と完全に無関係な乱数にします。真の関係は何もありません。そこにステップワイズを回して、有意（$p < 0.05$）という入り口を1本でも通った割合を測りました。

真の関係がゼロのデータで、$n = 200$・候補50本なら10回に9回、「有意な変数」が見つかります。

私がいちばん驚いたのは自由度調整済み $R^2$ の列です。0.145 という値が出ています。 第16回で「調整済み $R^2$ は無意味な変数を入れると下がる」と学んだので、調整済みなら安全だと思っていました。違いました。

理由はこうです。調整済み $R^2$ が正しく罰するのは、変数を「あらかじめ決めて」入れた場合です。ステップワイズは $R^2$ が最も上がる変数をデータを見てから選んでいます。$k$ 本入れたぶんの補正はしますが、「$30$ 本の中から最も良い $k$ 本を選んだ」ことは補正していません。払っている税金が、実際に使った自由度に見合っていない。

さらに悪いのは、モデル全体の $F$ 検定です。この設定では、1本以上選ばれた回（全体の 77.9%）に限ると、$F$ 検定が $p < 0.05$ になる割合は 1.000 でした。最小 $p$ 値の平均は 0.0136。真の関係がゼロなのに、変数が1本でも残ればモデル全体は必ず「有意」と判定されます。

ただしこの 1.000 は、半分は作りから出てくる数字です。入り口が「$t$ 検定で $p < 0.05$」なので、残った変数が1本なら $F = t^2$ で $F$ 検定の $p$ 値は入り口の $p$ 値と同じものになります（平均本数 1.65 なので、そういう回が多い）。驚くべきなのは値そのものではなく、$F$ 検定が「選択のあとでは有意水準の意味を失う」という事実のほうです。全試行に対する偽陽性率で言えば 0.779 で、これは上の表の第2列と同じ数字です。

罪2：選ばれた変数の係数が過大になる（勝者の呪い）

真の係数を $[1.20, 0.50, 0.25, 0, \ldots, 0]$ とし、$n = 60$・候補12本（残り9本は無関係）・$\sigma = 1.5$・4000回でステップワイズを回します。選ばれたときの係数の絶対値の平均と、選抜せず全変数を投入したときの平均を比べます。この表の倍率の分母は、真の係数ではなく「全変数投入時の $E\vert b\vert$」です。 真の係数がゼロの行でも定義できる基準がこれしかないからです（真の $\beta = 0$ でも $E\vert b\vert$ はゼロにならず、$\sqrt{2/\pi}$ 倍の標準誤差ぶんは必ず出ます）。ただしこの記事全体で分母を統一しているわけではありません。後の比較表では真の係数を分母にした倍率も使います。倍率の数字を拾うときは、そのつど分母がどちらかを確認してください。

真の効果が 0.25 の $x_3$ が、選ばれたときには 0.513 と報告されます。 真の値と比べれば $0.513 / 0.25 = 2.05$ 倍、表の分母（全変数投入時の 0.279）と比べれば 1.84 倍です。同じ現象を2つの基準で測っているだけで、どちらも「大きく出た回だけが生き残る」ことの現れです。

仕組みは単純です。$x_3$ は22.9%しか選ばれません。では、どういうときに選ばれるのか。推定値が偶然大きく出たときです。 小さく出た回は選ばれずに消えるので、生き残った標本だけを平均すると当然大きくなります。これが勝者の呪いです。

$x_1$ は 1.00 で無傷です。ほぼ必ず選ばれる（99.9%）ので選抜のふるいがかかりません。選択率が低い変数ほど呪いが強い。 そして選択率が低いのは弱い信号の変数なので、弱い効果ほど過大に報告されるという、いちばん困る方向に歪みます。

真の効果がゼロの $x_4, x_5$ でも 0.47 という値が報告されています。ゼロのものに 0.47 の効果があると書いてしまう。

罪3：$p$ 値と信頼区間が壊れる

罪1と罪2から自動的に出てきます。$p$ 値は「この変数を1つ選んで検定した」前提で計算されますが、実際には30本の中で最良だったから選ばれています。 信頼区間も、係数自体が過大なので、真の値を含む確率が名目の95%を大きく下回ります。

罪4：わずかなデータの変化で結果が激変する

$n = 60$、候補12本、説明変数間の相関は AR 型（隣り合うペアが 0.7 で、$\operatorname{corr}(x_i, x_j) = 0.7^{\vert i-j \vert}$。$x_1$ と $x_3$ は 0.49）、真の係数 $[0.5, 0.4, 0.35, 0, \ldots]$ の設定です。まず1点だけ差し替える（$n$ 点のうち1点を新しい観測に置き換える）と何が起きるか。

1点の差し替えなら 96.7% 安定しています。ところがブートストラップ（同じ大きさの再標本）にすると 65 種類のモデルが出てきます。 元のデータで選ばれたのは $x_2$ の1本だけでしたが、その答えは37.7%しか再現しません。「このデータからはこの変数が選ばれた」という結論が、データの取り方の偶然にほとんど支配されています。

しかもここには罪4より深刻な問題が混ざっています。変数ごとの選択率を見てください。

真の効果が最も大きい $x_1$ が、13%しか選ばれていません。 $x_2$（真 0.40）が 84% です。順序が逆転しています。

原因は $x_1$ と $x_2$ の相関 0.7 です。$x_2$ が先に入ると、$x_1$ の情報の大半は「もう説明済み」になり、追加の改善が小さくなって入らない。

ここで「たまたま $x_2$ が先に入ったから」と書きかけて、確かめてやめました。偶然ではありません。 前向き選択の第1段が見ているのは $y$ との周辺相関で、この設定では $x_1$ が 0.514、$x_2$ が 0.537 です。$x_2$ は自分の 0.40 に加えて、隣の $x_1$（0.50）と $x_3$（0.35）の両方から相関を通じて貸しを受けているので、周辺では $x_1$ を上回ります。だから 84% という高い率で先に入る。真の係数の順序と周辺相関の順序は、説明変数が相関していれば平気で入れ替わります。 ステップワイズが返すのは「効いている変数」ではなく「周辺相関がいちばん大きい変数」です。第16回の VIF（分散拡大係数）で見た多重共線性が、ここで別の顔を出します。

罪5：貪欲な探索なので最良を見逃す

これは他の4つとは種類が違う、素直な計算上の限界です。候補10本（全部分集合 1024 通り）で、ステップワイズの答えと総当たりの AIC 最小モデルを比べました。$n = 50$、真は $x_1, x_2, x_3$、400回。

一致は3回に1回強です。「貪欲だから最良を外す」の証拠だ、と書きかけました。ここで実験の作りに問題があることに気づきました。 この比較では2つのものが同時に変わっています。探索の仕方（貪欲な前向き選択か総当たりか）と、入り口の基準（$p < 0.05$ か AIC か）です。$p < 0.05$ は $t^2 > 3.84$、AIC は $t^2 > 2$ 相当（$\Delta k = 1$）なので、そもそも別の門を通しています。

そこで、探索の仕方だけを変えて測り直しました。貪欲な前向き選択のまま、入り口の判定を「$p < 0.05$」から「AIC が下がるなら追加」に差し替えます。

（上の表と数字が少し違うのは、乱数の系列が別だからです。設計は同じで、一致率は 0.365 と 0.345、超過の平均は 1.02 と 1.088、最悪は 9.16 と 11.76。走りごとにこの程度は動くので、下の比較は小数第2位まで読まないでください。）

貪欲であること自体のコストは、ほとんどゼロでした。 一致 95%、AIC の超過は平均 0.020。つまり 0.365 という数字が示していたのは「貪欲さの害」ではなく、「$p < 0.05$ という門は AIC の門と違う」という罪1・罪2と同じ話でした。

罪5として残るのは、正しくは「貪欲探索は 5% 前後の回で総当たりの最良を外す。ただし超過は $\Delta\mathrm{AIC}$ で 1 未満で、実害はほぼない」という控えめな主張です。最悪の回でも 0.98 で、$\Delta\mathrm{AIC} < 2$ の「区別できない」範囲に収まっています。

ボンフェローニで直るのか

罪1（ノイズから発見が出る）は多重比較の問題に見えます。なら第20回のボンフェローニ法で、有意水準を候補数で割ればいいのでは。$\alpha = 0.05/30$ でやってみました。$n = 60$・候補30本・3000回の別の実験です。真の係数は $[1.20, 0.50, 0.25, 0, \ldots, 0]$ で、罪1の実験（$y$ が完全な乱数）とは違い、ここには本物の信号が3本あります。 そのうえで「真の係数がゼロの27本のうち1本以上を選んでしまった割合」を測ります。罪1の表の 0.779 とは測っている量が別なので、直接は比べられません。

（この表の誇張倍率だけは、分母が真の $\beta$ です。罪2の表は分母が全変数投入時の $E\vert b\vert$。しかも候補が 30 本と 12 本で別の実験です。そのため同じ $x_3$ の誇張倍率が記事の中で3つの値を持ちます。候補30本・÷真の $\beta$ が 2.09（$0.524/0.25$）、候補12本・÷真の $\beta$ が 2.05（$0.513/0.25$、あとの手法比較で使う値）、候補12本・÷全変数投入時が 1.84（$0.513/0.279$）。分母か実験のどちらかが違うので、この3つの大小は比べないでください。なお表の中に 0.223 が2回出ますが転記ミスではなく、$x_3$ の素の選択率と $x_2$ のボンフェローニ下の選択率が偶然一致しています。）

罪1はきれいに直りました。 0.750 が 0.047 で、狙いどおり5%です。

そして罪2は悪化しました。 $x_3$ の誇張が 2.09 倍から 2.84 倍へ。しかも $x_3$ の選択率が 0.223 から 0.019 に落ちています。真に効いている変数を、50回に1回しか見つけられない。検出力を捨てて偽陽性を買い戻したことになります。

理由は罪2の仕組みそのものです。縮小をしない手法のあいだでは、呪いの強さは門の狭さで決まります（縮小を入れると話が変わることは、あとの節で見ます）。門を狭くすれば、通れるのは「よほど大きく出た回」だけになり、生き残った推定値はますます過大になる。罪1と罪2は同じつまみの両端で、片方を締めるともう片方が緩みます。

これは私にとって予想外でした。多重比較の補正は「正しい対処」だと思っていたので、それが別の歪みを増やすというのは考えていませんでした。

5つの罪の構造：3つの種類に分かれる

全部測ってみて、構造が見えました。5つは同じ種類の問題ではありません。 ここは最初「4つは選択後推論の問題、1つは探索の問題」と2分類で書いたのですが、それだと自分の実測と合わないことに気づいて3分類に直しました。

罪1と罪3は「選択後推論（post-selection inference）」の問題で、同じデータで「選ぶ」と「推論する」の両方をやったことが原因です。予測に使うだけなら害になりません。

罪2と罪4はそうではありません。 選抜で膨らんだ係数はそのまま予測式に入るので予測を上に外し、選択の不安定さは予測誤差のバリアンス成分そのものです。これが「予測にも効く」と分かる根拠は、この記事の後半にあります。そもそも 0/1 で選ぶのをやめて赤池ウェイトで平均化するだけで、予測誤差が 6.7〜23% 改善します。 これは「0/1 で選ぶこと自体に予測上の値段がある」ことの直接の証拠です（ステップワイズ固有の罪2・罪4がそれぞれどれだけ効いているかを分離したわけではありません。平均化は縮小とバリアンス低減を同時にやるので、内訳はこの実験からは出ません）。罪2に効く対処が「縮小」（ラッソが呪いを打ち消す）、罪4に効く対処が「平均化」という対応も、ここから素直に出てきます。

この整理ができると、対処法も決まります。

• 予測が目的なら、罪1と罪3は無視してよい。 報告した数値の解釈の話なので、予測誤差には効きません。ただし罪2・罪4は残るので、縮小（ラッソ）か平均化（赤池ウェイト）を検討する価値があります。罪5（貪欲さ）は実質ほぼ効きません。
• 推論したいなら、データを分ける。 選ぶのに使ったデータと、係数や $p$ 値を出すデータを別にする。これが唯一素直な解です。
• 選ばれた変数リストを「発見」として報告するのは避ける。 どうしても報告するなら、ブートストラップでの選択率を併記する。上の表で $x_1$ が 13% と分かれば、「$x_2$ が選ばれた」を結論にはできません。

ここで AIC と検定の共通の限界も見えます。選択と推論を同じデータで両方やることはできない。 これは AIC の欠陥でもステップワイズの欠陥でもなく、データを二重に使うことの帰結です。

正則化を変数選択として見る

第19回でラッソとリッジを扱いました。あのときは「係数を縮める方法」として見ていましたが、変数選択の道具としても見られます。ここで両者の違いが決定的になります。

覚え方はこうです。絶対値は原点で折れている。その折れがゼロを作る。 二乗は原点で微分がゼロになるので、解をゼロに留める力がありません。第19回で見た $L_1$ の菱形の角が座標軸に触れる図が、そのままこの表の内容です。

リッジ回帰は変数選択の手法ではありません。 私はここを曖昧にしていました。「正則化＝変数を減らす」と一括りにしていたのですが、減らせるのはラッソだけです。

ステップワイズとラッソは「逆向きに」失敗する

同じデータでステップワイズとラッソを比べます。$n = 60$、候補12本、$\rho = 0.7$、ブートストラップ300回。

元データではラッソが真の3本をちゃんと当てています。 ステップワイズは $x_2$ の1本だけでした。ブートストラップでも、ラッソは真の変数の選択率が 0.68〜0.97 と高い。$x_1$ の 0.11 対 0.68 は決定的な差です。

理由を「ラッソは相関のある変数の両方に係数を分けて持たせるから」と書きかけて、調べ直してやめました。係数を分け合うのはリッジ（$L_2$）の性質で、ラッソは相関ペアの一方だけを選ぶ傾向があると知られています。 ここで $x_1$ が拾えている主因は次に書く $\lambda$ の緩さです。平均 5.87 本も入れているので、真の変数も一緒に入ってくる。門が緩いから拾えているのであって、相関の扱いが賢いからではありません。

そのかわりラッソは偽の変数も 0.28〜0.54 で入れてきます。 ステップワイズは 0.01〜0.12 でした。平均本数 5.87 対 1.92 という差がそれです。

原因は $\lambda$ の決め方です。交差検証は予測誤差が最小になる $\lambda$ を選びます。予測に良い $\lambda$ は、正しい変数集合を選ぶ $\lambda$ より小さい（罰則が弱い）ことが知られています。予測のために選んだ $\lambda$ で変数リストを作れば、余分が混ざるのは当然です。

失敗の方向が正反対です。 ステップワイズは本物を落とし、ラッソは偽物を混ぜる。どちらが良いかは目的次第で、「効いている変数のリストが欲しい」という目的にはどちらも向いていません。

（この節の選択率とひとつ前の節のブートストラップの数値は、独立に走らせた別のシード・別の300回の結果です。$x_1$ の選択率が 0.13 と 0.11、ステップワイズのモデル種類数が 65 と 64 で少し違うのはそのためで、設計は同じです。）

呪いの強さを決めるのは「門の狭さ」と「縮小の有無」

勝者の呪いを、ステップワイズ・リラックス・ラッソ（ラッソで選んだ集合を最小二乗で再当てはめ）・ラッソの3つで比べました。$n = 60$・候補12本・400回です。報告される $E\vert b\vert$ を基準値で割った比です。真の $\beta \neq 0$ の行は分母が真の $\beta$ で、1.00 が正しい大きさ。真の $\beta = 0$ の行は分母が全変数投入時の $E\vert b\vert$ で、こちらの 1.00 は「正しい大きさ」ではなく「選抜しなかった場合と同じ」という意味です（ゼロで割れないため）。

$x_3$ の行で並べると、ボンフェローニ付きステップワイズ 2.84 > 素のステップワイズ 2.05 > リラックス・ラッソ 1.52 > ラッソ 0.84 です（ボンフェローニの 2.84 は候補30本の別実験なので、傾向の比較として見てください）。

これを最初「門の狭さの順序と一致する」と1本の軸で説明しようとして、失敗しました。リラックス・ラッソとラッソは、同じ $\lambda$ で選んだ同じ変数集合を使っています。門はまったく同じです。 それでも 1.52 と 0.84 に分かれる。門では説明できません。

軸は2本あります。

1本目はボンフェローニの節で見たとおりです。2本目が新しく、選抜のあとで全員を縮めれば膨らんだぶんが差し引かれる、という話です。

ラッソだけが 1 を下回っています（0.71〜0.84）。 過大でなく過小です。過大に報告するより過小に報告するほうが安全側なので、これは望ましい性質ですが、その理由は門ではなく縮小です。

ただし「安全側」と言えるのは真の効果がある3本の行に限った話です。$x_4$・$x_5$ は真の $\beta$ が 0 なので、この行の 1.00 は「正しい大きさ」ではなく「選抜しなかった場合の基準」でしかありません。ラッソの 0.76 も、ゼロであるべきものに値を付けていることは変わりません（選択率 0.32）。比が小さいことは、その意味では慰めになりません。

ここで軸が一本通ります。問題の発生源は「データを見て 0 か 1 で選ぶ」という操作そのものです。

• ステップワイズは 0/1 で選んで、そのまま報告する → 呪いが最大
• ラッソは 0/1 で選ぶが、全員を縮める → 呪いが打ち消される
• 最後の節に出てくる赤池ウェイトによる平均化は、そもそも 0/1 で選ばない → 呪いが起きない

この図の3手法の比較は同じ設定（$n = 60$・候補12本・$\sigma = 1.5$）を 400 回、罪2の節の表（誇張倍率と選択率の表）は 4000 回で、別の走りです。$x_3$ の選択率が 0.23 と 22.9% のようにわずかにずれているのは、真の値が違うからではなく、別の乱数で走らせた誤差です（400回のほうが誤差は大きい）。

AIC は検定ではない

最後の山場です。AIC でモデルを比べるのと、尤度比検定でモデルを比べるのは何が違うのか。 私はこの2つが頭の中で分離できていませんでした。

式を並べると同じものだった

モデル $M_1$（パラメータ $k_1$）に変数を足したモデル $M_2$（$k_2 = k_1 + \Delta k$）を考えます。ネストしています。

AIC で $M_2$ を選ぶ条件は $\mathrm{AIC}_2 < \mathrm{AIC}_1$、つまり

尤度比検定で $M_1$ を棄却する条件は第12回より

統計量はまったく同じ $\Lambda$、帰無分布も同じ $\chi^2(\Delta k)$。違うのは棄却限界の位置だけです。 AIC は $2\Delta k$、尤度比検定は $\chi^2_{0.95}(\Delta k)$。

これが見えたときは驚きました。AIC は、棄却限界を $2\Delta k$ に取り替えた尤度比検定です。

AIC に対応する有意水準を逆算する

限界が決まれば、有意水準が逆算できます。$\alpha = P(\chi^2(\Delta k) > 2\Delta k)$ です。

「AIC は甘い」という定説は、$\Delta k = 1$ の 0.157 から来ています。5%より3倍甘い。だから AIC は変数を入れすぎる。ここまでは知っていた話です。

ところが $\Delta k$ を増やしていくと甘さは消え、$\Delta k = 8$ から先は AIC のほうが厳しくなります。 厳密に $2\Delta k = \chi^2_{0.95}(\Delta k)$ を解くと $\Delta k = 7.12$ なので、$\Delta k = 7$ ではまだ 0.0512 でわずかに甘く、逆転する最初の整数は $\Delta k = 8$（0.0424）です。$\Delta k = 20$ なら AIC は 0.5% 水準の検定に相当します。

理由は $\chi^2$ 分布の形から出ます。$\chi^2(\Delta k)$ の平均は $\Delta k$、標準偏差は $\sqrt{2\Delta k}$ です。AIC の限界 $2\Delta k$ は平均から

だけ離れています。$\Delta k$ が増えるとこの距離が $\sqrt{\Delta k/2}$ で広がっていきます。 いっぽう5%点は、$\Delta k$ をどう変えても平均からほぼ一定の距離にとどまります。

$\Delta k = 7$ と $8$ のあいだでこの2つがすれ違います。 左の列は $\sqrt{\Delta k/2}$ で伸びていくのに、右の列は 2.0 から 1.8 へゆっくり下がるだけ。動くものと動かないものが交差する地点が $\Delta k = 7.12$ です。 交点の位置は、この2列を見れば $\chi^2$ 分布の形だけから決まっていると分かります。

「AIC は甘い」は、1変数ずつ比べるときの話です。 変数を8本まとめて足すかどうかを AIC で判断すると、5%検定より厳しい判断になります。

BIC は「$n$ とともに厳しくなる検定」

同じ計算を BIC でやると、一貫性の正体が見えます。BIC の限界は $\Delta k \log n$ なので、$\Delta k = 1$ なら $\alpha = P(\chi^2(1) > \log n)$ です。

BIC は有意水準が $n$ とともにゼロへ縮む検定です。 $n = 10^6$ なら 0.02% 水準。これが「$n\to\infty$ で偽の変数を入れる確率がゼロになる」＝一貫性の正体でした。AIC は 0.157 で固定なので、いくら $n$ を増やしても 0.157 で偽の変数を入れ続ける。前に見た「AIC の過剰選択率が減らない」の理由がこれです。

それでも「同じもの」ではない：3つの本質的な違い

限界の位置しか違わないなら、AIC は検定の言い換えなのか。違います。3つの本質的な差があります。

① 尤度比検定は非対称、AIC は対称。

検定は $H_0$ を特別扱いします。$H_0$ が真のとき誤って棄却する確率だけを $\alpha$ に抑え、$H_1$ が真のときに見逃す確率（第2種の誤り）は制御しません。だから結論は「棄却する／できない」で、「$H_0$ を採択した」とは言いません。

AIC は2つのモデルを対等に扱います。値が小さいほうを選ぶ。「$H_0$ 側を特別扱いしない」という点が決定的に違います。ここで「AIC には保守性がない」と書きかけたのですが、それは行き過ぎでした。罰則 $2\Delta k$ は正の閾値なので、当てはまりが同じなら AIC は必ず単純なほうを選びます。 単純側への寄りはある。それが5%検定より弱い（$\Delta k$ が小さいうちは $\alpha = 0.157$ 相当）だけです。

② 検定は入れ子の2モデルしか比べられない、AIC は制限がない。

尤度比検定は $M_1 \subset M_2$ という入れ子関係を要求します。$\Lambda$ の帰無分布が $\chi^2$ になる根拠がそこにあるからです。3つ以上のモデルを一度に順位づけることもできません（やれば多重比較になります）。

AIC は差を取るだけなので、入れ子でないモデルも比べられ、いくつでも順位づけられます。 「対数正規分布とガンマ分布のどちらが当てはまるか」のような比較は検定ではやりにくく、AIC なら普通にできます。ただし条件が1つあります。同じ観測値 $y$ に対して、同じ測度の上の密度で尤度を計算すること。 $\log y$ の正規密度と $y$ のガンマ密度を比べると、変数変換のヤコビアンのぶんだけずれて無意味な比較になります。前に見た256通りの部分集合の順位づけも、検定ではできません。

③ 答えている質問が違う。

最後の行は、書き直した行です。最初は「検定は $n$ を増やせばどんなに小さな効果でも有意になるが、AIC の判定基準は変わらない」と書きました。間違いです。 上の式のとおり統計量は同じ $\Lambda$ で、$\beta \neq 0$ なら $\Lambda$ は $n$ に比例して増えます。棄却限界 $2\Delta k$ は $n$ に依らない固定値なので、AIC も $n$ を大きくすればどんなに小さい効果でも必ず採用します。

実際、この記事の効率性の実験で $\beta_{10} = 0.079$ という極小の係数を、AIC は $n = 4000$ で平均 10.00 本、つまり毎回採用していました。自分が載せた表が、自分の主張を否定していました。

正しい差はこうです。$n$ を増やすと検定の $p$ 値は 0 に張り付いて、有意かどうかという出力から情報が消えます。AIC は「予測がどれだけ改善するか」を $\Delta$AIC という量で返し続けるので、「効果はあるが $\Delta\mathrm{AIC}$ は 3 しかない」という判断ができます。 採用するかどうかの境目が動かない点は同じで、違うのは出力が2値かスコアかです。

そして共通の限界も明確です。どちらも、候補に無いモデルは選べません。 AIC は「与えられた候補の中でいちばんマシなもの」を返すだけで、全部が的外れでも何も教えてくれません。AIC が小さいことは、そのモデルが正しいことの証明ではありません。

実務での使いどころ

道具は揃いました。では実際にデータを前にしたとき、何をどう使うのか。ここも測って決めます。

真の係数を $[0.8, 0.5, 0.3, 0, 0, 0]$、$\sigma = 1.5$、候補6本の全64部分集合という設定で、$n$ を 24 / 60 / 200 と変えました。比較対象には「真のモデルを知っていた場合」（達成可能な下限）と、「何も選ばず全部入れた場合」「切片だけの場合」（何もしない場合）を入れます。

まず、小さいデータでは選べない

$n = 24$ での的中率は 6〜9%。当てずっぽう（1.6%）よりは高いですが、10回に9回は外します。 この規模のデータで「AIC でこのモデルを選びました」と言っても、それは実質的に何も選んでいません。

予測誤差で見ると、もっとはっきりします。

$n = 24$ で、AIC で選んだモデル（1.95）は、何も考えず全変数を突っ込んだモデル（2.08）より 6% しか良くありません。 選ぶ苦労の見返りがこれです。$n = 60$ では BIC（1.98）が全変数投入（1.80）に負けています。

AIC が全変数投入をどれだけ上回るかを並べると、$n = 24$ で 6.3%、$n = 60$ で 1.7%、$n = 200$ で 11.6% です。ここで「$n$ が増えるほど選ぶ価値が出る」と書きたくなったのですが、3点のうち真ん中でいちばん小さくなっているので、そう言えません。 表から言えるのは「小標本では選択の見返りが小さい」までです。$n = 24$ でも AIC は全変数投入に勝っているので、「小さいデータでは全部入れたほうが安全」とも言えません。

もう一つ。どの $n$ でも「真のモデルを知っていた場合」の 1.5〜2.1 倍の誤差が残っています。 候補の中に正解が入っていて、64通り全部を調べても、真のモデルの2倍の誤差です。「どのモデルか分からない」というだけで、これだけのコストがかかる。 これは選び方が悪いのではなく、選ぶという行為の値段です。あとで出てくる平均化（1.43〜1.56）でも、この値段は 1.4 倍ぶんは残ります。

$\Delta\mathrm{AIC} < 2$ は「区別できない」