統計検定準1級 多変量解析 要点まとめノート【第22〜26章】

この記事の役割

多変量解析（第22〜26章）の復習ノートです。連載の各回が「なぜそうなるのか」を実験しながら追う記事なのに対し、こちらは押さえるべきことだけを1ページに集めたものです。詳しい導出や検算は各回へのリンクから読んでください。

• 同じ形式のノート：確率の土台編（第1〜7章）・推測統計編（第8〜13章）・線形モデル編（第16〜21章）・確率過程編（第14〜15章）・発展編（第27〜32章）
• 連載全体の目次は 統計検定準1級 独学記事インデックス にあります。
• 使い方：試験前は「つまずきやすいところ」の表だけを見返すのが効率的です。
• 筆者は統計の専門家ではありません。試験対策として使う場合は必ず公式テキストで確認してください。

この範囲の全体像

線形モデル編は「1つの $y$ を複数の $x$ で説明する」話でした。ここからは説明する側とされる側の区別が消えます。変数が横に並んでいるだけの表を渡されて、そこから構造を取り出す。

そして5つの章は、ばらばらの手法集ではありませんでした。ほぼ全部が「行列を1つ作って固有値分解（または特異値分解）し、大きい固有値の軸から順に使う」という同じ型です。違うのは、その行列の作り方だけです。

第22章と第25章は同じ機械に別のものを入れているだけでした。主成分分析は相関行列をそのまま、因子分析は対角を共通性に差し替えてから分解します。「矢印の向きが逆」という考え方の違いは、計算上はこの対角の扱いにだけ現れるのでした。

そして第26章がこの編の地図でした。横軸に「正解ラベルがあるか（教師なし／教師あり）」、縦軸に「変数（列）の関係を相手にするのか、個体（行）を相手にするのか」を取ると、5章の手法が4つのマスに収まります。

「量的か質的か」は第一の軸ではありません。 判別分析は説明変数が量的で目的変数が質的、数量化I類はその逆なので、データの型を軸にすると置き場所が決まりません。データの型は3番目の区別です。

この地図で見ると、第26章が「その他」の寄せ集めではないことが分かります。第24〜27回で埋まっていたのは左上の量的なマスと左下、右下の判別分析だけで、質的データを相手にするカードが1枚も無かった。第26章の4手法はそこを埋めに来ています。

章と回の対応

この編は確率過程編（第14〜15章）の後に置いていますが、内容として直接受けるのは線形モデル編です。とくに第16回の決定係数・多重共線性・偏回帰係数と、第20回の平方和の分解が繰り返し出てきます。

用語集

言葉で説明できるかを先に確認する用です。

第22章 主成分分析

第23章 判別分析

第24章 クラスター分析

第25章 因子分析・グラフィカルモデル

第26章 その他の多変量解析手法

記号の注意：$\Lambda$ が2つの意味で使われます。第23章のウィルクスのラムダ（スカラー、$\lvert W\rvert/\lvert T\rvert$）と、第25章の因子負荷量行列（$p \times m$ 行列）です。前者は $0 \le \Lambda \le 1$ のスカラーなので文脈で区別できます。

$W$ も2つあります。第23章の群内変動行列（$S = W/(n-g)$ の $W$）と、第24章のクラスター内平方和 $W_k$（$\mathrm{WSS}$）です。どちらも「群の内側のばらつき」を表す量なので発想は近く、実際ウォード法は第20章の平方和の分解を階層的に繰り返しています。

$S$ は第23章でプールした共分散行列、第24章のマハラノビス距離では単に共分散行列を指します。

第22章 主成分分析

多次元正規分布は「拡張」ではなく書き換え

1変数の $z^2 = (x-\mu)^2/\sigma^2$ の $1/\sigma^2$ が $\Sigma^{-1}$ に置き換わっただけです。密度の前の係数も $\sigma$ が $\lvert\Sigma\rvert^{1/2}$ になります。1次元では $\Sigma = [\sigma^2]$ なので元の式に戻ります。

• 非対角成分は「傾き」の唯一の担当。非対角が0なら絶対に傾かない。ただし傾きの角度そのものは対角成分にも依存する（非対角0.8のまま対角が $(1,1)$ なら45.0度、$(2.25, 0.36)$ なら20.1度）
• $z^2$ の値と確率は一致しない。 1次元の $z^2=1$ は68.3%だが、2次元では39.3%。$z^2=4$ で86.5%（95.4%ではない）、$z^2=9$ で98.9%。2次元の確率は $1 - e^{-z^2/2}$
• 共分散は単位で変わり相関係数は変わらない。秒→分にすると共分散は 568.3333 → 9.4722（ちょうど $1/60$）、$\rho$ は 0.988727 のまま
• 2変数の相関行列の固有値は $1+\lvert\rho\rvert$ と $1-\lvert\rho\rvert$。 これは2変数限定（6指標の相関行列の固有値は 3.349, 2.560, 0.066, 0.025, 0.0002, 0.00004 でこの形をしていない）。楕円の細長さは固有値の比の平方根 $\sqrt{\lambda_1/\lambda_2}$ で、$\rho=0.9$ なら $\sqrt{1.9/0.1} = 4.36$ 倍

分散最大化が固有値問題になる

$u$ 方向に落としたときの分散は $u^\top \Sigma u$ で、これは定義ではなく導ける事実です。展開すると第3回の $V[aX+bY] = a^2V[X] + 2ab\,\mathrm{Cov}[X,Y] + b^2V[Y]$ そのものになります。

• 角度を0度から180度まで0.05度刻みで3601通り総当たりすると、最大は29.6度で 1329.3、最小は 119.6度で 5.6。$\Sigma$ の固有値と比べると 1329.316304 対 1329.316406（差 $1.02\times10^{-4}$）で、差はスキャンの刻み幅による誤差
• 最大の方向と最小の方向の角度差はちょうど 90.0000 度。$\Sigma$ が対称行列なので固有ベクトルが必ず直交する
• $\Sigma u = \lambda u$ を満たせば分散は $u^\top(\lambda u) = \lambda$。固有値がそのまま主成分の分散
• 主成分の座標に乗り換えると非対角成分が消える（実測 $-8.095\times10^{-14}$）。分散の総量は 1006.666667 + 328.222222 = 1334.888889 ＝ 1329.316406 + 5.572483 で完全に保存され、配分だけが 1006.7/328.2 → 1329.3/5.6 に変わる

寄与率は決定係数と同じもの

• 6指標の例で、$k$ 個の主成分から復元した説明率と累積寄与率が小数第9位まで一致（$k=1$ で 0.558142887 / 0.558142887、$k=2$ で 0.984726599 / 0.984726599）
• ただし一致するのは全変数を合計した分散に対する割合。変数ごとの $R^2$ は PV 0.5561・平均滞在秒 0.3329・被リンク数 0.6826 とばらつき、その平均が 0.558143。「第1主成分で各指標が56%説明できる」は誤りで、正しくは「全体を平均すると56%」
• 一致には条件が2つ。(1) 主成分分析と同じ計量で残差を測ること（相関行列で分析したのに生の単位で測ると $k=1$ で 0.5553 になりずれる）。(2) 全変数の合計に対する割合であること

負荷量の公式は簡約形

「固有ベクトル $\times$ $\sqrt{\text{固有値}}$」は相関行列で分析した場合限定（$s_j = 1$ なので分母が消える）。共分散行列版でこれをやると [1136.67, 835.37, ...] のように $\pm 1$ を大きく超えます。正しい一般形で計算すれば [0.99999, 0.99995, −0.0859, ...] に収まります。

• 検算1「負荷量の2乗和 = $\lambda_1$」は標準化した場合限定
• 検算2「各変数で全主成分の負荷量2乗和 = 1.000000」は一般形を使えばどちらでも成立

相関行列か分散共分散行列か

• PVの分散 1,292,063 と被リンク数の分散 16 で約8万倍の差。$\Sigma$ 版の第1主成分は PV 0.8058・セッション 0.5922 でほぼ決まり寄与率 99.71%、$R$ 版は6指標が 0.32〜0.45 に散って寄与率 55.81%
• PVを「千PV」に変えるだけで $\Sigma$ 版は 99.7066% → 99.1828% と変わり、$R$ 版は 55.8143% のまま
• 原則は相関行列。 分散共分散行列を選ぶのは「全変数が同じ単位で、かつ分散の差そのものに意味があるとき」（同一試験の各科目の点数など）。単位が混在していたら選択の余地はない
• カイザー基準「固有値 > 1」は相関行列のときだけ意味を持つ。$\Sigma$ の固有値は単位に依存する（この例では 1989946 など）ので1と比べても無意味

マハラノビス距離は方向を選ばない

主成分座標を $\sqrt{\lambda}$ で割ってユークリッド距離を取った値と一致します（最大の差 $2.66\times10^{-15}$）。分母が小さい方向のズレが強く効きます。

• ユークリッドとマハラノビスで外れ値の順位が逆転する。 点A はユークリッド 148.17・マハラノビス 2.30、点B はユークリッド 124.69・マハラノビス 7.05。ユークリッドのトップ5では点Bが4位まで落ちる
• 点Bの生のズレは第2主成分方向に 37.09 しかないが、第2主成分の標準偏差が 5.44 なので 6.81$\sigma$
• マハラノビス距離は可逆な線形変換すべてに不変。 $\Sigma$ で計算しても標準化して $R$ で計算しても 2.2992282507 / 7.0496091167 で同じ（差 $4.44\times10^{-16}$）。単位を変えても動かない
• いっぽう主成分分析は動く（第1主成分の角度が 12.2640° → 86.1901° → 0.1237° と変わる）。捨てる（方向を選ぶ）操作が入ると、その前のスケールが効いてくる
• $d_M^2$ が $\chi^2(p)$ に従うのは $\mu$ と $\Sigma$ が既知のときだけ。 同じ標本から推定した場合はベータ分布に関係する量で、$d_M^2 \le (n-1)^2/n$ という上限が付く（$n=62$ なら 60.02）。上側5%は $\chi^2(2)$ 近似で 5.9915、厳密には 5.7954 で、近似のほうが甘く外れ値を見逃す側
• $\sum_i d_M^2 = (n-1)p$ はトレースの恒等式なので正規分布かどうかと無関係に成立。だから62点の $d_M^2$ の平均は $p=2$ ではなく $(n-1)/n \times p =$ 1.9677
• マスキング効果：外れ値2点を除いて $\Sigma$ を再計算すると点Bの $d_M$ が 7.05 → 17.05（約2.4倍）に跳ね上がる。外れ値自身が $\Sigma$ を膨らませて自分を隠していた

主成分回帰で効いているのは「捨てる」ステップ

• x1 と x2 の相関 0.989834。OLSでは $R^2 =$ 0.966616 と当てはまりは良好なのに x2 の t値が 1.800（5%基準 2.0281）で有意にならず、p値 = 0.0803。VIF は x1 49.61、x2 49.67、x3 1.01 で標準誤差が 7.0倍
• 原因は固有値の逆数。相関行列の固有値 2.0006, 0.9893, 0.0101 の最小値が逆行列で 99 に化ける
• 全部の主成分を使うと OLS と完全に一致する（$R^2 = 0.966616$）。回帰は座標の回転で不変なので、無相関にするだけでは何も改善しない
• $k=1$ にすると累積寄与率 66.69% で捨てすぎ、x3 の係数が 0.7 → 0.1783 に潰れる（第2主成分が x3 をほぼ全部担っていた）。$k=2$（累積 99.66%）なら 0.8849 / 0.5289 / 0.7458 で3つとも真の値に近い
• Leave-One-Out の振れ幅は x1 が OLS 0.3081 → PCR 0.0257（0.083倍）。ただし x3 は 1.016倍でほぼ変わらない
• PCR は一般には不偏性を失う。ただし真の $\beta$ が残した主成分の空間に入っていれば不偏。「捨てた方向に真の係数の成分があるか」が分かれ目

FAQ：ワークブックの例題を解いていて詰まった点

公式ワークブックの例題を解く過程で自分が実際に引っかかった疑問と、数値で確かめた答えです。

Q1. 主成分得点と主成分負荷量はどう使い分けるのか

同じデータ行列の「行」と「列」を見ている、と整理すると混乱しません。

実務では両方使います。まず負荷量で軸の意味を決め、次に得点で個体を並べる。 バイプロットはこの2つを1枚に重ねた図です。

Q2. なぜ固有ベクトルのままではなく、負荷量にして議論するのか

$\sqrt{\lambda_k}$ は主成分ごとの定数なので、同じ主成分の中では順位が変わりません（実測で6変数すべて順位が一致）。だから「第1主成分の中でどの変数が効いているか」を見るだけなら、どちらでも結論は同じです。差が出るのは次の3点です。

1. 絶対的な水準が言える。 負荷量 0.577 は「相関が中程度」と判断できるが、固有ベクトルの 0.315 は基準がない。しかも固有ベクトルの成分の大きさは変数の数に依存する ── 全変数が等しく効く場合、各成分は $1/\sqrt{p}$ になるので、$p=6$ で 0.408、$p=100$ なら 0.100。「0.3 は小さい」と言えない
2. 主成分をまたいで比較できる。 PV の固有ベクトルは第1で 0.4075、第3で 0.3628 とほぼ同じに見えるが（比 1.12）、$\lambda_1=3.349$ と $\lambda_3=0.066$ で 50.6倍の差がある。負荷量なら 0.7457 と 0.0934 で約8倍の差が出る
3. 2乗すると「説明できた割合」になる。 固有ベクトルの成分を2乗しても意味のある量にならない

共分散行列版では順位そのものが入れ替わります。 被リンク数は固有ベクトルでは 0.0027 で4位（ほぼ0に見える）ですが、負荷量は 0.9536 で3位。単位の大きさに埋もれていたので、固有ベクトルを見ると判断を誤ります。

Q3. 負荷量の2乗は何を表すのか（寄与率との関係）

その変数の分散のうち、その主成分が拾った割合です。全主成分で足すと必ず 1 になります。

寄与率は「負荷量2乗の平均」でした（第1主成分の列の平均 0.5581 ＝ 寄与率 55.81%）。だから「累積寄与率と決定係数が一致するのは平均に対してだけ」という話がここで具体的に見えます。平均滞在秒は第1主成分だけでは 33% しか説明できていません。 これは固有値と寄与率だけ見ていては分からず、どの変数が置いていかれたかは負荷量を計算しないと出てきません。

採用した主成分までの2乗和を共通性（communality）と呼び、変数が捨てられていないかのチェックに使えます（この例は全指標 0.97 以上）。

Q4. 固有ベクトルは変数の数だけあるのか

はい、$p$ 変数なら $p$ 本、固有値も $p$ 個です。 2次元の図だけ見ていると軸が2本しかなく（しかも第2＝最小）、一般の姿が見えません。

• 固有ベクトル行列 $V$ は $p \times p$ の正方行列。1本の長さも $p$ 成分（変数ごとに1つの重み）
• $p$ 本すべてが互いに直交（内積の表が単位行列。$V^\top V = I$ が実測で True）。つまり $p$ 次元空間の正規直交基底
• $p$ 本すべて使えば情報の損失はゼロ（元データの復元誤差 $8.88\times10^{-16}$）

だから主成分分析そのものは「元の次元を保ったまま、直交する方向へ座標変換する手法」です。次元圧縮は主成分分析の一部ではなく、そのあとで上位 $k$ 本だけ採用する別の操作です。この構造から「主成分回帰で $k=p$ にすると OLS と完全一致する」ことも説明が付きます。

圧縮しても固有ベクトル1本の長さは $p$ のままという点に注意してください。$k=2$ なら $V_k$ は $p \times 2$ で、本数が減るだけです。復元すると列数は $p$ に戻り（6指標の形に戻る）、変わるのはランクが $k$ になることです。

例外：$n$ が小さいと軸が足りません。 形式上は $p$ 本出てきますが、非ゼロ固有値は $\min(n-1,\ p)$ 本です（中心化で自由度が1つ失われる）。$p=6$ に固定して確かめると、$n=5$ なら4本、$n=3$ なら2本しかありません。$p \gg n$ のデータ（遺伝子データなど）では最初から $n-1$ 本しか使えず、これが適用上の制約になります。

完全な線形従属でも同じことが起きます。$x_3 = 2x_1 + 3x_2$ とした3変数の固有値は [12.15, 0.78, 0.0000] で、3変数だが実質2次元。これが多重共線性の極限（$\Sigma$ の逆行列が存在しない状態）です。

→ 第24回。

第23章 判別分析

フィッシャーの判別基準は分散分析のF値

• 分離比に $(n-2)$ を掛けると、射影後データの一元配置分散分析のF値と一致する。 実測 3.775252 × 158 = 596.489833 に対しF値 596.489833、差 $1.1\times10^{-12}$。$(n-2)$ は方向によらない定数なので最大化の答えが変わらない
• 第20回は同じ量を「検定するために読み」、ここでは「最大化して方向を探す」。態度が違うだけで量は同じ
• 2群の平均を結ぶ向きは最良ではない。 平均を結ぶ0度方向の分離比 1.146 に対し、ピークは 139度で 3.775
• $S$ の分母は $n-g$（$n-1$ ではない。群の数を引く）

マハラノビス距離を使う理由

• 同じユークリッド距離 2.50 の2点で、マハラノビス距離が 1.84 と 6.45（3.51倍）になる。出どころは $\Sigma$ の固有値 1.85 と 0.15 で、比は $\sqrt{1.85/0.15} = 3.512$
• 10人の例では、ユークリッド距離で「近いほうに割り当てる」と2人（20%）を誤判別し、マハラノビス距離なら誤判別0人。テスト点500個すべてで「マハラノビス距離が小さいほう」と「線形判別関数の符号」の判定が一致
• 「その方向の標準偏差いくつ分か」という読み方が成り立つのは主軸（固有ベクトル）方向に限る。 一般の方向では約1.9倍ずれる。厳密には $\Sigma^{-1/2}$ で等方化してからユークリッド距離で測ったもの
• 共通の共分散行列という仮定は「平均も同じ」という意味ではない。 平均は違ってよく、ばらつき方だけが共通。幾何的には全群の等確率楕円が合同（平行移動だけで重なる）

事前確率と誤判別コストは切片にだけ入る

• $w = (5, -14)$ は事前確率やコストを変えても完全に不変で、切片だけが $-17.0000$ → $-18.6094$（見逃し5倍）／$-18.3863$（解約8割）に動く
• 有病率1%なら境界が中点 1.5 から 3.0317 に動く（$1.5 - \log(0.01/0.99)/3$）
• そのとき陽性的中率は 12.36% → 80.19% に上がるが、感度は 93.32% → 48.74% に落ちる（総誤判別率は 6.68% → 0.63%）。総誤判別率の最小化は人数の多い群を優先する操作なので、少数派の見逃しが増える。だから誤判別コストが必要になる
• 見逃しを5倍重く見るなら足すのは $\log(1/5) = -1.6094$。「解約の見逃し」は真が解約なのに継続と判定することなので $c(1\mid 2)$、つまり分母にあたる。符号は計算で決めず「見逃しを重く見る＝そちらと判定されやすくする＝その領域が広がる」という意味で検算する

見かけの誤判別率は当てにならない

• 真の誤判別率が50%（判別不可能）なデータでも、各群10人・$p=18$ なら見かけの誤判別率は 0.24% になる。同条件で LOO は 51.10%、ホールドアウトは 49.55%
• $p$ を増やすほど楽観側に振れる：$p=1$ で 42.92%、$p=5$ で 28.69%、$p=10$ で 15.53%、$p=15$ で 3.86%。$p=18$ では共分散行列だけで $18\times19/2 = 171$ 個のパラメータを推定している
• 見かけの誤判別率が真の値を下回るのは「平均的に」であって、個々の標本で必ずそうなるわけではない
• LOO はわずかに悲観側に偏る（50.60〜52.17%）。$n-1$ 件で学習した規則を評価しているから。見かけの誤判別率の楽観側の外れに比べれば無視できる

線形と2次の使い分け

• 等分散が真なのに2次を使う損は、標本を増やせば消える：各群 $n=10$ で +2.27pt（21.46% 対 23.73%）、$n=50$ で +0.18pt、$n=1000$ で +0.01pt
• 分散が本当に違うのに線形を使う損は、標本を増やしても消えない：$n=10$ で 24.14%、$n=1000$ でも 21.97% のまま（2次なら 14.08% まで下がる）
• この非対称性が判断の軸。間違ったモデルはバイアスなので消えず、無駄に複雑なモデルはバリアンスなので消える
• ただし $p$ が大きいと2次の優位も消える：$p=8$ で各群 $n=12$ なら 31.29% 対 29.33% でほぼ差がない（$n=50$ なら 27.08% 対 9.94%）
• Box のM検定を機械的に採用するのは勧められない（標本が大きいと些細な違いでも有意になり、正規性からのずれにも敏感）。交差確認法で両方測るのが確実
• 平均が同じなら線形判別は不能（$w = S^{-1}(\mu_0-\mu_1) = 0$）だが、2次判別なら分散の違いだけで分けられる。群0 = $N(0,1^2)$、群1 = $N(0,1.5^2)$ なら群0と判定されるのは $-1.208 < x < 1.208$ で、群1が左右2つに分断される
• 2次判別の境界は必ず曲線ではない。 2次項の行列 $Q = \frac{1}{2}(S_1^{-1}-S_0^{-1})$ の固有値に0が混じると平行2直線になる（実例で $x_1 = -2.745$ と $1.207$ の縦2直線）

ウィルクスのラムダと変数選択

• $\Lambda$ は小さいほうがよい（第16回の $1-R^2$ と同じ形なので、決定係数と向きが逆）
• 無関係な変数 $x_3$ は単独で $\Lambda = 0.9995$。前向き選択で 1.0000 → 0.7219 → 0.6401 → 0.3238 と下がり、最後に $x_3$ を足しても 0.3238 → 0.3236 しか動かないのにF値は 80.733 → 60.100 に落ちる
• 貪欲法は組み合わせとしての最良を保証しない。 1番目に選ばれた $x_4$（$\Lambda = 0.7219$）は $x_1$（0.7280）とわずかな差で、しかも両者の相関は 0.95
• $\Lambda$ と $T^2$ の対応は小数10桁まで一致（$\Lambda = 0.314098$、$T^2 = 869.12$）

ロジスティック回帰・SVMとの対比

• 前提（多変量正規）は「最適性の保証」のためにあり、「動作の条件」ではない。 0/1変数20個のスパム判定でも $n=200$ 以上ならむしろ線形判別分析が勝つ（7.62% 対 8.57%、$n=1000$ で 5.70% 対 5.96%）
• 完全分離のとき、ロジスティック回帰は標準誤差が $10^5$〜$10^6$ に発散するが、線形判別分析は有限の値を返す（$w = (-18.67, -18.67)$、切片 186.67）
• 教科書の「線形判別分析のほうが効率がよい」は差が出る条件が限定的。$D=1$ ではほぼ互角（超過誤差の比 0.99〜1.03倍）、$D=4$ で 2.83〜4.35倍。しかも実害は $D=4$・$n=25$ で 2.54% 対 3.42%（差 0.88pt）
• 外れ値への強さも限定つき。極端な外れ値では両者とも偶然水準まで壊れる（20.4% → 53%）。差が見えるのは中程度のときで、そこはロジスティック回帰が約2pt よい（32.81% 対 34.66%）
• 速度は $n$ を増やす方向では判別分析が圧勝（$n=800$ で 0.106ms 対 184.3ms、1743倍）。ただし $p$ を増やすと $p=1600$ で逆転（100.9ms 対 24.7ms）。「どちらが速いか」は測る軸で答えが変わる
• $p > n-g$ で $S$ が特異になり計算不能になる（$n=50$・$p=60$ で行列式 $3.0\times10^{-202}$、条件数 $3.9\times10^{17}$）。ただし $S + \lambda I$ を使うリッジ判別分析なら $p \gg n$ でも動く（$p=1000$・$n=200$ で 0.00%）。代わりに $\lambda$ という調整パラメータが増える
• SVM は $C$ と $\gamma$ の選び方だけで誤判別率が 0.0% から 50.0%（偶然水準）まで動く。判別分析には調整パラメータがない
• 無関係なノイズ列を足すと SVM も同程度に悪化する（11.94% → 30.06%）。SVMが得意なのは「意味のある列が大量にある」場合

→ 第25回。

第24章 クラスター分析

失われるのは「1列」ではなく採点する能力

判別分析との違いは入力としては正解ラベルの有無ですが、「だけ」ではありません。交差確認法という命綱が使えなくなるので、「結果が手法に依存する」「正しさを検定できない」が派生します。

• クラスター分析は隠れた正解を発掘する装置ではなく、与えた距離のものさしで見て目立つ構造を返す装置。真の群が左右にあっても上下の散らばりが大きければ上下に切る（ウォード法の一致率 50.8%、同じデータにラベル付きの判別分析なら正答率 85.0%）
• $k$ を指定すれば必ず $k$ 個返す。 「有意差なし」に相当する出力が無い

標準化は精度向上ではなく恣意性の除去

• 年齢（標準偏差 7.49歳）と年収（206万円）を標準化せずに使うと、距離への寄与が年齢 0.0000000013% / 年収 99.9999999987%（約770億分の1）になる。標準化すれば 50.00% / 50.00%
• そのとき2変数の分割と、年収1変数だけの分割が完全に一致する（120人全員が同じクラスター）
• 年収の単位を変えるだけで純度が動く：円 0.7500 / 万円 0.7500 / 十万円 1.0000 / 百万円 0.8417 / 億円 0.8250
• ただし標準化が裏目に出ることもある。 無情報な変数6本（標準偏差 約0.05、本物の40分の1）が混ざると純度 1.00 → 0.96 に落ちる。標準化しないほうがよいのは「すべて同じ単位・同じ意味」のとき（各科目の点数、各月の売上）
• 回帰との重さの違い：回帰では標準化しても係数のスケールが変わるだけで決定係数は変わらないが、クラスター分析は距離が主役なので分割そのものが変わる
• 生データにマハラノビス距離を使うと純度 1.00（標準化と相関の補正を距離に組み込んでいる）

連結法の性質はデータの形との相性

同じ鎖効果が、三日月データでは唯一の勝者にし、橋のあるデータでは唯一の敗者にします。 手法の性質に良い悪いはなく、データの形との相性しかありません（橋渡しの点は7個・全体の8%だけ）。

• 構造のないデータ（一様分布・200回試行）で最大クラスター÷最小クラスターを見ると、最短距離法 108.0（最小が5未満だった割合 99.5%）、最長 2.4、群平均 2.7、ウォード 2.2、k-means 1.5
• 「ウォード法はサイズが揃う」は構造が無いときの傾向で、強制ではない。 100/10/10 の不均衡な構造ならそのまま再現する（純度 1.0000）。しかもいちばん揃うのはウォード法ではなく k-means
• 距離を二乗して渡すかを気にしなくてよいのは最短距離法と最長距離法だけ（$\min$/$\max$ は単調変換で不変）。群平均法は変わり（10点の乱数300セットで 21% が不一致）、重心法・ウォード法は平方ユークリッド距離を渡すのが正しい定義。ward.D に素の dist(X) を渡すと 8〜10点の乱数300セットで 42% が融合順序ごと変わる

デンドログラムの縦軸は手法で違う

• ウォード法の縦軸は距離ではなく平方和の増分。 比較可能なのは同じデンドログラム内の高さの大小だけで、異なるデータの高さを比べても意味がない
• 目盛りには3流儀がある：$\Delta\mathrm{ESS}$（教科書）／$2\Delta\mathrm{ESS}$（Rの ward.D に平方距離を渡した場合）／$\sqrt{2\Delta\mathrm{ESS}}$（scipy、Rの ward.D2）。この3つの間では木の形は完全に同じ（単調変換だから）
• 横軸の順序に意味はない（枝を左右に入れ替えても同じ木）。2点の近さは「どの高さで初めて同じ枝に入るか」＝コーフェネティック距離で読む
• 同じ高さの融合が複数並ぶと作れない $k$ がある（高さ 1.0 に融合が3つ重なると $k=4,5$ が作れず6個から3個に飛ぶ）。実データで完全に同じ高さになることは稀
• $n=6$ の例で融合コストが 1.0 → 1.0 → 1.0 → 29.0000 → 48.3333 で、合計 80.3333 が全体の平方和と一致する
• この「総和＝全体の平方和」はウォード法固有の性質ではない。 $\Delta\mathrm{ESS}$ は WSS の増分なのでどんな順番で融合しても総和は同じ（望遠鏡和）。ウォード法に固有なのは支払いをできるだけ後半に回すこと

ウォード法と k-means は同じ量を測るタイミングが違う

• 最小化しているのはどちらも WSS。k-means は「各点→自分の中心の平方距離／現在の状態」、ウォード法は「2群の重心間の平方距離／くっつけた後の変化」で、さらに $\frac{n_i n_j}{n_i+n_j}$ の係数が掛かる
• ウォード法は貪欲法なので一般には k-means の最適解に一致する保証はない。実際、構造のないデータではウォード法の WSS が k-means の最良解より大きかった割合が100%
• k-means の初期値依存（同じデータ・$k=3$・300回）：WSS 75.87 が219回・73.0%（最良解）、144.31 が20回・6.7%、149.07 が3回・1.0%（最悪解）。異なる解が全部で22通り出て、純度は 0.96 → 0.67 に落ちる
• ただし WSS で判定できるので複数回試すだけで解決する。 ランダム1回 73.0% → k-means++ 86.0% → 2回試行 95.0% → 3回試行 100.0%。scikit-learn は既定で n_init=10・init="k-means++" なので普通に使えば対策済み
• k-means が有限回で止まる理由は「単調に減るから」では不十分（減少列は無限に続けられる）。割り当てが変わるときは狭義に減るので同じ割り当てが二度現れず、分割の総数が有限だから止まる。止まるのは中心が動かなくなる点で、大域的最小とは限らない

クラスター数の決め方

• 真の $k=4$ の例で、WSS の減少率は $k=4$ で 77.5%、$k=5$ で 12.8%。平均シルエット係数は $k=4$ で 0.7483 が最大、ギャップ統計量も $k=4$ で 1.348 が最大。3基準が一致
• エルボー法の問題は「主観的」より「肘が存在しない場合」のほうが深刻。 一様分布では肘がどこにもなく、細長い1つのかたまりでは $k=2$ で 1590 → 547 と急落して偽の肘に見える
• シルエット係数は構造がまったく無いデータでも0にならない。 2次元標準正規分布を $k=3$ に切ると $n=200$ で 0.355、$n=2000$ でも 0.330 で下がらない。一様分布なら 0.38〜0.43。目安表（0.7以上／0.5〜0.7／…）は判定基準ではなく経験則で、正しい使い方は「構造がないときのベースラインと比べて明確に高いか」
• ギャップ統計量の1標準誤差基準で $k=1$ が出るのはバグでも符号の問題でもない。 移項すると $\mathrm{Gap}(k+1) - \mathrm{Gap}(k) \le s_{k+1}$、つまり最初の平坦点で打ち切る規則。$k=1\to2$ の増分 0.0265 が $s_2 = 0.0481$ に埋もれていた。$B$ を 30 → 150 に増やしても係数が $1.016 \to 1.003$ に変わるだけで直らない。対処は「大域的な最大値から1標準誤差以内に入る最小の $k$ を採る」変種
• コーフェネティック相関係数が高い手法が良い手法とは限らない。 三日月データで最短距離法はこの指標で最下位（0.5357）なのに純度では唯一の満点（1.0000）

$n$ が小さいと「無い構造」が見つかる

• 構造のない1つの正規分布を3分割したときの平均シルエット係数は $n=10$ で 0.4040（最大 0.6038、0.5超えが 5.0%）、$n=200$ で 0.3043。$n$ が小さいほど高く出る
• セグメント間で差を検定するのは循環論法（double dipping／選択的推測）。滞在時間の差が大きくなるようにクラスターを作ったのだから、ほぼ確実に有意になる。別データで検証するのが原則
• メモリの壁：$n=10{,}000$ で距離行列 0.8 GB（データ本体は 0.24 MB）、$n=44{,}721$ で 16 GB。ただし避けられないのはメモリではなく計算回数のほうで、SLINK 法や fastcluster の最近傍連鎖方式なら $O(n)$ メモリにできる。「$n^2$ より速くできない」も一般の非類似度行列を入力とする限りの話で、2次元のユークリッド空間なら最短距離法は $O(n\log n)$

→ 第26回。

第25章 因子分析・グラフィカルモデル

主成分分析は変換、因子分析はモデル

主成分分析は変換なので、正しいか間違っているかを問う余地がありません。座標軸を回すのと同じで必ず実行できます。因子分析はモデルなので、「背後に2つの因子がある」という仮説がデータと合わないことがありえます。

• 決定的な違いは相関行列を再現できるか。因子分析は非対角の最大誤差 0.000000（実際は $8\times10^{-13}$）、主成分2個は 0.144371。対角も 0.000000 対 0.298764
• 主成分2個では対角が1にならず 0.70〜0.83 にとどまる。非対角も文系3科目間が 0.73〜0.78 と元の 0.59〜0.70 より大きく出る
• $\Psi$ が対角行列なので、対角のずれは常にゼロにでき、残る誤差は非対角にしか現れない。これが「誤差の置きどころ」の構造的な違い
• ただし 0.000000 はこのデータがちょうど2因子モデルから作られているからの値。6変数2因子なら自由度4なので、一般には残差が残る

反証できるのは自由度が正だから

• 6変数なら $m=1$ で 9、$m=2$ で 4、$m=3$ で 0（検証不可）、$m=4$ で $-3$（識別不可）
• 同じ相関行列に1因子を当てると非対角の最大残差 0.3440・不適合度 $F = 1.254075$ が残り、2因子なら 0.0000 / 0.000000
• $n=300$ の標本で検定すると1因子は $\chi^2 = 347.698$・自由度9・$p$ 値 0.00000 で棄却、2因子は $\chi^2 = 1.5952$・自由度4・$p$ 値 0.80965 で棄却されない
• 帰無仮説が「モデルは正しい」なので $p$ 値が大きいほどモデルが良い。 第12回の「棄却されないことは正しさの証明ではない」もそのまま当てはまる
• 自由度0は「どんなデータでも完璧に当てはまる」ではなく「検証する余地が消える」。$p=6,m=3$ でランダムな相関行列を試すと残差が残る場合が多く、無理に合わせるとヘイウッドケースになる
• 3変数1因子なら $\frac{r_{12}r_{13}}{r_{23}} = \lambda_1^2$ で見えない因子の値を一度も使わずに負荷量が逆算できる。決まるのは $\lambda_1^2$ であって $\lambda_1$ ではない。0.9, 0.8, 0.6 なら $\lambda_1^2 = 1.2000$ で $\psi_1 = -0.20$ のヘイウッドケース（相関行列としては最小固有値 0.052 で正当）、0.5, 0.5, $-0.3$ なら $\lambda_1^2 = -0.8333$ で実数解なし

回転で変わるのは解釈だけ

• 回転角を 0°〜123.4° に振っても不適合度 $F$ は0、共通性の和は 3.962700 で一定。動くのはバリマックス基準だけ（0.009590 → 0.422155）
• 回転で変わるのは負荷量と解釈だけで、共通性・独自性・因子数・当てはまりは不変
• バリマックス回転の効果：基準 0.009590 → 0.424519、絶対値0.7超の負荷量が 12個中2個 → 6個、ホフマンの複雑度 1.7453 → 1.0843。最適角は $-42.84°$（全探索と一致）
• 目的関数は厳密に $V(\theta) = K + M\cos(4\theta - \varphi)$ の形（最大残差 $4.4\times10^{-16}$）で周期90°・単峰。$2\theta$ の項が消えるのは「4次式だから」ではなく「共通性が回転で不変だから」
• $\tan 4\theta$ の式を素朴に $\arctan$ に入れると $\theta = +2.158°$ で基準値 0.0072 の最小のほうに着く。分子と分母の符号を別々に見て象限を決める必要がある
• 共通性が「負荷量の2乗和」で出るのは直交回転のときだけ。 斜交では $\mathrm{diag}(\Lambda\Phi\Lambda^\top)$ が必要（国語で 0.7804 は誤り、正しくは 0.7325）。再現される相関行列も $\Lambda\Phi\Lambda^\top$
• プロマックス回転の因子間相関は 0.3748（$\kappa=4$）。$\kappa=2$ なら 0.2975
• 斜交のパターン行列では真の負荷量が正（国語の理系 0.10）なのに $-0.073$ と負に振れることがある。単純構造を強く追った結果で、小さな負の値は「ほぼゼロ」と読むべき場合がある
• 主成分分析も回転できるが、回転すると分散の配分が平準化されて（3.0203/1.5979 → 2.2737/2.3446）分散最大という売りを失い、もはや主成分ではなくなる。 しかも回転後は列が直交しないので 2.2737 と 2.3446 は互いに独立な取り分ではない

同じ機械に、対角だけ違う行列を入れている

• 因子分析のコードから対角の差し替えを外すと、固有ベクトルの符号を除いて主成分分析の負荷量と完全に一致する
• 対角を1のまま top2（主成分法）にすると非対角の最大誤差 0.144371・負荷量の最大誤差 0.1164、対角を共通性にすると 0.000000・0.0022
• 歪みは「系統的な過大」ではなく「コントラストが強く出る」。主たる負荷量は過大（社会 真0.700 → 0.816）だが、小さいほうは過小（国語の理系 真0.100 → 0.089）
• 歪みの大きさは独自性に比例する。独自性の平均 0.736 で誤差 0.2247、0.340 で 0.1164。だから共通性が高い変数ばかりなら主成分法でも実用上問題ない（主成分法も教科書にある実在の方法）
• 対角を1にした固有値の合計は 6.00 で、そのうち 2.04（34%）が独自性
• 反復が必要なのは固有値分解が難しいからではなく、分解に渡すべき行列そのものが未知だから。共通性の推定には循環がある（3変数の例で 93回、最尤法のEMなら 181回）
• 「$\Psi^{-1/2}R\Psi^{-1/2}$ の固有値が1超の個数＝因子数」は使えない。 成り立つのは因子数を正しく指定してモデルが厳密に当てはまるときだけで、1因子を当てると1超が3個になる
• 対角を共通性に置き換えて負の固有値が出るのは正常（共通性が推定値で、真の値より下がりがちだから）。真の共通性を置けば 2.6836, 1.2791, 0, 0, 0, 0 で負は出ない

因子数の決め方と因子得点の限界

• 6基準すべてが2因子を指した例：固有値 3.0203, 1.5979, 0.4277, …／平行分析の95%点 1.2754, 1.1508, …／対角を共通性にした固有値 2.5551, 1.1394, $-0.0883$, …／累積寄与率 76.97%
• カイザー基準の閾値1は $n$ と $p$ に依存する。 無相関のランダムデータでも $n=300$・$p=6$ なら第1固有値が 1.2754 出る（$n=1000$ で約1.15、$n=100$ で約1.48）。実務では因子数を多く見積もる傾向があると指摘されるが、変数の数が少ない場合など逆に過小になることもある
• 因子得点は真の因子との相関が文系 0.9204・理系 0.9345 で1に届かない。これは推定の失敗ではなく原理的な上限（$\sqrt{\mathrm{diag}(\Lambda^\top R^{-1}\Lambda)}$ が 0.9173 / 0.9310）。$n=200{,}000$ に増やしても 0.917 / 0.931 で改善しない（個人の得点はその人の回答だけから推定するので独自因子を分離しきれない）
• バートレット法は不偏だが分散は1にならない（1.157 / 1.190）。回帰法は縮む（0.866 / 0.843）代わりに真の因子との相関が最大。不偏性と分散が1になることは別の性質
• 標本誤差で理論上限をわずかに超えることは普通に起きる（40回試すと半分強）。列の判別は番号ではなく負荷量パターンで見る（バリマックス後の列の順序は一意でない）

偏相関と条件付き独立

• 擬似相関の例では $r(X,Y) = 0.4800$（$= 0.8\times0.6$）に対し偏相関が 0.0000000000。精度行列の該当成分も 0.0000。精度行列から読むときはマイナスが付く
• 偏相関は残差同士の相関と一致する（$n=200{,}000$ で公式 0.0002・残差同士 0.0002）。第16回の偏回帰係数と同じ構造
• 「偏相関ゼロ＝条件付き独立」は一般にはどちらの向きも成り立たない。 偏相関が除去するのは他の変数の線形の影響だけ。$X = Z^2+e_1$, $Y = Z^2+e_2$ では $r(X,Y) = 0.6668$ に対し偏相関も 0.6668 でゼロにならないのに、$Z$ を狭い区間に固定した条件付き相関は 0.0034（条件付き独立は成立）。多変量正規分布のもとでは条件付き期待値が線形になるので同値
• 合流点（コライダー）で条件づけると、独立な2変数に偽の相関が生まれる。$W = X+Y+$誤差で条件づけると $r(X,Y\mid W)$ が理論 $-0.800000$・実測 $-0.800440$。「交絡を防ぐために変数はできるだけ入れておく」は誤り
• 逆行列を使う計算では行列式を確認する。 $W = X+Y$（誤差なし）だと相関行列が特異（行列式 $1.5\times10^{-15}$）で、同じ計算が1回目 $+1.0000$、2回目 $-1.0000$ を返した
• 主成分分析では第3主成分を足しても第1・第2は変わらないが、因子分析で2因子から3因子に増やすと共通性の推定値が変わるので全部の負荷量が変わりうる

→ 第27回。

第26章 その他の多変量解析手法

新しい仕組みは3つだけ

4類の区別は「目的変数があるか／それが量的か質的か」の2点だけで決まります。I・II類は教師あり、III・IV類は教師なし。I類の目的変数は量的、II類は質的。

数量化IV類だけは「同じ計算」と書けません。 親近性のデータから配置を作るという問題は同じですが、定式化は $\sum_{i,j} e_{ij}(x_i-x_j)^2$ の最小化で、二重中心化ではありません。

MDSは主成分分析と同じ計算

距離行列を二重中心化して固有値分解します。都市間の距離だけ（緯度経度は与えない）から日本地図が復元でき、累積寄与率 99.99%・実際の位置との残差RMS 27km（都市間平均851kmの3.2%）。

• 一致するのは「分散共分散行列による主成分分析」と「同じ変数のユークリッド距離を使ったMDS」のとき。 座標の差 $5.33\times10^{-15}$、寄与率も 76.8472% で一致。相関行列版と比べるなら距離の側も標準化してから測る必要がある
• MDSの固有値は主成分分析の固有値の $(n-1)$ 倍。 理由は中心化ではなく共分散を $n-1$ で割っている（不偏共分散）ことの裏返しで、$n$ で割る流儀なら $n$ 倍。全軸が同じ倍率なので寄与率は一致する
• 古典的MDSの別名は主座標分析（PCoA）。生態学で標準なのは、非ユークリッドな非類似度（ブレイ・カーティス、ジャッカード、遺伝的距離）も受け取れるから
• 計量MDS ⊋ 古典的MDS。 計量MDSには最小二乗MDS（Sammonマッピング）も含まれる。「閉じた式で解ける／反復で解く」と「距離の値を使う／順序だけ使う」は別の軸
• 軸の意味は内部と外部で答えが違う。 古典的MDSは主軸で返るので第1軸は分散最大（だから寄与率が定義できる）。無いのは東西・価格などの外的な意味で、回転・反転が自由
• 負の固有値は「どんな次元のユークリッド空間にも埋め込めない」サイン（「次元が足りない」とは別）。12個体のマンハッタン距離では4個出て最小 $-10.2704$、これは第1固有値の 5.7%。8都市の大円距離では $-776.1$ で第1固有値の 0.02% しかない。大きさは第1固有値との比で判断する
• 距離の種類だけでは決まらない。 マンハッタン距離でも一直線に並んだ点なら負は0個。逆に3点でも三角不等式を破れば出る（$d_{12}=1, d_{13}=1, d_{23}=5$ で固有値 12.5, 0, $-3.5$）。$\sqrt{d}$ を取ると消える

正準相関分析には向きが無い

• 入れ子構造：相関係数 ⊂ 重回帰 ⊂ 正準相関分析。$Y$ を1変数にすると正準相関 0.81946950 ＝ $\sqrt{R^2}$（差 $1.1\times10^{-16}$）、$X$ も1変数にすると $\lvert$ピアソン相関$\rvert$
• ただし正準相関分析に説明・被説明の向きはありません。 $X$ と $Y$ を入れ替えても正準相関の値も正準変量も変わらない
• 組の個数は $\min(\mathrm{rank}\,X, \mathrm{rank}\,Y)$（フルランクなら $\min(p,q)$）。多い方ではない
• 保証されるのは $r_1$ だけ。 $r_1$ は個別の相関の絶対値の最大以上（0.7915 → 0.8481）だが、$r_2$ 以降には保証がない（共通因子が2本あるデータでは $r = [0.9970, 0.9968]$ に対し個別の絶対値の最大が 0.9831）
• 2組目は1組目と無相関（実測 $-7\times10^{-17}$）
• 検定はウィルクスのラムダ $\Lambda = \prod_k (1-r_k^2) = \lvert W\rvert/\lvert T\rvert$。第25回の判別分析の検定と同じ統計量（第12回のウィルクスの定理とは別物）

数量化法は既習手法の言い換え

• I類：ダミー変数の重回帰（$R^2 = 0.995248$）。当てはまりは決定係数 $R^2$ と重相関係数 $\sqrt{R^2}$ で見る。カテゴリースコアは偏回帰係数と定数分だけずれる（基準カテゴリで中心化するか加重平均で中心化するかの流儀差。レンジは不変）。レンジは立地 7.1548 > 築年数 3.6548
• II類：判別分析。正解率12/12、正準相関 0.88191710 ＝ $\sqrt{R^2}$。相関比 $\eta^2 = R^2 = 0.777778$（群間変動÷全変動を手計算して6桁一致）
• 相関比 $\eta^2$ は群を必要とする量なので、目的変数が量的なI類では定義できません。 II類の指標です
• レンジは標準化されていないので、アイテム間で比べるならカテゴリー数や度数が同程度かを確認する。標準化された指標としては偏相関比を併用する

対応分析はカイ2乗を軸に分解する

• $n$ は表の度数の合計（回答者数とは限らない）。0/1の反応表の例では $n \times$ 総イナーシャ ＝ 22.0 の $n$ は1の個数の合計 18で、人数8ではない
• 軸ごとの貢献を足すとカイ2乗そのもの：110.2593 + 15.6486 + 2.9373 ＝ 128.8452。第1軸だけで 85.58% なのでこのズレはほぼ1次元的
• 総イナーシャはマス（行の重み）で重み付けしたカイ2乗距離の和で、行から見ても列から見ても同じ値（どちらから計算しても 0.343587）
• カイ2乗距離は行プロファイルのズレを列の割合 $c_j$ で割って測る：$\sum_j (p_{ij}/p_{i\cdot} - c_j)^2/c_j$
• 軸の本数は $\min(I,J)-1$（上限）。差の行列の行和・列和が0で、$\sqrt{\text{期待}}$ で割る操作は階数を保つ
• 行と列の距離を直接比べてはいけない。 行と列は別の空間の座標なので、方向（角度）の一致として読む。非対称正規化なら行と列の内積が「観測の割合 ÷ 期待の割合 $-1$」になる（ピアソン残差ではない。実測の差 $7.8\times10^{-16}$）
• 主座標がカイ2乗距離を厳密に再現するのは全軸を使ったときだけ（3軸すべてなら 1.465034 でカイ2乗距離と6桁一致、上位2軸の図では落とした第3軸の 2.28% 分だけ近似になる）
• ガットマン効果（馬蹄形）には順序構造だけでなく一峰性の反応も必要。 出たら「実質1次元の順序構造がある証拠」と読み、第2軸に別の解釈を与えない。補正にはデトレンド対応分析（DCA）がある
• 数量化III類の0/1表を第1軸で並べ替えると1が対角線上に階段状に並ぶ
• 多重対応分析は指示行列に対応分析をかけるもの（指示行列は行和が変数の数で一定）

→ 第28回。

試験で問われる計算パターン

第22章

1. 固有値と寄与率 … $2\times2$ なら $\lambda^2 - (\text{トレース})\lambda + (\text{行列式}) = 0$ を解く。相関行列なら固有値の合計は必ず $p$。2変数の相関行列なら $1\pm\lvert\rho\rvert$ で暗算
2. 固有ベクトルの向き … $(\Sigma - \lambda I)u = 0$ を1行だけ使って比を出し、長さ1に正規化。符号はどちらでもよい
3. 負荷量 … 相関行列なら $u_{jk}\sqrt{\lambda_k}$、共分散行列なら $s_j$ で割る。検算は「各変数で全主成分の負荷量2乗和 ＝ 1」
4. マハラノビス距離 … $2\times2$ なら $\Sigma^{-1} = \frac{1}{\lvert\Sigma\rvert}\begin{pmatrix} s_{22} & -s_{12} \\ -s_{12} & s_{11} \end{pmatrix}$（$s_{11}$ と $s_{22}$ が入れ替わる）。判定は $\chi^2(p)$ の上側で、$p=2$ の5%なら 5.9915（母数が既知のときの近似）
5. 等確率楕円の確率 … 2次元なら $1-e^{-z^2/2}$。1変数の 68/95/99.7 を持ち込まない

第23章

6. 線形判別関数 … $S = W/(n-g)$ を作り、$w = S^{-1}(\bar x_1-\bar x_2)$、切片は中点を代入して $c = -w^\top\frac{\bar x_1+\bar x_2}{2}$。符号は意味で検算
7. 事前確率・コスト込みの境界 … $\log\frac{\pi_1}{\pi_2}$ と $\log\frac{c(2\mid1)}{c(1\mid2)}$ を切片に足すだけ。$w$ は変わらない
8. 理論上の誤判別率 … $\Phi(-D/2)$。引数は $D$ ではなく $D/2$（$D=2$ で 15.87%、$D=4$ で 2.28%）
9. ウィルクスのラムダ … $\lvert W\rvert/\lvert T\rvert$。小さいほうがよい。$T^2$ とは $\Lambda = 1/(1+T^2/(n-2))$ で対応
10. 交差確認法 … 「同じデータで測るとどう偏るか」を言葉で答える形が多い。見かけは楽観側、LOOはわずかに悲観側

第24章

11. 手計算のウォード法 … $\Delta\mathrm{ESS} = \frac{n_i n_j}{n_i+n_j}\lVert\bar x_i-\bar x_j\rVert^2$ を全ペアで出して最小を選ぶ。係数を忘れると順序が変わる（重心間 29.0 と 42.5 でコストが 29.0 と 28.3333 に逆転する）
12. 連結法の識別 … 「細長いクラスターができる」＝最短距離法、「サイズが揃いやすい」＝ウォード法・k-means、「鎖効果」＝最短距離法
13. デンドログラムの読み取り … 切断線と $k$ の対応、縦軸が何の量か（ウォード法なら平方和の増分）、横軸の順序に意味はないこと
14. シルエット係数 … $(b_i-a_i)/\max(a_i,b_i)$ に代入。$a_i$ は同クラスター内の平均距離、$b_i$ は最も近い他クラスターへの平均距離
15. 距離の計算 … ユークリッド／マンハッタン／マハラノビス／コサインの4つを同じ2点で出す（$A(3,0)$, $B(0,4)$ なら 5.0000 / 7.0000 / …）

第25章

16. 共通性と独自性 … 直交なら $h_i^2 = \sum_j \lambda_{ij}^2$、$\psi_i = 1-h_i^2$（相関行列のとき）。斜交なら $\mathrm{diag}(\Lambda\Phi\Lambda^\top)$
17. 自由度 … $\frac{p(p-1)}{2} - (pm - \frac{m(m-1)}{2})$。0以下なら検証不可・識別不可
18. 3変数1因子の逆算 … $\lambda_1^2 = r_{12}r_{13}/r_{23}$。1を超えたらヘイウッドケース
19. 偏相関 … 3変数なら公式に代入、多変数なら精度行列から $-k_{ij}/\sqrt{k_{ii}k_{jj}}$（マイナスを忘れない）
20. 回転の不変量 … 「回転で変わらないもの」を選ぶ問題（共通性・独自性・当てはまり・因子数は不変、負荷量は変わる）

第26章

21. 総イナーシャ … $\chi^2/n$。$n$ は表の度数の合計。軸ごとの固有値 $\times n$ を足すとカイ2乗に戻る
22. 軸の本数 … 対応分析は最大 $\min(I,J)-1$、正準相関は $\min(\mathrm{rank}\,X,\mathrm{rank}\,Y)$、MDSは正の固有値の個数（最大 $n-1$）
23. MDSと主成分分析の関係 … 「（共分散行列版の主成分分析と）ユークリッド距離なら一致」「固有値は $(n-1)$ 倍」「寄与率は同じ」の3点
24. 数量化法の対応 … I＝ダミー重回帰、II＝判別分析、III＝対応分析、IV＝MDSと同じ問題設定。目的変数の有無と型で機械的に決める
25. 正準相関と重相関 … $Y$ が1変数なら正準相関 ＝ $\sqrt{R^2}$

つまずきやすいところ