シミュレーション:モンテカルロ法は遅いのではなく次元に鈍感【第34回】
統計検定準1級の独学連載・第34回は第32章のシミュレーション。1変数の期待値では等間隔グリッドがモンテカルロ法に1億倍の精度で勝ち、次元4で逆転することを実測しました。誤差がnの
日々のちょっとした Tips などをまとめる
統計検定準1級の独学連載・第34回は第32章のシミュレーション。1変数の期待値では等間隔グリッドがモンテカルロ法に1億倍の精度で勝ち、次元4で逆転することを実測しました。誤差がnの
統計検定準1級の独学連載・第33回はベイズ法。信頼区間と信用区間は同じデータでほぼ一致した一方、Waldは0クリックで区間が[0,0]に潰れました。MCMCが分からずMarkov
統計検定準1級の独学連載・第32回は第30章のモデル選択。AICの罰則がパラメータ数の2倍である理由を20万回のシミュレーションで確かめると、2は「訓練誤差がkだけ甘く、新データの
統計検定準1級の独学連載・第31回は第29章の不完全データの統計処理。欠測を平均で埋めると95%信頼区間の被覆率が81.5%まで落ちることを4000回のシミュレーションで確かめまし
統計検定準1級の独学連載・第30回は第28章の分割表。同じ2×2表からリスク比とオッズ比を計算すると「どちらの改善が大きいか」の結論が逆転しました。オッズ比だけが抽出率の影響を受け
統計検定準1級の独学連載・第29回は第27章の時系列解析。互いに参照せずに作った2本のランダムウォークを回帰すると、5%であるべき棄却率が77%になりました。原因は相関が生まれるこ
統計検定準1級の独学連載・第28回はその他の多変量解析手法。多次元尺度構成法をユークリッド距離で計算すると主成分分析と座標が小数15桁まで一致し、違いは計算ではなく「何を入力に取れ
統計検定準1級の独学連載・第27回は因子分析とグラフィカルモデル。主成分分析との違いを「相関行列を再現できるか」で確かめたら、因子分析は誤差0.000000で再現し主成分2個は0.
統計検定準1級の独学連載・第26回はクラスター分析。標準化を忘れると年齢の寄与が約770億分の1になり結果が「年収1変数だけ」の場合と完全に一致すること、同じデータで手法を変えると
統計検定準1級の独学連載・第25回は判別分析。フィッシャーの線形判別が最大化しているものが分散分析のF値と同一だと小数12桁まで確認し、判別不可能なデータで見かけの誤判別率が0.2
統計検定準1級の独学連載・第24回は主成分分析。分散を最大にする方向を0.05度刻みで総当たりしたら、最大値1329.32が分散共分散行列の最大固有値と一致しました。なぜ分散最大化
統計検定準1級の独学連載・第23回は確率過程の基礎。到着間隔が指数分布になる導出は計算を1行もしていないこと、ポアソン過程の絵が1枚しかないこと、3次元のランダムウォークは0.34
統計検定準1級の独学連載・第22回はマルコフ連鎖をわかりやすく解説します。既約・周期的・再帰的・一時的という4つの用語を、判定しているものが何かで整理しました。自分でドリルを解いて
統計検定準1級の独学連載・第21回は標本調査法。同じ400社でも層への配り方を変えると分散が86分の1になることを実測し、層別抽出とクラスター抽出の違い、ネイマン配分、設計効果、無
統計検定準1級の独学連載・第20回は分散分析と実験計画法。9個のデータで平方和78=54+24を手計算し、分散分析とダミー変数の重回帰でF値が8.223350まで一致することを確認
統計検定準1級の独学連載・第19回は生存時間解析。打ち切りを捨てると平均寿命を77%過小評価することを実測し、ハザードと密度の違い、カプラン・マイヤー推定とログランク検定、Cox回
統計検定準1級の独学連載・第18回はロジスティック回帰とオッズ比。0/1を最小二乗法で当てはめると4通りに壊れる理由、オッズ比と確率比の違い、「線形モデル」の線形がパラメータについ
統計検定準1級の独学連載・第17回は回帰診断法。1点で傾きが1.02から0.35へ崩壊する仕組みと、外れ値・てこ比・影響力の違いを整理。不均一分散が壊すのは標準誤差だけで推定値は不
統計検定準1級の独学連載・第16回は重回帰分析をわかりやすく解説します。最小二乗推定量が「平面に垂線を下ろす射影」であることを図で確認し、係数の標準誤差がどこから来るのかを4000
統計検定準1級の独学連載・第15回はノンパラメトリック検定をわかりやすく解説します。なぜ順位に直すと分布を仮定しなくてよくなるのかを数え上げで確かめ、正規分布での保険料が5%(漸近
統計検定準1級の独学連載・第14回は適合度検定をわかりやすく整理しました。自由度がk−1−mになる理由を単体上の幾何で図解し、期待度数5以上という目安の根拠をシミュレーションで実測
統計検定準1級の独学連載・第13回はt検定の使い分けをわかりやすく整理しました。1標本・2標本・対応あり・ウェルチをフローチャートで区別し、自由度の決め方をひとつの規則にまとめ、等
統計検定準1級の独学連載・第12回は検定の基礎と検定法の導出をわかりやすく。帰無仮説を棄却する遠回りな論理の理由、ネイマン・ピアソンの補題が保証する最強力性、尤度比検定がt検定やχ
統計検定準1級の独学連載・第11回は第9章の区間推定をわかりやすく。信頼区間の95%が何に付いている数字なのか、ピボット量を反転する4ステップ、プール分散とウェルチの使い分け、標本
統計検定準1級の独学連載・第10回は最尤法とフィッシャー情報量をわかりやすく。不偏推定量と一致推定量の違い、最尤法の3段の手順、フィッシャー情報量が何に使われるのか、標準偏差と標準
統計検定準1級の独学連載の全体目次。回・ワークブックの章・キーワードの3方向から記事を引けるインデックスです。要点まとめノートへの入口もここに置いてあり、記事が増えるたびに更新しま
統計検定準1級の独学連載・第9回は積率母関数をわかりやすく。なぜ e^(tX) という形なのか、t に何の意味があるのかを、サイコロを定義どおり手で組みながら確かめました。再生性が
統計検定準1級の独学連載・第8回は大数の法則と中心極限定理。1億人の国で2000人聞けば足りる理由を、√nの壁・母集団サイズが式に出てこない事実・1.96の正体という順で確かめまし
統計検定準1級の独学連載・第7回は標本分布。t分布・χ²分布・F分布を定義から入らず「σを知らない」「ばらつきが主役」「ばらつきの比」という3つの困りごとから導きました。裾が重い真
統計検定準1級の独学連載・第6回は連続型分布。指数・ガンマ・正規・対数正規・ベータを「データがどう作られたか(足したのか掛けたのか混ざったのか)」という一本の軸で整理しました。A/
統計検定準1級の独学連載・第5回は第5章「離散型分布」。二項分布とポアソン分布の使い分けができなかった筆者が、実務での使い分けの正体は「前の分布の前提が崩れていないか確かめて、ダメ
統計検定準1級の独学連載・第4回は変数変換とヤコビアン。身長と体重が正規分布でもBMIは歪む理由から始め、ヤコビアンが「確率の総量を1に保つための調整係数」であることを図とシミュレ
統計検定準1級の独学連載・第3回は分布の特性値。分散の公式を「2乗の平均−平均の2乗」と正しく言えるか、なぜn−1で割るのか、歪度と尖度は何のためにあるのかを、図とシミュレーション
統計検定準1級の独学連載・第2回はベイズの定理をわかりやすく。精度99%の検査で陽性でも病気の確率が50%にしかならない理由を、1万人の図解とシミュレーションで確かめます。さらにA
統計検定準1級の独学を一度挫折した人間が、生成AIを相棒に再挑戦する連載の第1回。公式ワークブックを通読したのに「何に使うのか」が頭に残らなかった理由を、テキストの構造から整理しま