密度が計算できてもサンプリングできない:MCMCを自作した記録【番外編】
メトロポリス法を自分で実装して、MCMCが何をする道具なのかを整理した番外編です。密度を点ごとに計算できることと、その分布から標本を生成できることは別問題でした。通常のモンテカルロ
日々のちょっとした Tips などをまとめる
メトロポリス法を自分で実装して、MCMCが何をする道具なのかを整理した番外編です。密度を点ごとに計算できることと、その分布から標本を生成できることは別問題でした。通常のモンテカルロ
統計検定準1級の発展編(第27〜32章)の要点を1ページにまとめた復習ノート。時系列の定常性と単位根・分割表のオッズ比と交絡・欠測のMCAR/MAR/MNAR・AICとBIC・ベイ
統計検定準1級の独学連載・第34回は第32章のシミュレーション。1変数の期待値では等間隔グリッドがモンテカルロ法に1億倍の精度で勝ち、次元4で逆転することを実測しました。誤差がnの
統計検定準1級の独学連載・第33回はベイズ法。信頼区間と信用区間は同じデータでほぼ一致した一方、Waldは0クリックで区間が[0,0]に潰れました。MCMCが分からずMarkov
統計検定準1級の独学連載・第32回は第30章のモデル選択。AICの罰則がパラメータ数の2倍である理由を20万回のシミュレーションで確かめると、2は「訓練誤差がkだけ甘く、新データの
統計検定準1級の独学連載・第31回は第29章の不完全データの統計処理。欠測を平均で埋めると95%信頼区間の被覆率が81.5%まで落ちることを4000回のシミュレーションで確かめまし
統計検定準1級の独学連載・第30回は第28章の分割表。同じ2×2表からリスク比とオッズ比を計算すると「どちらの改善が大きいか」の結論が逆転しました。オッズ比だけが抽出率の影響を受け
統計検定準1級の独学連載・第29回は第27章の時系列解析。互いに参照せずに作った2本のランダムウォークを回帰すると、5%であるべき棄却率が77%になりました。原因は相関が生まれるこ
統計検定準1級の多変量解析(第22〜26章)の要点を1ページにまとめた復習ノート。主成分分析と固有値問題・マハラノビス距離と判別分析・クラスター分析の連結法・因子分析と偏相関・多次
統計検定準1級の独学連載・第28回はその他の多変量解析手法。多次元尺度構成法をユークリッド距離で計算すると主成分分析と座標が小数15桁まで一致し、違いは計算ではなく「何を入力に取れ
統計検定準1級の独学連載・第27回は因子分析とグラフィカルモデル。主成分分析との違いを「相関行列を再現できるか」で確かめたら、因子分析は誤差0.000000で再現し主成分2個は0.
統計検定準1級の独学連載・第26回はクラスター分析。標準化を忘れると年齢の寄与が約770億分の1になり結果が「年収1変数だけ」の場合と完全に一致すること、同じデータで手法を変えると
統計検定準1級の独学連載・第25回は判別分析。フィッシャーの線形判別が最大化しているものが分散分析のF値と同一だと小数12桁まで確認し、判別不可能なデータで見かけの誤判別率が0.2
統計検定準1級の独学連載・第24回は主成分分析。分散を最大にする方向を0.05度刻みで総当たりしたら、最大値1329.32が分散共分散行列の最大固有値と一致しました。なぜ分散最大化
統計検定準1級の確率過程(第14〜15章)の要点を1ページにまとめた復習ノート。マルコフ連鎖の状態分類・定常分布と極限分布の違い・吸収確率の立式、ポアソン過程と指数分布・ガンマ分布
統計検定準1級の独学連載・第23回は確率過程の基礎。到着間隔が指数分布になる導出は計算を1行もしていないこと、ポアソン過程の絵が1枚しかないこと、3次元のランダムウォークは0.34
統計検定準1級の独学連載・第22回はマルコフ連鎖をわかりやすく解説します。既約・周期的・再帰的・一時的という4つの用語を、判定しているものが何かで整理しました。自分でドリルを解いて
統計検定準1級の線形モデル(第16〜21章)の要点を1ページにまとめた復習ノート。重回帰・回帰診断・質的回帰・生存時間解析と正則化・分散分析と実験計画法・標本調査法を、用語集とつま
統計検定準1級の独学連載・第21回は標本調査法。同じ400社でも層への配り方を変えると分散が86分の1になることを実測し、層別抽出とクラスター抽出の違い、ネイマン配分、設計効果、無
統計検定準1級の独学連載・第20回は分散分析と実験計画法。9個のデータで平方和78=54+24を手計算し、分散分析とダミー変数の重回帰でF値が8.223350まで一致することを確認
統計検定準1級の独学連載・第19回は生存時間解析。打ち切りを捨てると平均寿命を77%過小評価することを実測し、ハザードと密度の違い、カプラン・マイヤー推定とログランク検定、Cox回
統計検定準1級の独学連載・第18回はロジスティック回帰とオッズ比。0/1を最小二乗法で当てはめると4通りに壊れる理由、オッズ比と確率比の違い、「線形モデル」の線形がパラメータについ
統計検定準1級の独学連載・第17回は回帰診断法。1点で傾きが1.02から0.35へ崩壊する仕組みと、外れ値・てこ比・影響力の違いを整理。不均一分散が壊すのは標準誤差だけで推定値は不
統計検定準1級の独学連載・第16回は重回帰分析をわかりやすく解説します。最小二乗推定量が「平面に垂線を下ろす射影」であることを図で確認し、係数の標準誤差がどこから来るのかを4000
統計検定準1級の推測統計(第8〜13章)の要点を1ページにまとめた復習ノート。点推定・区間推定・検定の論理・正規分布の検定・ノンパラメトリック法を、用語集とつまずきポイントの表で確
統計検定準1級の独学連載・第15回はノンパラメトリック検定をわかりやすく解説します。なぜ順位に直すと分布を仮定しなくてよくなるのかを数え上げで確かめ、正規分布での保険料が5%(漸近
統計検定準1級の独学連載・第14回は適合度検定をわかりやすく整理しました。自由度がk−1−mになる理由を単体上の幾何で図解し、期待度数5以上という目安の根拠をシミュレーションで実測
統計検定準1級の独学連載・第13回はt検定の使い分けをわかりやすく整理しました。1標本・2標本・対応あり・ウェルチをフローチャートで区別し、自由度の決め方をひとつの規則にまとめ、等
統計検定準1級の独学連載・第12回は検定の基礎と検定法の導出をわかりやすく。帰無仮説を棄却する遠回りな論理の理由、ネイマン・ピアソンの補題が保証する最強力性、尤度比検定がt検定やχ
期待値の定義を積分で書いた式の意味を整理した番外編です。E[X²] は X に何かを代入するのではなく x² f(x) dx を積分するという理解、離散のΣが連続の∫に対応する仕組
統計検定準1級の独学連載・第11回は第9章の区間推定をわかりやすく。信頼区間の95%が何に付いている数字なのか、ピボット量を反転する4ステップ、プール分散とウェルチの使い分け、標本
統計検定準1級の独学連載・第10回は最尤法とフィッシャー情報量をわかりやすく。不偏推定量と一致推定量の違い、最尤法の3段の手順、フィッシャー情報量が何に使われるのか、標準偏差と標準
統計の教科書に出てくる P(X) と p(x)、f(x) と F(x)、Po(λ) の使い分けを整理した番外編です。大文字と小文字の違いは「確率変数か実現値か」と「事象の確率か関数
統計検定準1級の独学連載の全体目次。回・ワークブックの章・キーワードの3方向から記事を引けるインデックスです。要点まとめノートへの入口もここに置いてあり、記事が増えるたびに更新しま
統計検定準1級の確率の土台(第1〜7章)の要点を1ページにまとめた復習ノート。条件付き確率・分散・変数変換・離散型と連続型の分布・標本分布・母関数・極限定理を、用語集とつまずきポイ
統計検定準1級の独学連載・第9回は積率母関数をわかりやすく。なぜ e^(tX) という形なのか、t に何の意味があるのかを、サイコロを定義どおり手で組みながら確かめました。再生性が
統計検定準1級の独学連載・第8回は大数の法則と中心極限定理。1億人の国で2000人聞けば足りる理由を、√nの壁・母集団サイズが式に出てこない事実・1.96の正体という順で確かめまし
統計検定準1級の独学連載・第7回は標本分布。t分布・χ²分布・F分布を定義から入らず「σを知らない」「ばらつきが主役」「ばらつきの比」という3つの困りごとから導きました。裾が重い真
統計検定準1級の独学連載・第6回は連続型分布。指数・ガンマ・正規・対数正規・ベータを「データがどう作られたか(足したのか掛けたのか混ざったのか)」という一本の軸で整理しました。A/
統計検定準1級の独学連載・第5回は第5章「離散型分布」。二項分布とポアソン分布の使い分けができなかった筆者が、実務での使い分けの正体は「前の分布の前提が崩れていないか確かめて、ダメ
統計検定準1級の独学連載・第4回は変数変換とヤコビアン。身長と体重が正規分布でもBMIは歪む理由から始め、ヤコビアンが「確率の総量を1に保つための調整係数」であることを図とシミュレ
統計検定準1級の独学連載・第3回は分布の特性値。分散の公式を「2乗の平均−平均の2乗」と正しく言えるか、なぜn−1で割るのか、歪度と尖度は何のためにあるのかを、図とシミュレーション
統計検定準1級の独学連載・第2回はベイズの定理をわかりやすく。精度99%の検査で陽性でも病気の確率が50%にしかならない理由を、1万人の図解とシミュレーションで確かめます。さらにA
統計検定準1級の独学を一度挫折した人間が、生成AIを相棒に再挑戦する連載の第1回。公式ワークブックを通読したのに「何に使うのか」が頭に残らなかった理由を、テキストの構造から整理しま
2025年のふるさと納税で生活の質を上げませんか?還元率50%超の抱き枕「ハグモッチ」や、デザイン性の高い「ギターハサミ」など、食料品以外で本当に満足できるおすすめ返礼品をレビュー
「保有株を担保に信用取引で高配当株投資」を検討中の方へ。配当落調整金で配当が満額もらえない理由と、金利負担を含めたリアルな収支をSBI証券の例で解説します。
渋谷駅近・IKEAと同じビルにある「渋谷食堂 Ventuno Tokyo」へ土曜ランチで訪問。パンやスープ・デザート付きの良心的なランチメニューや、無農薬・手作りにこだわった料理の
ノートアプリObsidianを仕事と私生活で1ヶ月使った感想を、AAR(振り返り)形式でまとめました。気軽にアウトプットできるメリットやZettelKastenの実感、ノート運用で
ふるさと納税の限度額、シミュレーターの「目安」だけで大丈夫?総務省の計算式をもとに、上限額を自分で正確に計算する方法を具体例つきで解説します。住民税・所得税の控除の仕組みや、ワンス
テレビで話題のイタリアン「Serafina NEW YORK 赤坂店」へ休日ランチで訪問。OZmallで予約したコースの内容や店の雰囲気、価格帯を実体験ベースでレビューします。セレ
JAMstackとは何かを、JavaScript・API・Markupという構成や、静的サイト生成の仕組み、メリット・デメリットの観点からわかりやすく整理しました。モダンなWeb開