統計検定準1級 確率過程 要点まとめノート【第14〜15章】
この記事の役割
確率過程(第14〜15章)の復習ノートです。連載の各回が「なぜそうなるのか」を実験しながら追う記事なのに対し、こちらは押さえるべきことだけを1ページに集めたものです。詳しい導出や検算は各回へのリンクから読んでください。
- 同じ形式のノート:確率の土台編(第1〜7章)・推測統計編(第8〜13章)・線形モデル編(第16〜21章)・多変量解析編(第22〜26章)・発展編(第27〜32章)
- 連載全体の目次は 統計検定準1級 独学記事インデックス にあります。
- 使い方:試験前は「つまずきやすいところ」の表だけを見返すのが効率的です。
- 筆者は統計の専門家ではありません。試験対策として使う場合は必ず公式テキストで確認してください。
この範囲の全体像
この2章は時間とともに動くものを扱います。第13章までが「手元にある固定したデータ」の話だったのに対し、ここでは対象が時間軸を持ちます。
全体を貫く筋は1つです。
確率過程の定義は、どれも「増分」の性質で与えられる。
第14章のマルコフ連鎖なら「1歩の推移確率」、第15章のポアソン過程なら「重ならない区間の件数が独立」、ブラウン運動なら「」。個々の時刻の分布ではなく、時刻の間の関係を決めるのが定義です。
そして問われることは、章をまたいで3種類しかありません。
| 問い | 第14章の道具 | 第15章の道具 |
|---|---|---|
| 放っておくとどうなるか | 定常分布 | 定常分布(M/M/1 なら幾何分布) |
| そこに着くまでどれくらいか | 平均到達時間・平均回帰時間 | 到着時刻の分布(ガンマ分布) |
| そもそも着けるのか | 吸収確率・再帰性 | 再帰性(次元で変わる)・破産確率 |
この2章は用語が重複します。 再帰的・一時的・定常分布・待ち行列は両方に出てきます。第14章で「状態が有限個の鎖」として学んだ概念が、第15章で「状態が無限個」「時間が連続」に拡張される形なので、同じ言葉が別の設定で再登場すると捉えるのが早いです。
もう1つ、範囲の全体で効く注意があります。確率1で起きることと、すぐ起きることは別です。1次元ランダムウォークは確率1で原点に戻りますが、平均帰還時間は無限で、10万歩歩いても約0.25%はまだ戻っていません。定常分布も「そこに落ち着く」のではなく「動き回った結果の滞在割合」でした。
章と回の対応
| 章 | 章タイトル | 対応する回 |
|---|---|---|
| 第14章 | マルコフ連鎖 | 第22回 |
| 第15章 | 確率過程の基礎 | 第23回 |
なお公開順では、この2章は線形モデル編(第16〜21章)の後に置いています。教科書の章番号とは前後しますが、確率の土台編(とくに第5回の幾何分布・ポアソン分布と第8回の極限定理)を受ける内容なので、そちらを先に読んでおくと通りがよくなります。
用語集
言葉で説明できるかを先に確認する用です。
| 章 | 用語 | 記号 | 意味 |
|---|---|---|---|
| 14 | マルコフ性 | — | 次に何が起きるかが今の状態だけで決まる。過去の経路を忘れる |
| 14 | 推移確率行列 | が から へ1歩で移る確率。各行の和が1 | |
| 14 | C-K方程式 | — | 歩の推移を途中で分解する式。有限状態なら行列の積そのもの |
| 14 | 既約 | — | どの状態からどの状態へも到達できる。往復が要求される |
| 14 | 周期 | その状態に戻れる歩数の最大公約数。1なら非周期 | |
| 14 | 再帰的 / 一時的 | — | 帰還確率が 1 / 1未満。「動くか」ではなく「戻るか」で決まる |
| 14 | 正再帰 / 零再帰 | — | 帰還確率1のうち、平均帰還時間が有限 / 無限 |
| 14 | 定常分布 | の解。方程式の解として定義される | |
| 14 | 極限分布 | — | が実際に収束した先。存在しないこともある |
| 14 | 吸収状態 | — | 入ったら出られない状態。 |
| 14 | 基本行列 | 一時的な状態の訪問回数の期待値。 は一時的状態だけの部分行列 | |
| 14 | 出生死滅過程 | — | 隣にしか動けない鎖。詳細つりあいで比を掛けるだけで解ける |
| 14 | 生成行列 | 連続時間版の推移の速度。各行の和が0(対角が負) | |
| 15 | 確率過程 | 時刻ごとに確率変数を1つ並べたもの全体。時間と状態の離散/連続で4分類 | |
| 15 | 増分 | , | 2時刻の値の差。確率過程の定義はこの増分の性質で与えられる |
| 15 | 独立増分 | — | 重ならない区間の増分が独立。マルコフ性より強い条件 |
| 15 | 定常増分 | — | 増分の分布が区間の位置によらず幅だけで決まる。実務で最初に崩れる |
| 15 | 強度・到着率 | 単位時間あたりの平均件数。推移確率と違い「率」の次元を持つ | |
| 15 | 非定常ポアソン過程 | 強度が時刻の関数。件数は強度の積分をパラメータに持つ | |
| 15 | 複合ポアソン過程 | 各到着に金額を対応させて足した過程 | |
| 15 | 過分散 | 分散÷平均 | 分散が平均を超えた状態。 が揺らぐと生じ、負の二項分布になる |
| 15 | ランダムウォーク | 独立同分布の累積和。 の分布は何でもよい | |
| 15 | ブラウン運動 | 増分の分布で定義される過程。「一個前」が存在しない | |
| 15 | 自己相似性 | — | 拡大しても見た目が変わらない。だから連続なのに微分不可能 |
| 15 | 幾何ブラウン運動 | 対数を取ると普通のブラウン運動になる過程。株価モデル | |
| 15 | マルチンゲール | 「次の期待値は今いる場所」。平均が動かない性質だけを抽出した枠組み | |
| 15 | 任意停止定理 | — | マルチンゲールを途中で止めても平均が変わらない(止め方に条件が付く) |
| 15 | リトルの法則 | 系内平均客数と平均滞在時間を到着率で結ぶ。一般性が高い |
記号の注意: が2箇所で別の意味に使われます。第14章の吸収確率では一時的な状態だけを取り出した推移確率の部分行列、連続時間マルコフ連鎖では生成行列です。前者は成分が非負で行の和が1以下、後者は対角が負で行の和がちょうど0なので、行の和と符号を見れば区別できます。
また は第15章で到着率ですが、線形モデル編では正則化パラメータでした。分野が変われば記号は使い回されます。
第14章 マルコフ連鎖
マルコフ性は条件付き確率の特殊な形
- 過去の情報は現在の状態に要約しつくされているという主張。どういう経路で来たかは次に影響しない
- ある状態に留まり続ける回数は幾何分布になる。
- 行の和は1だが、定常分布 を立式するときは列を縦に読む。「流れ込んでくる量の合計」だから
C-K方程式は有限状態なら行列の積
- 中身は「途中の時点で必ずどこかにいる」という全確率の分解。 と の差は (浮動小数点誤差のみ)で完全に同一
- 名前が付いている理由は、状態が連続なら和が積分になること。行列積はその特殊ケース
- 試験では実質「 を計算せよ」なので、行列べきだと思ってよい
状態の分類は判定対象のレベルが違う
| 用語 | 判定の対象 | 判定の仕方 |
|---|---|---|
| 既約 | 鎖全体 | どの状態からどの状態へも到達できるか(往復が必要) |
| 周期 | 状態(既約なら全体で共通) | 戻れる歩数の最大公約数。1なら非周期 |
| 再帰的 / 一時的 | 個々の状態 | 帰還確率が 1 か 1未満か |
- 再帰的(recurrent)は「再発する」、一時的(transient)は「一過性の」。 動くかどうかではなく、繰り返し訪れるか通り過ぎるだけかを見ている
- 吸収状態こそが再帰的で、活発に行き来している状態が一時的という逆転が起きる。「新規→継続→休眠→退会」の鎖では退会だけが再帰的で、残り3つは全部一時的
- 定常分布が一意で なら、0が並ぶ位置が一時的、1の位置が再帰的。分類と定常分布は同じことを言っている
- 一時的な状態は訪問回数の期待値が有限。 基本行列 で計算でき、 の行和が吸収までの平均時間(実測 対 理論 )
- 周期は最大公約数で、最小公倍数ではない。 戻れる歩数が16と24なら周期は 8(48ではない)。しかも「8歩ごとに戻れる」ではなく「戻れるのは8の倍数だけ」で、8自身には戻れない(、)
- 3歩と4歩の経路があれば で非周期。近道1本で周期は壊れる
- 既約な鎖なら、対角成分に正の値が1つでもあれば非周期。 ただし既約でないと成り立たない( は対角に1があるが周期2)
- 有限で既約な鎖は必ず正再帰的。零再帰が必要になるのは状態が無限個のときだけ
→ 第22回。
定常分布と極限分布は別物
定常分布は という方程式の解、極限分布は が実際に収束した先。
- 極限分布が存在するならそれは必ず定常分布。逆は成り立たない
- では定常分布 が一意に存在するのに、分布は と を延々と往復して収束しない
- 極限分布が無くても時間平均は定常分布に一致する(エルゴード定理)。実測 。チェザロ平均 も同じ値に収束
- ただし保証されるのは時間方向の平均だけ。固定した時刻で多数の経路を平均したものは、周期的な鎖では収束しない
- 収束するのは分布であって状態ではない。 鎖は永遠に動き続ける。40万ステップ中26.7万回状態が変わっても滞在割合は で一定
- 一意性が壊れるのは閉じたかたまりが2つ以上のときだけ。 一時的な状態があるだけなら一意(その確率が0になる)。判定は固有値1の重複度=閉じたかたまりの数
- したがって既約性は一意性の十分条件であって必要条件ではない
| 鎖の構造 | 定常分布 | 極限分布 |
|---|---|---|
| 既約かつ非周期 | 一意 | 存在し、定常分布に一致 |
| 既約だが周期的 | 一意 | 存在しない(時間平均なら一致) |
| 閉じたかたまりが2つ以上 | 無限個 | 初期分布で行き先が変わる |
| 一時的な状態を含む(閉じたかたまり1つ・非周期) | 一意(一時的な状態は0) | 存在する |
→ 第22回。
吸収確率は「行を横に読む」
- 手順は3つ。① 1歩先で場合分け ② 吸収状態の値を決め打ち ③ 内部状態について解く
- 自分自身に戻る項を右辺に残すのが最大の注意点。 を移項すると で、 側の符号がマイナスになる。ここを にすると という不可能な値が出る
- 検算は2つ。0以上1以下に入るか、両方の吸収確率を足して1になるか()
- 基本行列を使えば一発で出る。。行が出発点、列が吸収先で、各行の和が1
- 吸収状態について立式してはいけない。 で の恒等式になる。 が4状態でランク2まで落ち、残った自由度2(=閉じたかたまりの数)を境界条件で埋める必要がある
- 自体はどんな確率行列でも成り立つ(行の和が1なので全成分1のベクトルが核に入る)ので、証拠にならない。見るのはランクの落ち幅
- 自己ループは吸収確率を変えない。 比例配分で消しても のまま。ただし平均到達時間は変わる()。係数が のときだけ式が消える
定常分布と吸収確率は立式の向きが逆
| 定常分布 | 吸収確率 | |
|---|---|---|
| 式 | (行ベクトルを左から) | (列ベクトルを右から) |
| 行列の読み方 | 列を縦に読む | 行を横に読む |
| 足りない条件 | 1本捨てて を足す | 吸収状態の値を決め打ち |
- 賭博者の破産: を解くと ()、 なら
- 、 で なら 、 なら 。 1回あたり2%の差が7倍以上の差になる
- が有限ならプレイヤーの勝率は0にならない( でも )。「必ず破産」と言えるのは のとき
- 平均到達時間は同じ式に を足すだけ。 。 なら で、 なら 2500回。真ん中が最も長引く
- 平均回帰時間は で逆行列は不要(その状態が正再帰的なとき)。 なら2ステップに1回訪れるので平均間隔2
→ 第22回。
出生死滅過程・連続時間・応用
- 出生死滅過程は隣にしか動けない鎖。 詳細つりあい が使えるので、比を掛けるだけで定常分布が出る。席5席・・ で満席率
- 連続時間版は推移確率行列 の代わりに生成行列 。行の和が1から0に変わり、定常分布の式が から になる。
- 離散なら幾何分布、連続なら指数分布が「留まる時間」の分布。無記憶性を持つ分布が離散版と連続版で1つずつある
- PageRank は定常分布そのもの。 のダンピング係数 の正体は「既約かつ非周期にして極限分布の存在と一意性を保証する装置」。4ページの例で 、被リンク0のページは が下限
- 実装はべき乗法( を掛け続ける)。40回で固有ベクトル解と まで一致。「 を掛け続けると収束する」定理がそのままアルゴリズム
- HMM(Hidden Markov Model=隠れマルコフモデル)は状態が見えない場合。 第14章は状態が見える場合を扱う。観測列そのものはマルコフ連鎖にならない(直前が同じでも2つ前で 対 と変わる)。準1級では HMM は範囲外
→ 第22回。
第15章 確率過程の基礎
確率過程は4つの箱の総称
時間と状態がそれぞれ離散か連続かで4種類に分かれます。
| 状態が離散 | 状態が連続 | |
|---|---|---|
| 時間が離散 | マルコフ連鎖(第14章)/ の単純ランダムウォーク | ランダムウォーク(正規など一般の ) |
| 時間が連続 | ポアソン過程 | ブラウン運動 |
- 第14章との違いは時間の刻みと率の次元。マルコフ連鎖は「1ステップ後に動く」「推移確率 は無次元」、ポアソン過程は「指数分布に従う時間の後に動く」「推移率 は単位時間あたり」
- ポアソン過程は増える一方で後戻りしない(純出生過程)。状態があちこち行き来するマルコフ連鎖とはそこが違う
ポアソン過程の定義は3条件
- 仮定するのは① 独立増分 ② 定常増分 ③ 微小区間の確率の3つだけ。 は結論として導かれる(導出の微分方程式は準1級では深追い不要)
- 独立増分はマルコフ性より強い条件。 マルコフ性は「1つ前だけ見れば十分」、独立増分は「過去は一切関係ない」
- 定常増分: で、 に依存しない。実務では最初にここが崩れる
- での実測: の平均が 、分散が 。平均と分散が両方
- 重ならない2区間の件数の相関は実測 (独立)
- は「 で割ると0に行く量」。 より速く小さくなるので無視できる
到着間隔が指数分布になる理由は「言い換え」だけ
- と は同じ事象。 ポアソン分布に を代入するだけで、計算を1行もしていない
- での実測:間隔の平均 (理論 )、分散 (理論 )
- 第5回の無記憶性がここで独立増分の言い換えとして再登場。件/時なら で、 の実測も
ポアソン・指数・ガンマは絵が1枚しかない
同じ1本の時間軸を、どこを測るかで3つの分布が出てきます。
| 測るもの | 分布 |
|---|---|
| 区間を縦に切って件数 | ポアソン分布 Po |
| 隣り合う到着の間隔 | 指数分布 Ex |
| 原点から 件目までの時間 | ガンマ分布 Ga |
- 別々に覚える3つの分布ではなく、1枚の絵の読み方の違い
- での実測:(理論 )、(理論 )
- 形状パラメータが整数のガンマ分布はアーラン分布とも呼ばれる。名前が2つあるだけで同じもの
試験での武器がこれです。
- ガンマ分布の積分を、ポアソン分布の足し算に変換できる。 が整数なら手計算できる
- : のシミュレーション と の厳密計算 が一致
合成・分解・条件付き分布
- 合成:Po + Po は Po(実測平均 、分散 )
- 分解:Po を確率 で選別すると Po(実測平均 、分散 )。選別分と残りは独立(実測相関 )
- 選別後が独立になるのは 自体がポアソン分布で揺らぐから。 が固定値なら二項分布になり独立にならない。ポアソン分布特有の性質
- 条件付き分布:件数を知ると到着時刻は一様分布の順序統計量になる。 の条件下で は Bin(実測平均 、分散 )
- つまりポアソン過程の問題なのに答えが二項分布になる場面がある。件数を条件付けた瞬間に切り替わる
複合ポアソン過程の分散は
- 分散が ではなく なのが試験のポイント。第3回の全分散の公式から
- 件数のばらつきと金額のばらつきの両方が効く
- 実測(/月、か月): が 円(理論 )、 が 億(理論 億)
実務では定常増分と独立増分が崩れる
- 非定常ポアソン過程:強度が時刻の関数なら 。平均をならすのではなく強度を積分(面積)する
- 過分散:分散÷平均が純粋なポアソンで 、 がガンマ分布で揺らぐと 。1 から離れたら仮定が崩れているサインで、負の二項分布になる(第18回の負の二項回帰の出どころ)
- 地震の余震のように独立増分が崩れる場合は自己励起型(ホークス過程)という拡張を使う
- M/M/1: で定常状態が存在し、(幾何分布)、
- は で1人、 で4人、 で9人、 で19人。 で2倍以上。「利用率0.9はまだ1割余裕」ではなく「もう限界」
- リトルの法則 は M/M/1 に限らず成り立つ一般性の高い関係
→ 第23回。
ランダムウォークの再帰性は次元で変わる
- の分布は何でもよい。 に限らず、正規・ドリフト付きなども含む総称
- ウォークでは で、 から決まる従属量。自由なパラメータではない。実測 、、。 が 0.5 から離れるほど分散は小さい( で0)
- ポリアの定理:原点への復帰確率が次元で変わる
| 次元 | 100歩 | 1,000歩 | 10,000歩 | 100,000歩 | 極限 |
|---|---|---|---|---|---|
| 1次元 | 0.9140 | 0.9715 | 0.9922 | 0.9965 | 1(再帰的) |
| 2次元 | 0.5797 | 0.6805 | 0.7395 | 0.7802 | 1(再帰的) |
| 3次元 | 0.3038 | 0.3252 | 0.3318 | 0.3343 | 0.3405(一時的) |
- 3次元の復帰確率は (ポリアの定数)。 は原点滞在回数の期待値(グリーン関数)で、有限だから一時的
- 理屈は 級数だけ。 歩後に原点にいる確率が なので の収束・発散を見る。 発散、 発散(調和級数)、 収束。境界が にある
- 1次元は確率1で戻るが、速さは 。 歩以内に一度も戻らない確率はちょうど で、100歩()で 、10万歩で 。復帰確率は で — 10万歩でもまだ約0.25%が未復帰。「確率1」と「すぐ起きる」は別物
→ 第23回。
ブラウン運動には「一個前」が存在しない
定義は増分の分布で与えられます。① 、② 独立増分、③ 、④ 経路が連続。
- 「一個前の状態から正規分布のノイズで動く」のはランダムウォークの定義。 ブラウン運動は時間が連続なので直前の点が存在せず、漸化式で書けない
| ランダムウォーク | ブラウン運動 | |
|---|---|---|
| 定義の書き方 | 漸化式 | 増分の分布 |
| 最小単位 | ある | ない(消した極限) |
- 「分散が時間に比例」は定理ではなく定義③にそう書いてある。 増分の標準偏差の実測は幅 、、、(理論 )
- 一般形は (ドリフトとボラティリティ)。増分は
- 微分不可能なのは自己相似性のため。 幅 の増分が なので傾きは 。拡大しても直線に近づかない
「細かく切ればブラウン運動」は対称の場合に限る
- 横を細かくするだけでは足りず、縦を で割る必要がある。終点の分散(=50/500/5000)は、そのままなら (発散)、 で割ると (0に潰れる=大数の法則)、 で割ると (揃う)
- では中心化が必須。 で の平均は =100/1,000/10,000 で と 倍ずつ発散する。中心化後の分散は で安定
- 分散が になること自体は非対称でも崩れない(独立和の分散は足し算)。崩れるのは中心化を省いた収束の主張のほう
- 第8回の中心極限定理と同じ形。「 でしか精度が改善しない」と嘆いた性質が、ここでは「 で割ると形が定まる」御利益になる
- 定義としては極限のほうが定義側で、細かいランダムウォークは近似(ドンスカーの不変原理)
幾何ブラウン運動と の推定
- 対数を取ると普通のブラウン運動になる。株価が掛け算で動くから(第6回の対数正規分布)
- 推定の手順は① 対数収益率 を作る ② 標本分散を取る ③ で割る ④ 平方根
- で割り忘れると約16分の1になる。 実測:、、(真値 )。割り忘れると ( 倍)
- 正規分布のパラメータ推定ではモーメント法と最尤法が完全に一致する(検証で差ゼロ)。ただし一般には一致しない
- の出どころは伊藤の補題の第2項。第4回のイェンセンの不等式(指数関数が凸)とも繋がる
→ 第23回。
マルチンゲールは「平均が動かない」だけを抽出した枠組み
- 分布を仮定していないのが要点。「次の期待値は今いる場所」という性質だけを取り出している。 は時刻 までの情報(フィルトレーション)
- ご利益は任意停止定理。途中で止めても平均が変わらない(止め方に条件が付く)
- 破産問題が1行で解ける。 より 。実測: で 、 で 、 で 、 で
- 公平が1%崩れると勝てなくなる。 で は (理論 )— 公平なら なので9分の1。 は (理論 )
- 公平な賭けの実測:100回後の平均 、分散 (理論 100)。平均は動かないが個々の経路は 以上に暴れる
- 倍賭け戦略(マルチンゲール法)が必ず勝てないのは、資金が有限だから。平均が動かない性質は裏切れない
- 「劣」が増える側、「優」が減る側で直感と逆(関数の凸性の言葉に由来)
- 統計での使いどころは逐次検定・尤度比検定の土台・確率的勾配降下法の収束証明
伊藤の補題は範囲外
- 伊藤の補題と確率微分方程式は準1級の出題範囲外。 用語として名前を知っておけば十分
- 押さえるのは「幾何ブラウン運動の対数を取るとドリフト のブラウン運動になる」の1点だけ
- 出どころは という関係と
→ 第23回。
試験で問われる計算パターン
第14章
- 歩後の分布 … を 乗して初期分布に掛ける。C-K方程式の名前で聞かれても同じ
- 定常分布 … を列を縦に読んで立式。1本捨てて を足す。最後に に代入して検算。2状態なら「 の比=相手から来る確率の比」で暗算
- 平均回帰時間 … 。割り算1回
- 吸収確率 … に境界条件。自分に戻る項を右辺に残す。0〜1に入るか検算
- 吸収までの平均時間 … 上の式に 。または基本行列 の行和
- 状態の分類 … 既約か(一周できるか)、非周期か(既約なら対角に正の成分があるか)、再帰的か一時的か(抜け道があるか)
第15章
- ポアソン過程の件数 … に代入。件/時なら10分間に0件は 、3件以上は
- 待ち時間 … 次の1件までは指数分布で平均 (5分)、 件目まではガンマ分布で平均 (5件目まで25分)、標準偏差 ( 分)
- 無記憶性 … 「5分待った後さらに10分以上」は最初から10分と同じ
- 件数を条件付けたら二項分布 … 1時間に10件来たとき最初の20分に3件は Bin で
- ガンマの確率 … でポアソンの足し算に変換
- 複合ポアソン … 、。 を使う
- M/M/1 … を先に出し、、、。単位に注意
- の推定 … 対数収益率の標本分散を で割ってから平方根。年率か日次かを確認
- 破産確率 … なら 、そうでなければ 、
つまずきやすいところ
| よくある誤解 | 正しい理解 | 章 |
|---|---|---|
| 再帰的か一時的かは「その状態から動くか」で決まる | 「出ていったら戻ってくるか」で決まる。動かない吸収状態が再帰的で、活発に行き来する状態が一時的になる | 14 |
| バラバラに分断されていなければ既約 | 既約は往復が要求される。吸収状態があると既約でない | 14 |
| 周期は戻れる歩数の平均 | 最大公約数。整数にしかならない。3歩と4歩なら で非周期 | 14 |
| 戻れる歩数が16と24なら周期は48(最小公倍数) | 周期は 。しかも「8の倍数の歩数でしか戻れない」という意味で、8自身には戻れない | 14 |
| 対角成分に正の値があれば必ず非周期 | 既約な鎖なら成り立つ。既約でないと反例がある | 14 |
| 定常分布と極限分布は同じもの | 定常分布は方程式の解、極限分布は の収束先。極限分布があれば定常分布だが逆は成り立たない | 14 |
| 周期的な鎖には定常分布が存在しない | 既約なら定常分布は一意に存在する。存在しないのは極限分布のほう | 14 |
| 収束するとはどこかの状態に落ち着くこと | 収束するのは分布。鎖は永遠に動き続ける(40万ステップ中26.7万回状態が変わっても滞在割合は一定) | 14 |
| 既約でなければ定常分布は一意でない | 一意性が壊れるのは閉じたかたまりが2つ以上のときだけ。一時的な状態があるだけなら一意 | 14 |
| 周期的な鎖では定常分布に意味がない | 時間平均は定常分布に一致する(エルゴード定理)。ただし固定時刻での多数経路の平均は収束しない | 14 |
| 定常分布も吸収確率も同じように立式すればよい | 定常分布は列を縦に、吸収確率は行を横に読む。向きが逆 | 14 |
| 吸収状態についても方程式を立てる | で になる。 がランク落ちするので境界条件で埋める必要がある | 14 |
| は吸収状態がある証拠 | 行の和が1ならどんな確率行列でも 。見るのはランクの落ち幅 | 14 |
| 自己ループがあると吸収確率の計算が壊れる | 自己ループは吸収確率を変えない(比例配分で消しても同じ値)。壊れるのは係数が のときだけ。ただし平均到達時間は変わる | 14 |
| 平均回帰時間には逆行列が必要 | で出る。逆行列(基本行列)が必要なのは吸収がある鎖だけ | 14 |
| 利用率 が0.9なら「まだ1割余裕」 | なので 4人、9人。もう限界 | 14・15 |
| PageRank のダンピング係数0.85は経験的なチューニング | 既約かつ非周期にして極限分布の存在と一意性を保証するための細工 | 14 |
| HMM も第14章の範囲 | 第14章は状態が見える場合。HMM は準1級では範囲外。なお観測列そのものはマルコフ連鎖にならない | 14 |
| ポアソン過程はポアソン分布を仮定して作る | 3条件(独立増分・定常増分・)を仮定するだけで が導かれる | 15 |
| 独立増分はマルコフ性と同じ | 独立増分のほうが強い。マルコフ性は「1つ前だけ見れば十分」、独立増分は「過去は一切関係ない」 | 15 |
| ポアソン分布・指数分布・ガンマ分布は別々の3つ | 同じ1枚の絵の読み方の違い(件数/間隔/件目までの時間) | 15 |
| 到着間隔が指数分布になるのは導出が必要 | と が同じ事象なので、 を代入するだけ | 15 |
| ガンマ分布の確率は積分しないと出ない | が整数なら でポアソンの足し算になる | 15 |
| ポアソン過程を選別すると、片方が多ければもう片方は少ないので独立でない | 自体がポアソン分布で揺らぐので独立になる(実測相関 )。ポアソン分布特有で、 が固定値なら二項分布になり成り立たない | 15 |
| ポアソン過程の問題ならポアソン分布で答える | 件数を条件付けた瞬間に到着時刻は一様分布の順序統計量になり、部分区間の件数は二項分布 | 15 |
| 複合ポアソン過程の分散は | 。件数と金額の両方のばらつきが効く | 15 |
| が時間変動するなら平均をならせばよい | 強度を積分して | 15 |
| カウントデータならポアソン分布で扱える | 分散÷平均が1から離れたら仮定が崩れている(実測 対 )。 が揺らぐなら負の二項分布 | 15 |
| ランダムウォークは の歩みのこと | の分布は何でもよい。分布ごとに呼び名が付いているだけ | 15 |
| ウォークの1歩の分散 は自由なパラメータ | で から決まる。 が0.5から離れるほど小さく、 で0 | 15 |
| 1次元で確率1で戻るなら実用的にもすぐ戻る | 速さは でしかなく、10万歩でも約0.25%が未復帰。「確率1」と「すぐ」は別 | 15 |
| 2次元と3次元で再帰性が変わるのは飛躍がある | の収束・発散の境界が にあるだけ( が発散する事実がそのまま効く) | 15 |
| ブラウン運動は一個前の状態から正規分布のノイズで動く | それはランダムウォークの定義。ブラウン運動には「一個前」が存在せず、増分の分布で定義する | 15 |
| ブラウン運動の「分散が時間に比例」は導かれる定理 | 定義③ に最初から書いてある | 15 |
| 横に細かくすればブラウン運動になる | 縦を で割る必要がある。そのままなら発散、 で割ると0に潰れる | 15 |
| で割ればブラウン運動に収束する | 対称()に限る。 では平均が で伸びるので中心化が必須 | 15 |
| 非対称だと分散 も崩れる | 分散が になること自体は崩れない(独立和の分散は足し算)。崩れるのは中心化を省いた収束の主張 | 15 |
| ブラウン運動は連続なのだからほぼ微分できる | 幅 の増分が なので傾きが 。連続だがどこでも微分不可能 | 15 |
| は対数収益率の標本分散の平方根 | 標本分散を で割ってから平方根。割り忘れると約16分の1 | 15 |
| 教科書がモーメント法と書いているのに解説が最尤法なのは矛盾 | 正規分布のパラメータ推定では両者が完全に一致する。一般には一致しない | 15 |
| マルチンゲールは賭けの話で統計には関係ない | 分布を仮定せず平均が動かない性質だけを抽出した枠組み。逐次検定・尤度比検定・確率的勾配降下法(SGD)の収束証明に効く | 15 |
| 任意停止定理は無条件に成り立つ | 止め方に条件が付く | 15 |
| 「劣マルチンゲール」が悪い側 | 劣が増える側、優が減る側。直感と逆 | 15 |
| 倍賭け戦略なら必ず勝てる | 資金が有限なので破産する。平均が動かない性質は裏切れない | 15 |
| 1%程度の不利は大きな差にならない | で が に落ちる(9分の1) | 14・15 |
この範囲で、連載がまだ扱っていないこと
正直に書いておきます。
| 章 | 未収録の項目 |
|---|---|
| 14 | 可逆マルコフ連鎖と詳細つりあいの一般論、MCMC(メトロポリス・ヘイスティングス法、ギブスサンプリング)、混合時間と収束速度の評価、連続時間マルコフ連鎖のコルモゴロフ前進・後進方程式、HMM の前向き・後ろ向きアルゴリズムとバウム・ウェルチ法(範囲外) |
| 15 | ブラウン運動の最大値の分布・鏡像原理・初到達時刻の分布(逆ガウス分布)、ブラウン橋とオルンシュタイン=ウーレンベック過程、更新過程と更新定理、M/M/c・M/G/1 とポラチェック=ヒンチンの公式、共分散関数 、空間ポアソン過程とマーク付き点過程の一般論、伊藤の補題と確率微分方程式(範囲外) |
とくに MCMC はこの範囲の最も重要な応用です。第14章では「与えられた から定常分布 を求める」ことをしましたが、MCMC は逆向きに、欲しい を定常分布に持つ を設計するという発想で、ベイズ統計の計算がこれで回ります。発展編のベイズ法(第31章)で扱う予定です。
時系列解析(第27章)もこの範囲の直接の続きです。ホワイトノイズを積み上げると単位根過程になる、という話が今回のランダムウォークそのものです。
次
確率過程はここで一区切りです。次は多変量解析編(第22章 主成分分析)に入ります。
ここまでは「時間とともに動くもの」を追ってきましたが、次は変数が複数あるときにどう見通しをよくするかという話になります。時間軸が消えて、代わりに変数の軸が増える形です。
→ 連載の目次:統計検定準1級 独学記事インデックス
この連載は、うまくいった記録だけでなく詰まった箇所も含めて書いています。同じく準1級を目指している方、一度挫折した方の参考になれば嬉しいです。