統計検定準1級 確率過程 要点まとめノート【第14〜15章】

この記事の役割

確率過程(第14〜15章)の復習ノートです。連載の各回が「なぜそうなるのか」を実験しながら追う記事なのに対し、こちらは押さえるべきことだけを1ページに集めたものです。詳しい導出や検算は各回へのリンクから読んでください。

この範囲の全体像

この2章は時間とともに動くものを扱います。第13章までが「手元にある固定したデータ」の話だったのに対し、ここでは対象が時間軸を持ちます。

全体を貫く筋は1つです。

確率過程の定義は、どれも「増分」の性質で与えられる。

第14章のマルコフ連鎖なら「1歩の推移確率」、第15章のポアソン過程なら「重ならない区間の件数が独立」、ブラウン運動なら「BtBsN(0,ts)B_t - B_s \sim N(0, t-s)」。個々の時刻の分布ではなく、時刻の間の関係を決めるのが定義です。

そして問われることは、章をまたいで3種類しかありません。

問い第14章の道具第15章の道具
放っておくとどうなるか定常分布 πP=π\pi P = \pi定常分布(M/M/1 なら幾何分布)
そこに着くまでどれくらいか平均到達時間・平均回帰時間 1/πi1/\pi_i到着時刻の分布(ガンマ分布)
そもそも着けるのか吸収確率・再帰性再帰性(次元で変わる)・破産確率

この2章は用語が重複します。 再帰的・一時的・定常分布・待ち行列は両方に出てきます。第14章で「状態が有限個の鎖」として学んだ概念が、第15章で「状態が無限個」「時間が連続」に拡張される形なので、同じ言葉が別の設定で再登場すると捉えるのが早いです。

もう1つ、範囲の全体で効く注意があります。確率1で起きることと、すぐ起きることは別です。1次元ランダムウォークは確率1で原点に戻りますが、平均帰還時間は無限で、10万歩歩いても約0.25%はまだ戻っていません。定常分布も「そこに落ち着く」のではなく「動き回った結果の滞在割合」でした。

章と回の対応

章タイトル対応する回
第14章マルコフ連鎖第22回
第15章確率過程の基礎第23回

なお公開順では、この2章は線形モデル編(第16〜21章)の後に置いています。教科書の章番号とは前後しますが、確率の土台編(とくに第5回の幾何分布・ポアソン分布と第8回の極限定理)を受ける内容なので、そちらを先に読んでおくと通りがよくなります。

用語集

言葉で説明できるかを先に確認する用です。

用語記号意味
14マルコフ性次に何が起きるかが今の状態だけで決まる。過去の経路を忘れる
14推移確率行列PPPijP_{ij}ii から jj へ1歩で移る確率。各行の和が1
14C-K方程式nn 歩の推移を途中で分解する式。有限状態なら行列の積そのもの
14既約どの状態からどの状態へも到達できる。往復が要求される
14周期ddその状態に戻れる歩数の最大公約数。1なら非周期
14再帰的 / 一時的帰還確率が 1 / 1未満。「動くか」ではなく「戻るか」で決まる
14正再帰 / 零再帰帰還確率1のうち、平均帰還時間が有限 / 無限
14定常分布π\piπP=π\pi P = \pi の解。方程式の解として定義される
14極限分布PnP^n が実際に収束した先。存在しないこともある
14吸収状態入ったら出られない状態。Pii=1P_{ii}=1
14基本行列N=(IQ)1N=(I-Q)^{-1}一時的な状態の訪問回数の期待値。QQ は一時的状態だけの部分行列
14出生死滅過程隣にしか動けない鎖。詳細つりあいで比を掛けるだけで解ける
14生成行列QQ連続時間版の推移の速度。各行の和が0(対角が負)
15確率過程{Xt}\{X_t\}時刻ごとに確率変数を1つ並べたもの全体。時間と状態の離散/連続で4分類
15増分N(t)N(s)N(t)-N(s), BtBsB_t-B_s2時刻の値の差。確率過程の定義はこの増分の性質で与えられる
15独立増分重ならない区間の増分が独立。マルコフ性より強い条件
15定常増分増分の分布が区間の位置によらず幅だけで決まる。実務で最初に崩れる
15強度・到着率λ\lambda単位時間あたりの平均件数。推移確率と違い「率」の次元を持つ
15非定常ポアソン過程λ(t)\lambda(t)強度が時刻の関数。件数は強度の積分をパラメータに持つ
15複合ポアソン過程S(t)=i=1N(t)YiS(t)=\sum_{i=1}^{N(t)} Y_i各到着に金額を対応させて足した過程
15過分散分散÷平均 >1>1分散が平均を超えた状態。λ\lambda が揺らぐと生じ、負の二項分布になる
15ランダムウォークSn=Z1++ZnS_n = Z_1+\dots+Z_n独立同分布の累積和。ZZ の分布は何でもよい
15ブラウン運動BtB_t増分の分布で定義される過程。「一個前」が存在しない
15自己相似性拡大しても見た目が変わらない。だから連続なのに微分不可能
15幾何ブラウン運動StS_t対数を取ると普通のブラウン運動になる過程。株価モデル
15マルチンゲールE[Xn+1Fn]=XnE[X_{n+1} \mid \mathcal{F}_n] = X_n「次の期待値は今いる場所」。平均が動かない性質だけを抽出した枠組み
15任意停止定理マルチンゲールを途中で止めても平均が変わらない(止め方に条件が付く)
15リトルの法則L=λWL = \lambda W系内平均客数と平均滞在時間を到着率で結ぶ。一般性が高い

記号の注意QQ が2箇所で別の意味に使われます。第14章の吸収確率では一時的な状態だけを取り出した推移確率の部分行列、連続時間マルコフ連鎖では生成行列です。前者は成分が非負で行の和が1以下、後者は対角が負で行の和がちょうど0なので、行の和と符号を見れば区別できます。

また λ\lambda は第15章で到着率ですが、線形モデル編では正則化パラメータでした。分野が変われば記号は使い回されます。

第14章 マルコフ連鎖

マルコフ性は条件付き確率の特殊な形

P(Xn+1=jXn=i,Xn1=in1,,X0=i0)=P(Xn+1=jXn=i)P(X_{n+1}=j \mid X_n=i, X_{n-1}=i_{n-1}, \dots, X_0=i_0) = P(X_{n+1}=j \mid X_n=i)
  • 過去の情報は現在の状態に要約しつくされているという主張。どういう経路で来たかは次に影響しない
  • ある状態に留まり続ける回数は幾何分布になる。Piik1(1Pii)P_{ii}^{k-1}(1-P_{ii})
  • 行の和は1だが、定常分布 πj=iπiPij\pi_j = \sum_i \pi_i P_{ij} を立式するときは列を縦に読む。「流れ込んでくる量の合計」だから

C-K方程式は有限状態なら行列の積

Pij(m+n)=kPik(m)Pkj(n)P^{(m+n)}_{ij} = \sum_k P^{(m)}_{ik} P^{(n)}_{kj}
  • 中身は「途中の時点で必ずどこかにいる」という全確率の分解P5P^5kPik(2)Pkj(3)\sum_k P^{(2)}_{ik}P^{(3)}_{kj} の差は 1.1×10161.1 \times 10^{-16}(浮動小数点誤差のみ)で完全に同一
  • 名前が付いている理由は、状態が連続なら和が積分になること。行列積はその特殊ケース
  • 試験では実質「PnP^n を計算せよ」なので、行列べきだと思ってよい

状態の分類は判定対象のレベルが違う

用語判定の対象判定の仕方
既約鎖全体どの状態からどの状態へも到達できるか(往復が必要)
周期状態(既約なら全体で共通)戻れる歩数の最大公約数。1なら非周期
再帰的 / 一時的個々の状態帰還確率が 1 か 1未満か
  • 再帰的(recurrent)は「再発する」、一時的(transient)は「一過性の」。 動くかどうかではなく、繰り返し訪れるか通り過ぎるだけかを見ている
  • 吸収状態こそが再帰的で、活発に行き来している状態が一時的という逆転が起きる。「新規→継続→休眠→退会」の鎖では退会だけが再帰的で、残り3つは全部一時的
  • 定常分布が一意で (0,0,0,1)(0,0,0,1) なら、0が並ぶ位置が一時的、1の位置が再帰的。分類と定常分布は同じことを言っている
  • 一時的な状態は訪問回数の期待値が有限。 基本行列 N=(IQ)1N=(I-Q)^{-1} で計算でき、NN の行和が吸収までの平均時間(実測 16.698±0.03016.698 \pm 0.030 対 理論 16.66716.667
  • 周期は最大公約数で、最小公倍数ではない。 戻れる歩数が16と24なら周期は 8(48ではない)。しかも「8歩ごとに戻れる」ではなく「戻れるのは8の倍数だけ」で、8自身には戻れない(P8[0,0]=0P^8[0,0]=0P16[0,0]=0.5P^{16}[0,0]=0.5
  • 3歩と4歩の経路があれば gcd(3,4)=1\gcd(3,4)=1非周期。近道1本で周期は壊れる
  • 既約な鎖なら、対角成分に正の値が1つでもあれば非周期。 ただし既約でないと成り立たない(P=(100001010)P=\begin{pmatrix}1&0&0\\0&0&1\\0&1&0\end{pmatrix} は対角に1があるが周期2)
  • 有限で既約な鎖は必ず正再帰的。零再帰が必要になるのは状態が無限個のときだけ

第22回

定常分布と極限分布は別物

定常分布は πP=π\pi P = \pi という方程式の解、極限分布は PnP^n実際に収束した先

  • 極限分布が存在するならそれは必ず定常分布。逆は成り立たない
  • P=(00.70.3100100)P = \begin{pmatrix} 0 & 0.7 & 0.3 \\ 1 & 0 & 0 \\ 1 & 0 & 0 \end{pmatrix} では定常分布 π=(0.5,0.35,0.15)\pi=(0.5, 0.35, 0.15)一意に存在するのに、分布は (1,0,0)(1,0,0)(0,0.7,0.3)(0,0.7,0.3) を延々と往復して収束しない
  • 極限分布が無くても時間平均は定常分布に一致する(エルゴード定理)。実測 (0.500,0.350,0.150)(0.500, 0.350, 0.150)。チェザロ平均 1nkPk\frac{1}{n}\sum_k P^k も同じ値に収束
  • ただし保証されるのは時間方向の平均だけ。固定した時刻で多数の経路を平均したものは、周期的な鎖では収束しない
  • 収束するのは分布であって状態ではない。 鎖は永遠に動き続ける。40万ステップ中26.7万回状態が変わっても滞在割合は (0.6668,0.3332)(0.6668, 0.3332) で一定
  • 一意性が壊れるのは閉じたかたまりが2つ以上のときだけ。 一時的な状態があるだけなら一意(その確率が0になる)。判定は固有値1の重複度=閉じたかたまりの数
  • したがって既約性は一意性の十分条件であって必要条件ではない
鎖の構造定常分布極限分布
既約かつ非周期一意存在し、定常分布に一致
既約だが周期的一意存在しない(時間平均なら一致)
閉じたかたまりが2つ以上無限個初期分布で行き先が変わる
一時的な状態を含む(閉じたかたまり1つ・非周期)一意(一時的な状態は0)存在する

第22回

吸収確率は「行を横に読む」

hi=jPijhj,h目標=1, h反対=0h_i = \sum_j P_{ij}\, h_j, \qquad h_{\text{目標}}=1,\ h_{\text{反対}}=0
  • 手順は3つ。① 1歩先で場合分け ② 吸収状態の値を決め打ち ③ 内部状態について解く
  • 自分自身に戻る項を右辺に残すのが最大の注意点。hA=0.5hA+0.3hB+0.15h_A = 0.5h_A + 0.3h_B + 0.15 を移項すると 0.5hA0.3hB=0.150.5h_A - 0.3h_B = 0.15 で、hBh_B 側の符号がマイナスになる。ここを ++ にすると hA=0.111h_A = -0.111 という不可能な値が出る
  • 検算は2つ。0以上1以下に入るか両方の吸収確率を足して1になるか0.7778+0.2222=10.7778+0.2222=1
  • 基本行列を使えば一発で出る。B=NR=(IQ)1RB = N R = (I-Q)^{-1}R。行が出発点、列が吸収先で、各行の和が1
  • 吸収状態について立式してはいけない。 h=1hh=1\cdot h0=00=0 の恒等式になる。IPI-P が4状態でランク2まで落ち、残った自由度2(=閉じたかたまりの数)を境界条件で埋める必要がある
  • det(IP)=0\det(I-P)=0 自体はどんな確率行列でも成り立つ(行の和が1なので全成分1のベクトルが核に入る)ので、証拠にならない。見るのはランクの落ち幅
  • 自己ループは吸収確率を変えない。 比例配分で消しても hA=7/9h_A=7/9 のまま。ただし平均到達時間は変わる3.3332.2223.333 \to 2.222)。係数が 1.01.0 のときだけ式が消える

定常分布と吸収確率は立式の向きが逆

定常分布吸収確率
πP=π\pi P = \pi(行ベクトルを左から)h=Phh = Ph(列ベクトルを右から)
行列の読み方列を縦に読む行を横に読む
足りない条件1本捨てて πi=1\sum \pi_i = 1 を足す吸収状態の値を決め打ち
  • 賭博者の破産ha=pha+1+qha1h_a = p\,h_{a+1} + q\,h_{a-1} を解くと ha=1ra1rNh_a = \dfrac{1-r^a}{1-r^N}r=q/pr=q/p)、p=0.5p=0.5 なら a/Na/N
  • a=50a=50N=100N=100p=0.49p=0.49 なら 0.11920.1192p=0.51p=0.51 なら 0.88080.8808 1回あたり2%の差が7倍以上の差になる
  • NN が有限ならプレイヤーの勝率は0にならない(p=0.45p=0.45 でも 4.4×1054.4\times10^{-5})。「必ず破産」と言えるのは NN \to \infty のとき
  • 平均到達時間は同じ式に +1+1 を足すだけ。 ki=1+jPijkjk_i = 1 + \sum_j P_{ij}k_jp=0.5p=0.5 なら ka=a(Na)k_a = a(N-a) で、a=50,N=100a=50,N=100 なら 2500回。真ん中が最も長引く
  • 平均回帰時間は 1/πi1/\pi_i で逆行列は不要(その状態が正再帰的なとき)。πi=0.5\pi_i=0.5 なら2ステップに1回訪れるので平均間隔2

第22回

出生死滅過程・連続時間・応用

  • 出生死滅過程は隣にしか動けない鎖。 詳細つりあい πnλn=πn+1μn+1\pi_n \lambda_n = \pi_{n+1}\mu_{n+1} が使えるので、比を掛けるだけで定常分布が出る。席5席・λ=0.8\lambda=0.8μ=1.0\mu=1.0 で満席率 0.08880.0888
  • 連続時間版は推移確率行列 PP の代わりに生成行列 QQ行の和が1から0に変わり、定常分布の式が πP=π\pi P = \pi から πQ=0\pi Q = \mathbf{0} になる。Q=limdt0(P(dt)I)/dtQ = \lim_{dt\to 0}(P(dt)-I)/dt
  • 離散なら幾何分布、連続なら指数分布が「留まる時間」の分布。無記憶性を持つ分布が離散版と連続版で1つずつある
  • PageRank は定常分布そのもの。 G=dH+(1d)11/nG = dH + (1-d)\mathbf{1}\mathbf{1}^\top/nダンピング係数 d=0.85d=0.85 の正体は「既約かつ非周期にして極限分布の存在と一意性を保証する装置」。4ページの例で (0.3725,0.1958,0.3941,0.0375)(0.3725, 0.1958, 0.3941, 0.0375)、被リンク0のページは 0.15/4=0.03750.15/4=0.0375 が下限
  • 実装はべき乗法GG を掛け続ける)。40回で固有ベクトル解と 1.5×10141.5\times10^{-14} まで一致。「PnP^n を掛け続けると収束する」定理がそのままアルゴリズム
  • HMM(Hidden Markov Model=隠れマルコフモデル)は状態が見えない場合。 第14章は状態が見える場合を扱う。観測列そのものはマルコフ連鎖にならない(直前が同じでも2つ前で 0.8370.8370.6400.640 と変わる)。準1級では HMM は範囲外

第22回

第15章 確率過程の基礎

確率過程は4つの箱の総称

時間と状態がそれぞれ離散か連続かで4種類に分かれます。

状態が離散状態が連続
時間が離散マルコフ連鎖(第14章)/±1\pm1 の単純ランダムウォークランダムウォーク(正規など一般の ZZ
時間が連続ポアソン過程ブラウン運動
  • 第14章との違いは時間の刻みと率の次元。マルコフ連鎖は「1ステップ後に動く」「推移確率 pijp_{ij} は無次元」、ポアソン過程は「指数分布に従う時間の後に動く」「推移率 λ\lambda は単位時間あたり」
  • ポアソン過程は増える一方で後戻りしない(純出生過程)。状態があちこち行き来するマルコフ連鎖とはそこが違う

ポアソン過程の定義は3条件

P(N(h)=1)=λh+o(h),P(N(h)2)=o(h)P(N(h)=1) = \lambda h + o(h), \qquad P(N(h) \ge 2) = o(h)
  • 仮定するのは① 独立増分 ② 定常増分 ③ 微小区間の確率の3つだけ。N(t)Po(λt)N(t)\sim\text{Po}(\lambda t)結論として導かれる(導出の微分方程式は準1級では深追い不要)
  • 独立増分はマルコフ性より強い条件。 マルコフ性は「1つ前だけ見れば十分」、独立増分は「過去は一切関係ない」
  • 定常増分N(t+s)N(s)Po(λt)N(t+s)-N(s) \sim \text{Po}(\lambda t) で、ss に依存しない。実務では最初にここが崩れる
  • λ=3\lambda=3 での実測:N(1),N(2),N(3)N(1),N(2),N(3) の平均が 2.9977/5.9927/8.98542.9977 / 5.9927 / 8.9854、分散が 2.9859/5.9803/8.94012.9859 / 5.9803 / 8.9401平均と分散が両方 λt\lambda t
  • 重ならない2区間の件数の相関は実測 +0.003+0.003(独立)
  • o(h)o(h) は「hh で割ると0に行く量」。hh より速く小さくなるので無視できる

到着間隔が指数分布になる理由は「言い換え」だけ

P(T1>t)=P(N(t)=0)=eλt(λt)00!=eλtP(T_1 > t) = P(N(t)=0) = \frac{e^{-\lambda t}(\lambda t)^0}{0!} = e^{-\lambda t}
  • {T1>t}\{T_1 > t\}{N(t)=0}\{N(t)=0\} は同じ事象。 ポアソン分布に k=0k=0 を代入するだけで、計算を1行もしていない
  • λ=3\lambda=3 での実測:間隔の平均 0.33450.3345(理論 1/λ=0.33331/\lambda = 0.3333)、分散 0.111030.11103(理論 1/λ2=0.111111/\lambda^2 = 0.11111
  • 第5回の無記憶性がここで独立増分の言い換えとして再登場。λ=12\lambda=12件/時なら P(T>10)=e2=0.135335P(T>10\text{分})=e^{-2}=0.135335 で、P(T>15T>5)P(T>15 \mid T>5) の実測も 0.1358780.135878

ポアソン・指数・ガンマは絵が1枚しかない

同じ1本の時間軸を、どこを測るかで3つの分布が出てきます

測るもの分布
区間を縦に切って件数ポアソン分布 Po(λt)(\lambda t)
隣り合う到着の間隔指数分布 Ex(λ)(\lambda)
原点から kk 件目までの時間ガンマ分布 Ga(k,λ)(k,\lambda)
  • 別々に覚える3つの分布ではなく、1枚の絵の読み方の違い
  • λ=3,k=3\lambda=3, k=3 での実測:E[S3]=1.00024E[S_3]=1.00024(理論 k/λ=1k/\lambda=1)、V[S3]=0.33185V[S_3]=0.33185(理論 k/λ2=0.3333k/\lambda^2=0.3333
  • 形状パラメータが整数のガンマ分布はアーラン分布とも呼ばれる。名前が2つあるだけで同じもの

試験での武器がこれです。

{Sk>t}{N(t)<k}\{S_k > t\} \quad \Longleftrightarrow \quad \{N(t) < k\}
  • ガンマ分布の積分を、ポアソン分布の足し算に変換できる。 kk が整数なら手計算できる
  • λ=3,k=3,t=1.5\lambda=3,k=3,t=1.5P(S3>1.5)P(S_3>1.5) のシミュレーション 0.173340.17334P(N(1.5)<3)=e4.5(1+4.5+4.52/2)P(N(1.5)<3)=e^{-4.5}(1+4.5+4.5^2/2) の厳密計算 0.173580.17358 が一致

合成・分解・条件付き分布

  • 合成:Po(4)(4) + Po(6)(6) は Po(10)(10)(実測平均 10.003610.0036、分散 10.029010.0290
  • 分解:Po(4)(4) を確率 0.30.3 で選別すると Po(1.2)(1.2)(実測平均 1.20041.2004、分散 1.20161.2016)。選別分と残りは独立(実測相関 0.0002-0.0002
  • 選別後が独立になるのはNN 自体がポアソン分布で揺らぐからNN が固定値なら二項分布になり独立にならない。ポアソン分布特有の性質
  • 条件付き分布:件数を知ると到着時刻は一様分布の順序統計量になる。N(1)=10N(1)=10 の条件下で N(0.5)N(0.5) は Bin(10,0.5)(10, 0.5)(実測平均 5.00035.0003、分散 2.50272.5027
  • つまりポアソン過程の問題なのに答えが二項分布になる場面がある。件数を条件付けた瞬間に切り替わる

複合ポアソン過程の分散は E[Y2]E[Y^2]

S(t)=i=1N(t)Yi,E[S(t)]=λtE[Y],V[S(t)]=λtE[Y2]S(t) = \sum_{i=1}^{N(t)} Y_i, \qquad E[S(t)] = \lambda t\, E[Y], \qquad V[S(t)] = \lambda t\, E[Y^2]
  • 分散が E[Y]2E[Y]^2 ではなく E[Y2]E[Y^2] なのが試験のポイント。第3回の全分散の公式から V[S]=E[N]V[Y]+V[N](E[Y])2=λt(V[Y]+(E[Y])2)=λtE[Y2]V[S] = E[N]V[Y] + V[N](E[Y])^2 = \lambda t(V[Y]+(E[Y])^2) = \lambda t E[Y^2]
  • 件数のばらつきと金額のばらつきの両方が効く
  • 実測(λ=1.5\lambda=1.5/月、t=10t=10か月):E[S]E[S]53,86553{,}865 円(理論 53,87553{,}875)、V[S]V[S]2.7772.777 億(理論 2.7732.773 億)

実務では定常増分と独立増分が崩れる

  • 非定常ポアソン過程:強度が時刻の関数なら N(t)Po(0tλ(u)du)N(t)\sim\text{Po}\left(\int_0^t \lambda(u)du\right)。平均をならすのではなく強度を積分(面積)する
  • 過分散:分散÷平均が純粋なポアソンで 0.98210.9821λ\lambda がガンマ分布で揺らぐと 4.03244.0324。1 から離れたら仮定が崩れているサインで、負の二項分布になる(第18回の負の二項回帰の出どころ)
  • 地震の余震のように独立増分が崩れる場合は自己励起型(ホークス過程)という拡張を使う
  • M/M/1ρ=λ/μ<1\rho=\lambda/\mu<1 で定常状態が存在し、πk=(1ρ)ρk\pi_k=(1-\rho)\rho^k(幾何分布)、L=ρ/(1ρ)L=\rho/(1-\rho)
  • LLρ=0.5\rho=0.5 で1人、0.80.8 で4人、0.90.9 で9人、0.950.95 で19人。0.80.90.8 \to 0.9 で2倍以上。「利用率0.9はまだ1割余裕」ではなく「もう限界」
  • リトルの法則 L=λWL=\lambda W は M/M/1 に限らず成り立つ一般性の高い関係

第23回

ランダムウォークの再帰性は次元で変わる

S0=0,Sn=Z1++Zn,E[Sn]=n(2p1),V[Sn]=nσ2S_0=0, \quad S_n = Z_1+\dots+Z_n, \qquad E[S_n]=n(2p-1), \quad V[S_n]=n\sigma^2
  • ZZ の分布は何でもよい±1\pm1 に限らず、正規・ドリフト付きなども含む総称
  • ±1\pm1 ウォークでは σ2=1(2p1)2=4p(1p)\sigma^2 = 1-(2p-1)^2 = 4p(1-p) で、pp から決まる従属量。自由なパラメータではない。実測 p=0.51.0000p=0.5 \to 1.00000.60.96060.6 \to 0.96060.90.36180.9 \to 0.3618pp が 0.5 から離れるほど分散は小さいp=1p=1 で0)
  • ポリアの定理:原点への復帰確率が次元で変わる
次元100歩1,000歩10,000歩100,000歩極限
1次元0.91400.97150.99220.99651(再帰的)
2次元0.57970.68050.73950.78021(再帰的)
3次元0.30380.32520.33180.33430.3405(一時的)
  • 3次元の復帰確率は 11/G=0.34051 - 1/G = 0.3405ポリアの定数)。G=1.5163860592G=1.5163860592\ldots は原点滞在回数の期待値(グリーン関数)で、有限だから一時的
  • 理屈は pp 級数だけ。nn 歩後に原点にいる確率が nd/2n^{-d/2} なので G=nd/2G = \sum n^{-d/2} の収束・発散を見る。n1/2\sum n^{-1/2} 発散、n1\sum n^{-1} 発散(調和級数)、n3/2\sum n^{-3/2} 収束。境界が d=2d=2 にある
  • 1次元は確率1で戻るが、速さは 1/πm1/\sqrt{\pi m} 2m2m 歩以内に一度も戻らない確率はちょうど (2mm)/4m\binom{2m}{m}/4^m で、100歩(m=50m=50)で 0.0795890.079589、10万歩で 0.0025230.002523復帰確率は 1(2mm)/4m1-\binom{2m}{m}/4^m0.9204110.9974770.920411 \to 0.99747710万歩でもまだ約0.25%が未復帰。「確率1」と「すぐ起きる」は別物

第23回

ブラウン運動には「一個前」が存在しない

定義は増分の分布で与えられます。① B0=0B_0=0、② 独立増分、③ BtBsN(0,ts)B_t - B_s \sim N(0, t-s)、④ 経路が連続。

  • 「一個前の状態から正規分布のノイズで動く」のはランダムウォークの定義。 ブラウン運動は時間が連続なので直前の点が存在せず、漸化式で書けない
ランダムウォークブラウン運動
定義の書き方漸化式 Sn=Sn1+ZnS_n = S_{n-1}+Z_n増分の分布 BtBsN(0,ts)B_t-B_s \sim N(0,t-s)
最小単位あるない(消した極限)
  • 「分散が時間に比例」は定理ではなく定義③にそう書いてある。 増分の標準偏差の実測は幅 10.998991 \to 0.998990.10.316270.1 \to 0.316270.010.099830.01 \to 0.099830.0010.031480.001 \to 0.03148(理論 \sqrt{\text{幅}}
  • 一般形は Xt=μt+σBtX_t = \mu t + \sigma B_t(ドリフトとボラティリティ)。増分は N(μ(ts),σ2(ts))N(\mu(t-s), \sigma^2(t-s))
  • 微分不可能なのは自己相似性のため。hh の増分が h\sqrt h なので傾きは h/h=1/h\sqrt h / h = 1/\sqrt h \to \infty。拡大しても直線に近づかない

「細かく切ればブラウン運動」は対称の場合に限る

Snn(2p1)σnB1,σ2=4pq\frac{S_n - n(2p-1)}{\sigma\sqrt{n}} \longrightarrow B_1, \qquad \sigma^2 = 4pq
  • 横を細かくするだけでは足りず、縦を n\sqrt n で割る必要がある。終点の分散(nn=50/500/5000)は、そのままなら 50.0/502.1/5006.950.0/502.1/5006.9(発散)、nn で割ると 0.0200/0.0020/0.00020.0200/0.0020/0.0002(0に潰れる=大数の法則)、n\sqrt n で割ると 0.9998/1.0042/1.00140.9998/1.0042/1.0014(揃う)
  • p0.5p \ne 0.5 では中心化が必須。 p=0.6p=0.6Sn/nS_n/\sqrt n の平均は nn=100/1,000/10,000 で +2.004/+6.324/+20.002+2.004/+6.324/+20.00210\sqrt{10} 倍ずつ発散する。中心化後の分散は 0.950/0.958/0.9670.950/0.958/0.967 で安定
  • 分散が nσ2n\sigma^2 になること自体は非対称でも崩れない(独立和の分散は足し算)。崩れるのは中心化を省いた収束の主張のほう
  • 第8回の中心極限定理と同じ形。「n\sqrt n でしか精度が改善しない」と嘆いた性質が、ここでは「n\sqrt n で割ると形が定まる」御利益になる
  • 定義としては極限のほうが定義側で、細かいランダムウォークは近似(ドンスカーの不変原理)

幾何ブラウン運動と σ\sigma の推定

St=S0exp((μσ22)t+σBt),XiN((μσ22)Δt, σ2Δt)S_t = S_0 \exp\left(\left(\mu - \frac{\sigma^2}{2}\right)t + \sigma B_t\right), \qquad X_i \sim N\left(\left(\mu-\frac{\sigma^2}{2}\right)\Delta t,\ \sigma^2 \Delta t\right)
  • 対数を取ると普通のブラウン運動になる。株価が掛け算で動くから(第6回の対数正規分布)
  • 推定の手順は① 対数収益率 Xi=log(Si/Si1)X_i = \log(S_i/S_{i-1}) を作る ② 標本分散を取る ③ Δt\Delta t で割る ④ 平方根
  • Δt\Delta t で割り忘れると約16分の1になる。 実測:s2=0.00016148s^2 = 0.00016148s2/Δt=0.040693s^2/\Delta t = 0.040693σ^=0.2017\hat\sigma = 0.2017(真値 0.200.20)。割り忘れると 0.01270.01271/252=0.063\sqrt{1/252}=0.063 倍)
  • 正規分布のパラメータ推定ではモーメント法と最尤法が完全に一致する(検証で差ゼロ)。ただし一般には一致しない
  • σ2/2-\sigma^2/2 の出どころは伊藤の補題の第2項。第4回のイェンセンの不等式(指数関数が凸)とも繋がる

第23回

マルチンゲールは「平均が動かない」だけを抽出した枠組み

E[Xn+1Fn]=XnE[X_{n+1} \mid \mathcal{F}_n] = X_n
  • 分布を仮定していないのが要点。「次の期待値は今いる場所」という性質だけを取り出している。Fn\mathcal{F}_n は時刻 nn までの情報(フィルトレーション)
  • ご利益は任意停止定理。途中で止めても平均が変わらない(止め方に条件が付く
  • 破産問題が1行で解ける。0(1P)+NP=a0\cdot(1-P) + N \cdot P = a より P=a/NP = a/N。実測:(a,N)=(1,10)(a,N)=(1,10)0.10280.1028(5,10)(5,10)0.50310.5031(9,10)(9,10)0.90050.9005(20,100)(20,100)0.19850.1985
  • 公平が1%崩れると勝てなくなる。 p=0.49p=0.49(20,100)(20,100)0.02240.0224(理論 0.02290.0229)— 公平なら 0.200.20 なので9分の1(50,100)(50,100)0.11660.1166(理論 0.11920.1192
  • 公平な賭けの実測:100回後の平均 +0.019+0.019、分散 99.899.8(理論 100)。平均は動かないが個々の経路は ±20\pm 20 以上に暴れる
  • 倍賭け戦略(マルチンゲール法)が必ず勝てないのは、資金が有限だから。平均が動かない性質は裏切れない
  • 「劣」が増える側、「優」が減る側で直感と逆(関数の凸性の言葉に由来)
  • 統計での使いどころは逐次検定・尤度比検定の土台・確率的勾配降下法の収束証明

伊藤の補題は範囲外

  • 伊藤の補題と確率微分方程式は準1級の出題範囲外。 用語として名前を知っておけば十分
  • 押さえるのは「幾何ブラウン運動の対数を取るとドリフト μσ2/2\mu - \sigma^2/2 のブラウン運動になる」の1点だけ
  • 出どころは (dBt)2=dt(dB_t)^2 = dt という関係と df(Bt)=f(Bt)dBt+12f(Bt)dtdf(B_t) = f'(B_t)dB_t + \frac{1}{2}f''(B_t)dt

第23回

試験で問われる計算パターン

第14章

  1. nn 歩後の分布PPnn 乗して初期分布に掛ける。C-K方程式の名前で聞かれても同じ
  2. 定常分布πP=π\pi P = \pi列を縦に読んで立式。1本捨てて πi=1\sum\pi_i=1 を足す。最後に πP\pi P に代入して検算。2状態なら「π\pi の比=相手から来る確率の比」で暗算
  3. 平均回帰時間1/πi1/\pi_i。割り算1回
  4. 吸収確率hi=jPijhjh_i = \sum_j P_{ij}h_j に境界条件。自分に戻る項を右辺に残す。0〜1に入るか検算
  5. 吸収までの平均時間 … 上の式に +1+1。または基本行列 NN の行和
  6. 状態の分類 … 既約か(一周できるか)、非周期か(既約なら対角に正の成分があるか)、再帰的か一時的か(抜け道があるか)

第15章

  1. ポアソン過程の件数N(t)Po(λt)N(t)\sim\text{Po}(\lambda t) に代入。λ=12\lambda=12件/時なら10分間に0件は e2=0.1353e^{-2}=0.1353、3件以上は 0.32330.3233
  2. 待ち時間 … 次の1件までは指数分布で平均 1/λ1/\lambda(5分)、kk 件目まではガンマ分布で平均 k/λk/\lambda(5件目まで25分)、標準偏差 k/λ\sqrt k/\lambda11.1811.18 分)
  3. 無記憶性 … 「5分待った後さらに10分以上」は最初から10分と同じ 0.13530.1353
  4. 件数を条件付けたら二項分布 … 1時間に10件来たとき最初の20分に3件は Bin(10,1/3)(10,1/3)0.26010.2601
  5. ガンマの確率{Sk>t}{N(t)<k}\{S_k>t\}\Leftrightarrow\{N(t)<k\} でポアソンの足し算に変換
  6. 複合ポアソンE[S]=λtE[Y]E[S]=\lambda t E[Y]V[S]=λtE[Y2]V[S]=\lambda t E[Y^2]E[Y2]E[Y^2] を使う
  7. M/M/1ρ=λ/μ\rho=\lambda/\mu を先に出し、L=ρ/(1ρ)L=\rho/(1-\rho)W=1/(μλ)W=1/(\mu-\lambda)Wq=ρ/(μλ)W_q=\rho/(\mu-\lambda)。単位に注意
  8. σ\sigma の推定 … 対数収益率の標本分散を Δt\Delta t で割ってから平方根。年率か日次かを確認
  9. 破産確率p=0.5p=0.5 なら a/Na/N、そうでなければ (1ra)/(1rN)(1-r^a)/(1-r^N)r=q/pr=q/p

つまずきやすいところ

よくある誤解正しい理解
再帰的か一時的かは「その状態から動くか」で決まる「出ていったら戻ってくるか」で決まる。動かない吸収状態が再帰的で、活発に行き来する状態が一時的になる14
バラバラに分断されていなければ既約既約は往復が要求される。吸収状態があると既約でない14
周期は戻れる歩数の平均最大公約数。整数にしかならない。3歩と4歩なら gcd(3,4)=1\gcd(3,4)=1 で非周期14
戻れる歩数が16と24なら周期は48(最小公倍数)周期は gcd(16,24)=8\gcd(16,24)=8。しかも「8の倍数の歩数でしか戻れない」という意味で、8自身には戻れない14
対角成分に正の値があれば必ず非周期既約な鎖なら成り立つ。既約でないと反例がある14
定常分布と極限分布は同じもの定常分布は方程式の解、極限分布は PnP^n の収束先。極限分布があれば定常分布だが逆は成り立たない14
周期的な鎖には定常分布が存在しない既約なら定常分布は一意に存在する。存在しないのは極限分布のほう14
収束するとはどこかの状態に落ち着くこと収束するのは分布。鎖は永遠に動き続ける(40万ステップ中26.7万回状態が変わっても滞在割合は一定)14
既約でなければ定常分布は一意でない一意性が壊れるのは閉じたかたまりが2つ以上のときだけ。一時的な状態があるだけなら一意14
周期的な鎖では定常分布に意味がない時間平均は定常分布に一致する(エルゴード定理)。ただし固定時刻での多数経路の平均は収束しない14
定常分布も吸収確率も同じように立式すればよい定常分布は列を縦に、吸収確率は行を横に読む。向きが逆14
吸収状態についても方程式を立てるh=1hh=1\cdot h0=00=0 になる。IPI-P がランク落ちするので境界条件で埋める必要がある14
det(IP)=0\det(I-P)=0 は吸収状態がある証拠行の和が1ならどんな確率行列でも det=0\det=0。見るのはランクの落ち幅14
自己ループがあると吸収確率の計算が壊れる自己ループは吸収確率を変えない(比例配分で消しても同じ値)。壊れるのは係数が 1.01.0 のときだけ。ただし平均到達時間は変わる14
平均回帰時間には逆行列が必要1/πi1/\pi_i で出る。逆行列(基本行列)が必要なのは吸収がある鎖だけ14
利用率 ρ\rho が0.9なら「まだ1割余裕」L=ρ/(1ρ)L=\rho/(1-\rho) なので 0.80.8\to4人、0.90.9\to9人。もう限界14・15
PageRank のダンピング係数0.85は経験的なチューニング既約かつ非周期にして極限分布の存在と一意性を保証するための細工14
HMM も第14章の範囲第14章は状態が見える場合。HMM は準1級では範囲外。なお観測列そのものはマルコフ連鎖にならない14
ポアソン過程はポアソン分布を仮定して作る3条件(独立増分・定常増分・λh+o(h)\lambda h + o(h))を仮定するだけで N(t)Po(λt)N(t)\sim\text{Po}(\lambda t) が導かれる15
独立増分はマルコフ性と同じ独立増分のほうが強い。マルコフ性は「1つ前だけ見れば十分」、独立増分は「過去は一切関係ない」15
ポアソン分布・指数分布・ガンマ分布は別々の3つ同じ1枚の絵の読み方の違い(件数/間隔/kk件目までの時間)15
到着間隔が指数分布になるのは導出が必要{T1>t}\{T_1>t\}{N(t)=0}\{N(t)=0\} が同じ事象なので、k=0k=0 を代入するだけ15
ガンマ分布の確率は積分しないと出ないkk が整数なら {Sk>t}{N(t)<k}\{S_k>t\}\Leftrightarrow\{N(t)<k\} でポアソンの足し算になる15
ポアソン過程を選別すると、片方が多ければもう片方は少ないので独立でないNN 自体がポアソン分布で揺らぐので独立になる(実測相関 0.0002-0.0002)。ポアソン分布特有で、NN が固定値なら二項分布になり成り立たない15
ポアソン過程の問題ならポアソン分布で答える件数を条件付けた瞬間に到着時刻は一様分布の順序統計量になり、部分区間の件数は二項分布15
複合ポアソン過程の分散は λtE[Y]2\lambda t E[Y]^2λtE[Y2]\lambda t E[Y^2]。件数と金額の両方のばらつきが効く15
λ\lambda が時間変動するなら平均をならせばよい強度を積分して N(t)Po(0tλ(u)du)N(t)\sim\text{Po}(\int_0^t\lambda(u)du)15
カウントデータならポアソン分布で扱える分散÷平均が1から離れたら仮定が崩れている(実測 0.980.984.034.03)。λ\lambda が揺らぐなら負の二項分布15
ランダムウォークは ±1\pm1 の歩みのことZZ の分布は何でもよい。分布ごとに呼び名が付いているだけ15
±1\pm1 ウォークの1歩の分散 σ2\sigma^2 は自由なパラメータσ2=4pq\sigma^2 = 4pqpp から決まる。pp が0.5から離れるほど小さく、p=1p=1 で015
1次元で確率1で戻るなら実用的にもすぐ戻る速さは 1/πm1/\sqrt{\pi m} でしかなく、10万歩でも約0.25%が未復帰。「確率1」と「すぐ」は別15
2次元と3次元で再帰性が変わるのは飛躍があるnd/2\sum n^{-d/2} の収束・発散の境界が d=2d=2 にあるだけ(1/n\sum 1/n が発散する事実がそのまま効く)15
ブラウン運動は一個前の状態から正規分布のノイズで動くそれはランダムウォークの定義。ブラウン運動には「一個前」が存在せず、増分の分布で定義する15
ブラウン運動の「分散が時間に比例」は導かれる定理定義③ BtBsN(0,ts)B_t - B_s\sim N(0,t-s) に最初から書いてある15
横に細かくすればブラウン運動になる縦を n\sqrt n で割る必要がある。そのままなら発散、nn で割ると0に潰れる15
n\sqrt n で割ればブラウン運動に収束する対称(p=0.5p=0.5)に限る。 p0.5p\ne0.5 では平均が n(2p1)n(2p-1) で伸びるので中心化が必須15
非対称だと分散 nσ2n\sigma^2 も崩れる分散が nσ2n\sigma^2 になること自体は崩れない(独立和の分散は足し算)。崩れるのは中心化を省いた収束の主張15
ブラウン運動は連続なのだからほぼ微分できるhh の増分が h\sqrt h なので傾きが 1/h1/\sqrt h\to\infty。連続だがどこでも微分不可能15
σ\sigma は対数収益率の標本分散の平方根標本分散を Δt\Delta t割ってから平方根。割り忘れると約16分の115
教科書がモーメント法と書いているのに解説が最尤法なのは矛盾正規分布のパラメータ推定では両者が完全に一致する。一般には一致しない15
マルチンゲールは賭けの話で統計には関係ない分布を仮定せず平均が動かない性質だけを抽出した枠組み。逐次検定・尤度比検定・確率的勾配降下法(SGD)の収束証明に効く15
任意停止定理は無条件に成り立つ止め方に条件が付く15
「劣マルチンゲール」が悪い側劣が増える側、優が減る側。直感と逆15
倍賭け戦略なら必ず勝てる資金が有限なので破産する。平均が動かない性質は裏切れない15
1%程度の不利は大きな差にならないa=20,N=100a=20,N=1000.200.200.02240.0224 に落ちる(9分の1)14・15

この範囲で、連載がまだ扱っていないこと

正直に書いておきます。

未収録の項目
14可逆マルコフ連鎖と詳細つりあいの一般論、MCMC(メトロポリス・ヘイスティングス法、ギブスサンプリング)、混合時間と収束速度の評価、連続時間マルコフ連鎖のコルモゴロフ前進・後進方程式、HMM の前向き・後ろ向きアルゴリズムとバウム・ウェルチ法(範囲外)
15ブラウン運動の最大値の分布・鏡像原理・初到達時刻の分布(逆ガウス分布)、ブラウン橋とオルンシュタイン=ウーレンベック過程、更新過程と更新定理、M/M/c・M/G/1 とポラチェック=ヒンチンの公式、共分散関数 Cov(Bs,Bt)=min(s,t)\text{Cov}(B_s,B_t)=\min(s,t)、空間ポアソン過程とマーク付き点過程の一般論、伊藤の補題と確率微分方程式(範囲外)

とくに MCMC はこの範囲の最も重要な応用です。第14章では「与えられた PP から定常分布 π\pi を求める」ことをしましたが、MCMC は逆向きに、欲しい π\pi を定常分布に持つ PP を設計するという発想で、ベイズ統計の計算がこれで回ります。発展編のベイズ法(第31章)で扱う予定です。

時系列解析(第27章)もこの範囲の直接の続きです。ホワイトノイズを積み上げると単位根過程になる、という話が今回のランダムウォークそのものです。

確率過程はここで一区切りです。次は多変量解析編(第22章 主成分分析)に入ります。

ここまでは「時間とともに動くもの」を追ってきましたが、次は変数が複数あるときにどう見通しをよくするかという話になります。時間軸が消えて、代わりに変数の軸が増える形です。

→ 連載の目次:統計検定準1級 独学記事インデックス


この連載は、うまくいった記録だけでなく詰まった箇所も含めて書いています。同じく準1級を目指している方、一度挫折した方の参考になれば嬉しいです。