読者です 読者をやめる 読者になる 読者になる

野次馬エンジニア道

野次馬な気持ちでプログラミングをあれこれと綴ります

確率分布 - 二項分布とポアソン分布

とその前に、高校の数学を全部忘れてたのでメモ。markdown形式の中に数式を書くときはエスケープが必要。はてなブログでtex記法を使うときのメモの記事が参考になる。

順列・組み合わせ

{ \displaystyle
{}_n P_k = \frac{n!}{(n-k)!}
}

{ \displaystyle
{}_n C_k = \frac{n!}{(n-k)!k!}
}

{ \textstyle 0! = 1 }である。また{ \textstyle {}_n C_k = {}_n C_{n-k} }である。

二項分布 (Binomial distribution)

準備が整ったので二項分布 { \textstyle B(n,p) }

{ \displaystyle
f(x) = {}_n C_x p^{x}(1-p)^{n-x}   \quad x=0,1,\cdots, n
}

二項定理

{ \displaystyle
(a+b)^{n} =  {}_n C_0 a^0b^n + {}_n C_1 a^1b^{n-1} + {}_n C_2 a^2b^{n-2} + \cdots
+ {}_n C_{n-1} a^{n-1}b
}

{ \displaystyle
 = \sum_{x=0}^n {}_n C_x a^{x}b^{n-x}
}

ここで { \textstyle a=p, b=1-p}とすると、上の式は、 { \textstyle p+(1-p) = 1}なので

{ \displaystyle
\sum_{x=0}^n {}_n C_x p^{x}(1-p)^{n-x} = 1
}

となる。二項分布の関数が全部足すと1。

二項分布の期待値

{ \displaystyle
E[X] = \sum_{x=0}^n x\cdot{}_n C_x p^{x}(1-p)^{n-x}
}

{ \displaystyle
{}
x\cdot{}_{n} C_{x} = \frac{n!}{(n-x)!(x-1)!},  \quad {}_{n-1} C_{x-1} = \frac{(n-1)!}{(n-x)!(x-1)!}
}

となるのと、{ \textstyle x=0} のときは、足す値も { \textstyle 0} なので添え字を { \textstyle 1} からに調整し

{ \displaystyle
 = \sum_{x=1}^n n\cdot{}_{n-1} C_{x-1} p\cdot p^{x-1}(1-p)^{n-x}
}

{ \displaystyle
 = np \sum_{x=1}^n {}_{n-1} C_{x-1} p^{x-1}(1-p)^{n-x}
}

{ \displaystyle y=x-1}とおくと

{ \displaystyle
 = np \sum_{y=0}^{n-1} {}_{n-1} C_{y} p^{y}(1-p)^{n-1-y} = np
}

二項分布の分散

{ \displaystyle
V[X] = E[X^{2}] - (E[X])^2
}

を利用して求める。

{ \displaystyle
E[X^{2}] = \sum_{x=0}^n x^2\cdot{}_n C_x p^{x}(1-p)^{n-x}
}

すこし回り道をして、{ \displaystyle E[X(X-1)] = E[X^2-X] = E[X^2] - E[X] }を用いる。

{ \displaystyle
E[X(X-1)] = \sum_{x=2}^n x(x-1)\cdot{}_n C_x p^{x}(1-p)^{n-x}
}

{ \displaystyle
= n(n-1)\sum_{y=0}^{n-2} {}_{n-2} C_y p^{y+2}(1-p)^{n-2-y}
}

{ \displaystyle
= n(n-1) \cdot p^{2}\sum_{y=0}^{n-2} {}_{n-2} C_y p^{y}(1-p)^{n-2-y} = n(n-1)p^2
}

{ \displaystyle
E[X^{2}] = n(n-1)p^2 + np - (np)^2
}

元の分散の式に入れると

{ \displaystyle
V[X] = n(n-1)p^2 + np - (np)^2 = np(1-p)
}

モーメント母関数を使った方法もありそちらの方が簡単に導出できる。

ポアソン分布 (Poisson distribution)

二項分布でのpが非常に小さくかつnが大きいときを考える。かつ { \textstyle np=\lambda } を取り続けるような分布がポアソン分布。

{ \textstyle np \to \lambda}, n \to \infty, p \to 0 になる極限のときに

{ \displaystyle
{}_n C_x p^{x}(1-p)^{n-x} \to \frac{\lambda^{x}e^{-\lambda}}{x!}
}

となる(ポアソンの小数の法則)。実際に二項分布から変形してみる。

{ \displaystyle
{}_n C_x p^{x}(1-p)^{n-x} = \frac{n!}{(n-x)!x!}p^{x}(1-p)^{n-x}
}

{ \displaystyle
= \left\{n\cdot(n-1)\cdot(n-2)\cdots(n-x+1)\cdot p^{x}\right\}\frac{1}{x!}(1-p)^{n-x}
}

{ \displaystyle
= \left\{ 1\cdot \left( 1-\frac{1}{n}\right)\left( 1-\frac{2}{n}\right)\cdots\left( 1-\frac{x-1}{n}\right)\cdot (np)^{x} \right\}\frac{1}{x!}(1-p)^{n-x}
}

{ \displaystyle
= \left\{ 1\cdot \left( 1-\frac{1}{n}\right)\left( 1-\frac{2}{n}\right)\cdots\left( 1-\frac{x-1}{n}\right)\cdot (np)^{x} \right\}\frac{1}{x!}(1-p)^{n-x}
}

ここで、{ \textstyle np=\lambda }{ n \to \infty } だから

{ \displaystyle
\to \lambda^{x} \cdot \frac{1}{x!} \cdot (1-p)^{n-x}
}

さらに、{ \textstyle p=\frac{\lambda}{n} } を入れて

{ \displaystyle
(1-p)^{n-x} = \left( 1 - \frac{\lambda}{n}\right)^{n-x} =  \frac{\left(1-\frac{\lambda}{n}\right)^n}{\left(1-\frac{\lambda}{n}\right)^x}
}

{ \textstyle
e^x = \lim_{n \to \infty} \left( 1+\frac{x}{n} \right) \quad (-\infty \lt x \lt \infty)
} と { n \to \infty } のときに

{ \displaystyle
\to e^{-\lambda^{x}}
}

まとめると{ Po(\lambda)}は、{ \textstyle
\frac{\lambda^{x}e^{-\lambda}}{x!}
} となる。

ポアソン分布の期待値

二項分布のときと同様に変換すると求まる。

{ \displaystyle
E[X] = \sum_{x=0}^{\infty}x \cdot \frac{\lambda^{x}e^{-\lambda}}{x!}
}

{ \displaystyle
= \sum_{x=1}^{\infty}\frac{\lambda^{x}e^{-\lambda}}{(x-1)!}
}

{ \displaystyle
= \sum_{y=0}^{\infty}\frac{\lambda^{y+1}e^{-\lambda}}{y!}
}

{ \displaystyle
= \lambda\left( \sum_{y=0}^{\infty}\frac{\lambda^{y}}{y!}\right) e^{-\lambda}
}

ここで{ \textstyle e^{\lambda}} における{ \textstyle \lambda=0} 周りでのTayler展開は、

 { \displaystyle
e^{\lambda} = 1 + \frac{\lambda}{1!}+ \frac{\lambda}{2!}+ \cdots +\frac{\lambda}{n!} = \sum_{y=0}^{\infty}\frac{\lambda^{y}}{y!}
}

なので、

{ \displaystyle
= \lambda e^{\lambda} e^{-\lambda} = \lambda
}

ポアソン分布の分散

二項分布と同様に {\textstyle E[X(X-1)]}を求めて、最終的には{ V[X] = E[X^{2}] - (E[X])^2 }を計算する。

{ \displaystyle
V[X] = \lambda
}

ポアソン分布では期待値と分散が同じ。

長々と書いたが

もう一度二項分布の期待値と分散を見てみる。

{ \displaystyle
E[X]=np\quad V[X] = np(1-p)
}

{ n \to \infty, p \to 0 } になる極限のときに、{\textstyle np=\lambda }を入れると、確かに

{ \displaystyle
E[X]=\lambda \quad V[X] = \lambda
}

となる。