jinchao/thejinchao.github.io

Fork 0

Files

T

jinchao f7916e62ec 更新文章

2025-02-22 22:42:02 +08:00

4.6 KiB

Raw Blame History

概率

1.随机变量

1.1 离散随机变量

比如扔一个质地均匀的色子，产生的结果就是一个离散随机变量，$X={1,2,3,4,5,6}$，离散随机变量中的每一个可能的值$x_i$都对应一个概率$p_i$，对于扔色子这个例子，p_i=1/6,所有离散随机数值$x_i$的概率之和为 \sum{p_i}=1

1.2 连续随机变量

计算机中产生一个[0,1]之间的随机函数rand()，在不考虑浮点数精度时，就是一个连续的随机变量X

2. 概率分布函数(CDF)

2.1 定义

衡量一个随机数的概率分布规律的两个重要函数，概率分布函数(cumulative distribution function)用来定义概率累计的结果


F_X(x)=P(X\leqslant x)

其中函数$P$表示某事件发生的概率，也就是说$F_X(x)$表示随机变量$X$小于$x$的概率

2.2 举例

比如对于一个在[a,b]之间概率均匀分布的随机变量X


F_X(x)=\begin{cases} 
0 &  {x < a} \\
\dfrac{x-a}{b-a} & {a\leqslant  x < b}\\
1 & {b\leqslant x}
\end{cases}

特别的，一个在[0,1]之间均匀分布的随机变量$U$的概率分布函数


F_U(x)=\begin{cases} 
0 &  {x < 0} \\
x & {0\leqslant  x < 1}\\
1 & {1\leqslant x}
\end{cases}

2.3 特性

0\leq F(x)\leq 1
$F_X(x)$为单调上升的右连续函数
\displaystyle\lim_{x \to -\infty}{ F(x)=0} , \lim_{x \to +\infty}{ F(x)=1}
P(a < x\leqslant b)=F(b)-F(a)

3. 概率密度函数(PDF)

3.1 定义

对于连续性随机变量，其概率分布函数$F_X(x)$可以表达成函数$f_X(x)$的积分


F_X(x)=\int_{-\infty}^{x}f_X(u)du

称$f_X(x)$为随机变量$X$的概率密度函数，可以理解为随机变量$X$出现在区间$[x,x+dx]$之间的概率为f_X(x)dx

3.2 特性

f_X(x)=\dfrac{d}{dx}F_X(x)
f_X(x)\geqslant 0, \forall x\in \mathbb{R}
\displaystyle P(a < x \leqslant b)=\int_a^{b}f_X(u)du
\displaystyle\int_{-\infty}^{+\infty}f_X(u)du=1

3.3 举例

对于均匀分布在[a,b]之间的随机变量$U$，有


f_U(x)=\begin{cases} 
1/(b-a) & {a\leqslant  x \leqslant b} \\
0 & {\text{otherwise}}
\end{cases}

正态分布


f(x)=\dfrac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}, -\infty< x < +\infty

4. 期望值

4.1 定义

对于离散随机变量，定义期望值


E[X]=\sum{x_i p_i}

对于连续型随机变量，定义期望值


E[X]=\int_{-\infty}^{+\infty}xf_X(x)dx

比如对于扔色子的结果


E[X]=\frac{1}{6}(1+2+3+4+5+6)=3.5

对于标准正态分布


E[X]=0

4.2 特性

如果$c$是常量，那么

E[X+c]=E[X]+c
E[cX]=cE[X]
E[X+Y]=E[X]+E[Y]

5. 大数定理

对于随机变量$X$，获取其序列值$X_1,X_2,...X_n$，当$n\rightarrow\infty$时，其平均值趋近于期望值E(X)


P(\displaystyle\lim_{n\rightarrow+\infty}\dfrac{1}{n}(X_1+X_2+\cdots+X_n)=E[X])=1

6. 蒙特卡洛积分法

6.1 定义

想求一个函数$g(x)$在[a,b]区间的定积分


I=\displaystyle\int_{a}^{b}g(x)dx

定义一个随机数序列${X_i}$，$X_i$在[a,b]区间的概率密度函数为f_X,定义


g'(x)=\dfrac{g(x)}{f_X(x)}

那么序列${g'(X_i)}$也是一组随机数序列，其期望值


E[g'(X_i)]=\int_{a}^{b}g'(x)f_X(x)dx=\int_{a}^{b}g(x)dx=I

根据大数定理


E[g'(X_i)]=\lim_{n\rightarrow+\infty}\dfrac{1}{n}\sum_{i=1}^{n}g'(X_i)

所以


\displaystyle\int_{a}^{b}g(x)dx\approx\dfrac{1}{N}\sum_{i=1}^{N}\dfrac{g(X_i)}{f_X(X_i)}

6.2举例

比如需要计算


I=\int_{0}^{2}x^2dx=\dfrac{8}{3}

设随机变量$X$在[0,2]区间均匀分布，那么f_X=1/2,那么


I\approx\dfrac{1}{N}\sum_{i=1}^{N}2X_i^2

用Mathmatica模拟

7. 采样函数

计算机中生成的随机数一般是概率均匀分布的随机变量，一般用$\xi$表示均匀分布在[0,1]之间的随机变量，如果一个随机变量$X$的概率密度函数为$f_X$，概率分布函数为$F_X$，那么产生随机变量$X$的采样函数为概率分布函数的反函数


F_X^{-1}(\xi)

7.1 证明

随机变量$\xi$有一个很重要的特性


P(\xi\leqslant a)=a

随机变量的概率的分布函数$F_X$肯定是单调递增函数，所以它的反函数也一定是单调递增函数，所以 $$\begin{split} P(F_X^{-1}(\xi)\leqslant x)&=P(F_X(F_X^{-1}(\xi))\leqslant F_X(x))\ &=P(\xi\leqslant F_X(x))\ &=F_X(x) \end{split}$$

7.2 举例

比如想产生一个随机点，均匀分布在一个半径为R的圆内，设产生的随机点的极坐标为$(\rho,\theta)$，那么$\rho$的概率分布函数


F_\rho(r)=P(\rho\leqslant r)=r^2/R^2 \\

所以产生随机点的采样函数为 $$\begin{split} \rho&=F_\rho^{-1}(\xi_\rho)=R\sqrt{\xi_\rho} \ \theta&=2\pi\xi_\theta \end{split}$$

4.6 KiB Raw Blame History

概率