【概率统计】数学期望与大数定律

1. 数学期望

1.1. 数学期望的定义

  • 离散情形
    设离散随机变量$X$的概率分布是$p\lbrace X=x_k\rbrace = p_k,k=1,2,\cdots$,若级数$\sum_{k=1}^{\infty}x_kp_k$绝对收敛,则称此级数为离散型随机变量$X$的数学期望,记为$E(X)$,即:$$E(X)=\sum_{k=1}^{\infty}x_kp_k$$
  • 连续情形
    设连续型随机变量$X$的密度函数为$f(x)$,若积分$\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x$绝对收敛,则称此积分为$X$的数学期望,即:
    $$EX=\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x$$

1.2. 一维随机变量函数的数学期望

  • 离散情形
    设离散随机变量$X$的概率分布是$p\lbrace X=x_k\rbrace = p_k,k=1,2,\cdots,\quad Y=g(X)$,若级数$\sum_{k=1}^{\infty}g(x_k)p_k$绝对收敛,则称此级数为离散型随机变量$X$的数学期望,记为$E(X)$,即:$$E(X)=\sum_{k=1}^{\infty}g(x_k)p_k$$
  • 连续情形
    设连续型随机变量$X$的密度函数为$f(x)$,若积分$\int_{-\infty}^{+\infty}g(x)f(x)\mathrm{d}x$绝对收敛,则称此积分为$X$的数学期望,即:
    $$EX=\int_{-\infty}^{+\infty}g(x)f(x)\mathrm{d}x$$

1.3. 二维随机变量函数的数学期望

  • 离散情形
    设离散随机变量$(X,Y)$的概率分布是$p\lbrace X=x_i,Y=y_i\rbrace = p_{ij},i,j=1,2,\cdots$,则:
    $$E Z=E(g(X, Y))=\sum_{i j}^{\infty} g\left(x_{i}, y_{j}\right) \cdot p_{i j}$$
  • 连续情形
    设连续型随机变量$(X,Y)$的联合密度函数为$f(x,y)$,$Z=g(X,Y)$,则:
    $$E Z=E[g(X, Y)]=\int_{-\infty}^{+\infty} d x \int_{-\infty}^{+\infty} g(x, y) f(x, y) d y$$

1.4. 数学期望的性质

  1. 设$c$是常数,则有$E(c)=c$
  2. 设$X$是随机变量,$k$是常数,则有$E(kX)=kE(X)$
  3. 设$X,Y$是两个随机变量,则有$E(X\pm Y)=EX\pm EY$
  4. 设$X,Y$相互独立,则有$E(X,Y)=EX\cdot EY$

1.5. 方差

  • 定义
    设$X$是随机变量,若$E(X-EX)^2$存在,则称此值为$X$的方差,记为$D(X)$,称$\sqrt{D(x)}$为$X$的标准差或均方差。方差本质上是一种数学期望
  • 计算
    方差等于平方的期望减去期望的平方
    $$D(X)=EX^2-(EX)^2$$
  • 性质
    1. 设$c$是常数,则有$D(c)=0$
    2. $D(cX)=c^2DX$,且$D(aX+b)=a^2DX$
    3. 设$X,Y$相互独立,则有$D(X,Y)=DX+DY$
    4. 若$c\not=EX$,则$DX<E(X-c)^2$

1.6. 几个重要分布的数学期望及方差

  1. $X\sim B(1,p)$: $EX=p,DX=p(1-p)$
  2. $X\sim B(n,p)$: $EX=np,DX=np(1-p)$
  3. $X\sim P(\lambda)$: $EX=DX=\lambda$
  4. $X\sim U[a,b]$: $EX=\frac{a+b}{2},DX=\frac{(b-a)^2}{12}$
  5. $X\sim e(\lambda)$: $EX=\frac{1}{\lambda},DX=\frac{1}{\lambda^2}$
  6. $X\sim N(\mu,\sigma^2)$: $EX=\mu,DX=\sigma^2$

1.7. 协方差

  • 定义
    称$E(X-EX)(Y-EY)$为$X$与$Y$的协方差,记为$COV(X,Y)$。
    $$COV(X,Y)=E(XY)-EX\cdot EY$$
  • 相关系数
    $$\rho_{X Y}=\frac{C O V(X, Y)}{\sqrt{D X} \sqrt{D Y}}$$
  • 重要结论
    1. $COV(aX,bY)=abCOV(X,Y)$
    2. $COV(X+Y,Z)=COV(X,Z)+COV(Y,Z)$
    3. $D(X+Y)=D X+D Y+2 \operatorname{COV}(X, Y)=D X+D Y+2 \rho_{X Y} \sqrt{D X} \sqrt{D Y}$
  • 相关判据
    1. 当$\rho_{XY}=0$时,称$X,Y$不线性相关
    2. 当$\rho_{XY}=\pm 1$时,称$X,Y$完全线性相关
    3. 当$|\rho_{XY}|< 1$时,称$X,Y$部分相关
    4. 当$\rho_{XY}>0$时,称$X,Y$正相关;当$\rho_{XY}<0$时,称$X,Y$负相关

2. 大数定律

2.1. 契比雪夫不等式

  • 契比雪夫不等式
    若随机变量$X$有数学期望$EX$和方差$DX$,则对任意正数$\varepsilon > 0$,有:
    $$P\lbrace |X-E X| \geq \varepsilon\rbrace \leq \frac{D X}{ \varepsilon^{2}}$$
  • 证明
    $$\int_{|x-E X | \geq \varepsilon} \frac{|x-E X|^{2}}{\varepsilon^{2}} f(x) d x \leq \int_{-\infty}^{+\infty} \frac{|x-E X|^{2}}{\varepsilon^{2}} f(x) d x$$
  • 变式公式
    $$P\lbrace |X-E X| < \varepsilon\rbrace \geq \frac{D X}{ \varepsilon^{2}}$$

2.2. 契比雪夫大数定律

设$X_1,X_2,\cdots,X_n,\cdots$相互独立,且$EX_i,DX_i$均存在,且$DX_i\leq c$(c是常数),$i=1,2,\cdots,n,\cdots$,则对任意$\varepsilon > 0$,有:
$$\lim _{n \rightarrow \infty} P\lbrace\lvert\frac{1}{n} \sum_{i=1}^{n} X_{i}-\frac{1}{n} \sum_{i=1}^{n} E X_{i}\rvert<\varepsilon\rbrace=1$$

  • 推论1(独立同分布大数定理)
    设$X_1,X_2,\cdots,X_n,\cdots$独立同分布,即$EX_i=\mu,DX_i=\sigma^2,i=1,2,\cdots,n,\cdots$,则对任意$\varepsilon > 0$,有:
    $$\lim _{n \rightarrow \infty} P\lbrace\lvert\frac{1}{n} \sum_{i=1}^{n} X_{i}-\mu\rvert<\varepsilon\rbrace=1$$
  • 推论2(伯努利大数定理)
    在$n$次独立试验中,事件$A$发生的频率为$\frac{n_A}{n}$,$p$为事件$A$发生的概率,则对任意正数$\varepsilon > 0$,有:
    $$\lim _{n \rightarrow \infty} P\lbrace\lvert\frac{n_{A}}{n}-p\rvert<\varepsilon\rbrace=1$$
  • 推论3
    设$X_1,X_2,\cdots,X_n,\cdots$独立同分布,即$X_1,X_2,\cdots,X_n,\cdots$与$X$具有相同的期望与方差,则对任意$\varepsilon > 0$,有:
    $$\lim _{n \rightarrow \infty} P\lbrace\lvert\frac{1}{n} \sum_{i=1}^{n} X_{i}^{k}-E X^{k}\rvert<\varepsilon\rbrace=1$$
暂无评论

发送评论 编辑评论


|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇
隐藏
变装