1. 数学期望

1.1. 数学期望的定义

• 离散情形
  设离散随机变量$X$的概率分布是$p\lbrace X=x_k\rbrace = p_k,k=1,2,\cdots$，若级数$\sum_{k=1}^{\infty}x_kp_k$绝对收敛，则称此级数为离散型随机变量$X$的数学期望，记为$E(X)$，即：$$E(X)=\sum_{k=1}^{\infty}x_kp_k$$
• 连续情形
  设连续型随机变量$X$的密度函数为$f(x)$，若积分$\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x$绝对收敛，则称此积分为$X$的数学期望，即:
  $$EX=\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x$$

1.2. 一维随机变量函数的数学期望

• 离散情形
  设离散随机变量$X$的概率分布是$p\lbrace X=x_k\rbrace = p_k,k=1,2,\cdots,\quad Y=g(X)$，若级数$\sum_{k=1}^{\infty}g(x_k)p_k$绝对收敛，则称此级数为离散型随机变量$X$的数学期望，记为$E(X)$，即：$$E(X)=\sum_{k=1}^{\infty}g(x_k)p_k$$
• 连续情形
  设连续型随机变量$X$的密度函数为$f(x)$，若积分$\int_{-\infty}^{+\infty}g(x)f(x)\mathrm{d}x$绝对收敛，则称此积分为$X$的数学期望，即:
  $$EX=\int_{-\infty}^{+\infty}g(x)f(x)\mathrm{d}x$$

1.3. 二维随机变量函数的数学期望

• 离散情形
  设离散随机变量$(X,Y)$的概率分布是$p\lbrace X=x_i,Y=y_i\rbrace = p_{ij},i,j=1,2,\cdots$，则:
  $$E Z=E(g(X, Y))=\sum_{i j}^{\infty} g\left(x_{i}, y_{j}\right) \cdot p_{i j}$$
• 连续情形
  设连续型随机变量$(X,Y)$的联合密度函数为$f(x,y)$，$Z=g(X,Y)$，则:
  $$E Z=E[g(X, Y)]=\int_{-\infty}^{+\infty} d x \int_{-\infty}^{+\infty} g(x, y) f(x, y) d y$$

1.4. 数学期望的性质

1. 设$c$是常数，则有$E(c)=c$
2. 设$X$是随机变量，$k$是常数，则有$E(kX)=kE(X)$
3. 设$X,Y$是两个随机变量，则有$E(X\pm Y)=EX\pm EY$
4. 设$X,Y$相互独立，则有$E(X,Y)=EX\cdot EY$

1.5. 方差

• 定义
  设$X$是随机变量，若$E(X-EX)^2$存在，则称此值为$X$的方差，记为$D(X)$，称$\sqrt{D(x)}$为$X$的标准差或均方差。方差本质上是一种数学期望。
• 计算
  方差等于平方的期望减去期望的平方
  $$D(X)=EX^2-(EX)^2$$
• 性质
  1. 设$c$是常数，则有$D(c)=0$
  2. $D(cX)=c^2DX$，且$D(aX+b)=a^2DX$
  3. 设$X,Y$相互独立，则有$D(X,Y)=DX+DY$
  4. 若$c\not=EX$，则$DX<E(X-c)^2$

1.6. 几个重要分布的数学期望及方差

1. $X\sim B(1,p)$: $EX=p,DX=p(1-p)$
2. $X\sim B(n,p)$: $EX=np,DX=np(1-p)$
3. $X\sim P(\lambda)$: $EX=DX=\lambda$
4. $X\sim U[a,b]$: $EX=\frac{a+b}{2},DX=\frac{(b-a)^2}{12}$
5. $X\sim e(\lambda)$: $EX=\frac{1}{\lambda},DX=\frac{1}{\lambda^2}$
6. $X\sim N(\mu,\sigma^2)$: $EX=\mu,DX=\sigma^2$

1.7. 协方差

• 定义
  称$E(X-EX)(Y-EY)$为$X$与$Y$的协方差，记为$COV(X,Y)$。
  $$COV(X,Y)=E(XY)-EX\cdot EY$$
• 相关系数
  $$\rho_{X Y}=\frac{C O V(X, Y)}{\sqrt{D X} \sqrt{D Y}}$$
• 重要结论
  1. $COV(aX,bY)=abCOV(X,Y)$
  2. $COV(X+Y,Z)=COV(X,Z)+COV(Y,Z)$
  3. $D(X+Y)=D X+D Y+2 \operatorname{COV}(X, Y)=D X+D Y+2 \rho_{X Y} \sqrt{D X} \sqrt{D Y}$
• 相关判据
  1. 当$\rho_{XY}=0$时，称$X,Y$不线性相关
  2. 当$\rho_{XY}=\pm 1$时，称$X,Y$完全线性相关
  3. 当$|\rho_{XY}|< 1$时，称$X,Y$部分相关
  4. 当$\rho_{XY}>0$时，称$X,Y$正相关；当$\rho_{XY}<0$时，称$X,Y$负相关

2. 大数定律

2.1. 契比雪夫不等式

• 契比雪夫不等式
  若随机变量$X$有数学期望$EX$和方差$DX$，则对任意正数$\varepsilon > 0$，有:
  $$P\lbrace |X-E X| \geq \varepsilon\rbrace \leq \frac{D X}{ \varepsilon^{2}}$$
• 证明
  $$\int_{|x-E X | \geq \varepsilon} \frac{|x-E X|^{2}}{\varepsilon^{2}} f(x) d x \leq \int_{-\infty}^{+\infty} \frac{|x-E X|^{2}}{\varepsilon^{2}} f(x) d x$$
• 变式公式
  $$P\lbrace |X-E X| < \varepsilon\rbrace \geq \frac{D X}{ \varepsilon^{2}}$$

2.2. 契比雪夫大数定律

设$X_1,X_2,\cdots,X_n,\cdots$相互独立，且$EX_i,DX_i$均存在，且$DX_i\leq c$（c是常数），$i=1,2,\cdots,n,\cdots$，则对任意$\varepsilon > 0$，有:
$$\lim _{n \rightarrow \infty} P\lbrace\lvert\frac{1}{n} \sum_{i=1}^{n} X_{i}-\frac{1}{n} \sum_{i=1}^{n} E X_{i}\rvert<\varepsilon\rbrace=1$$

• 推论1（独立同分布大数定理）
  设$X_1,X_2,\cdots,X_n,\cdots$独立同分布，即$EX_i=\mu,DX_i=\sigma^2,i=1,2,\cdots,n,\cdots$，则对任意$\varepsilon > 0$，有:
  $$\lim _{n \rightarrow \infty} P\lbrace\lvert\frac{1}{n} \sum_{i=1}^{n} X_{i}-\mu\rvert<\varepsilon\rbrace=1$$
• 推论2（伯努利大数定理）
  在$n$次独立试验中，事件$A$发生的频率为$\frac{n_A}{n}$，$p$为事件$A$发生的概率，则对任意正数$\varepsilon > 0$，有:
  $$\lim _{n \rightarrow \infty} P\lbrace\lvert\frac{n_{A}}{n}-p\rvert<\varepsilon\rbrace=1$$
• 推论3
  设$X_1,X_2,\cdots,X_n,\cdots$独立同分布，即$X_1,X_2,\cdots,X_n,\cdots$与$X$具有相同的期望与方差，则对任意$\varepsilon > 0$，有:
  $$\lim _{n \rightarrow \infty} P\lbrace\lvert\frac{1}{n} \sum_{i=1}^{n} X_{i}^{k}-E X^{k}\rvert<\varepsilon\rbrace=1$$