数学期望
一、定义
1. 一维离散型随机变量
设离散型随机变量$X$的分布律为$P{X=x_{i}}=p_{i}.i=1,2,\cdots$，则随机变量$X$的数学期望为$\sum\limits^{\infty}{i=1}x{i}p_{i}$，记为$EX$，即$EX=\sum\limits^{\infty}{i=1}x{i}p_{i}$
推广：若离散型随机变量$X$的分布律为$P{X=x_{i}}=p_{i},i=1,2,\cdots$，$Y$是随机变量$X$的函数：$Y=g(X)$，其中$g$为连续函数，则$EY=E[g(X)]=\sum\limits^{\infty}{i=1}g(x{i})p_{i}$
2. 一维连续型随机变量
设连续型随机变量$X$的概率密度$f(x)$，则随机变量的数学期望$\int^{+\infty}{-\infty }xf(x)dx$，记为$EX$，即$EX=\int^{+\infty}{-\infty}xf(x)dx$
推广：若连续型随机变量$X$的概率密度为$f(x)$，$Y$是随机变量$X$的函数：$Y=g(X)$，其中$g$为连续函数，则$EY=\int^{+\infty}_{-\infty}g(x)f(x)dx$
例1：设$X\sim P(\lambda)$，求$EX$
$P{x=k}=\frac{\lambda^{k}}{k!}e^{-\lambda},k=0,1,2,\cdots,\lambda>0$
则
$\begin{aligned}EX&=\sum\limits^{\infty}{k=0}k\cdot \frac{\lambda^{k}}{k!}e^{-\lambda}\&=\lambda e^{-\lambda}\sum\limits^{\infty}{k=1}\frac{\lambda^{k-1}}{(k-1)!}\quad k=0\text{时，}(k-1)!\text{无意义}\&=\lambda e^{-\lambda}\sum\limits ^{\infty}{n=0}\frac{\lambda^{n}}{n!}\&\text{此处使用无穷数级}e^{x}=\sum\limits^{\infty}{n=0}\frac{x^{n}}{n}\&=\lambda e^{-\lambda}e^{\lambda}\&=\lambda\end{aligned}$
则$EX=\lambda$
例2：设$X\sim U(a,b)$，求$EX$
$f(x)=\begin{cases}\frac{1}{b-a},a<x<b\0,\text{其他}\end{cases}$
则
$\begin{aligned}EX&=\int^{+\infty}{-\infty}xf(x)dx\&=\int^{b}{a}\frac{x}{b-a}dx\&=\frac{1}{2}\frac{1}{b-a}x^{2}\Big|^{b}_{a}\&=\frac{a+b}{2}\end{aligned}$
3. 二维离散型随机变量
设$(X,Y)$为二维离散型随机变量，其分布律为$P{X=x_{i},Y=y_{i}}=p_{ij},\quad i,j =1,2,\cdots$，令$Z=g(x,y)$，则$Z$的期望为$E(Z)=E[g(X,Y)]=\sum\limits^{\infty}{j=1}\sum\limits^\infty{i=1}g(x_{i},y_{j})p_{ij}$
4. 二维连续型随机变量
设$X,Y$为二维连续型随机变量，其联合概率密度为$f(x,y)$，令$Z=g(X,Y)$，则$Z$的期望$E(Z)=E[g(X,Y)]=\int^{+\infty}{-\infty}\int^{+\infty}{-\infty}g(x,y)f(x,y)dxdy$
例3：设随机变量$(X,Y)$的概率密度为$f(x,y)=\begin{cases}\frac{3}{2x^{3}y^{2}},\frac{1}{x}<y<x,x>1\0,\text{其他}\end{cases}$，求数学期望$E(Y),E(\frac{1}{XY})$
这里$E(Y)$也可以看做是$E(Z)=E[g(X,Y)]$来计算，即$E(Y)=E(0\cdot X+Y)$
$\begin{aligned}E(Y)&=\int^{+\infty}{-\infty}\int^{+\infty}{-\infty}y\cdot f(x,y)dxdy\&=\int^{+\infty}{1}dx\int^{x}{\frac{1}{x}}y\cdot \frac{3}{2x^{3}y^{2}}dy\&=3\int^{+\infty}_{1}\frac{\ln x}{x^{3}}dx\&=\frac{3}{4}\end{aligned}$
$\begin{aligned}E(\frac{1}{XY})=\int^{+\infty}{-\infty}\int^{+\infty}{-\infty}\frac{1}{xy}f(x,y)dxdy=\int^{+\infty}{1}dx\int^{x}{\frac{1}{x}}\frac{3}{2x^{4}y^{3}}dy=\frac{3}{5}\end{aligned}$
二、性质
-
设$C$是常数，则$E(C)=C$
-
设$X$是一个随机变量，$C$是常量，则$E(CX)=CE(X)$
-
设$X,Y$是两个随机变量，则$E(X+Y)=E(X)+E(Y)$
-
设$X,Y$是相互独立的随机变量，则$E(XY)=E(X)\cdot E(Y)$
方差
一、定义
设$X$是一个随机变量，若$E{[X-E(X)]^{2}}$存在，则称$E{[X-E(X)]^{2}}$为$X$的方差，记作$D(X)$或$Var(X)$，即$D(X)=E{[X-E(X)]^{2}}$
二、公式
-
$D(X)=E{[X-E(X)]^{2}}$
-
$D(X)=E(X^{2})-[E(X)]^{2}$
推导
$\begin{aligned}E{[X-E(X)]^{2}}&=E[X^{2}-2X\cdot EX+(EX)^{2}]\&=EX^{2}-E(2X\cdot EX)+E[E(EX)^{2}]\&EX\text{是常数}\&=EX^{2}-2EX\cdot EX+(EX)^2\&=EX^{2}-(EX)^{2}\end{aligned}$
例1：设随机变量$X$服从于$(0-1)$分布，其分布律为$P{X=0}=1-p,P{X=1}=p$，求$D(X)$
| $X$ | $0$ | $1$ |
|---|---|---|
| $P$ | $1-p$ | $p$ |
$EX=0\cdot(1-p)+1\cdot p=p$
$E(X^{2})=0^{2}(1-p)+1^{2}\cdot p=p$
$\therefore DX=E(X^{2})-(EX)^{2}=p-p^{2}=p(1-p)$
例2：设随机变量$X\sim P(\lambda)$，求$D(X)$
$EX=\lambda$
$\begin{aligned}E(X^{2})&=E[X(X-1)-X]\&=E[X(X-1)]+EX\&=\sum\limits^{\infty}{k=0}k\cdot(k-1)\frac{\lambda^{k}}{k!}e^{-\lambda}+\lambda\&=\lambda^{2}e^{-\lambda}\sum\limits^{\infty}{k=2}\frac{\lambda^{k-2}}{(k-2)!}+\lambda\&\overset{k-2=n}{=}\lambda^{2}e^{-\lambda}\sum\limits^{\infty}{n=0}\frac{\lambda^{n}}{n!}+\lambda\&\text{此处利用}\sum\limits^{\infty}{n=0}\frac{\lambda^{n}}{n!}=e^\lambda\&=\lambda^{2}+\lambda\end{aligned}$
故$DX=E(X^{2})-(EX)^{2}=\lambda$
例3：设随机变量$X\sim U(a,b)$，求$D(X)$
$f(x)=\begin{cases}\frac{1}{b-a},a<x<b\0,\quad\text{其他}\end{cases}$
$E(X)=\frac{a+b}{2}$
$E(X^{2})=\int^{+\infty}{-\infty}x^{2}f(x)dx=\int^{b}{a}\frac{x^{2}}{b-a}dx=\frac{a^{2}+ab+b^{2}}{3}$
$DX=E(X^{2})-(EX)^{2}=\frac{(b-a)^{2}}{12}$
例4：设随机变量$X\sim E(\theta)$，其中$\theta>0$，求$E(X)$和$D(X)$
$f(x)=\begin{cases}\frac{1}{\theta}e^{-\frac{x}{\theta}},x>0\0,x\leq0\end{cases}$，其中$\theta>0$
$EX=\int^{+\infty}{-\infty}xf(x)dx=\int^{+\infty}{0}x\cdot \frac{e^{-\frac{x}{\theta}}}{\theta}dx=\theta$
$E(X^{2})=\int^{+\infty}{0}x^{2}\cdot \frac{e^{-\frac{x}{\theta}}}{\theta}dx=-x^{2}e^{-\frac{x}{\theta}}\Big|^{+\infty}{0}+2\theta\underbrace{\int^{+\infty}{0}x\cdot \frac{e^{-\frac{x}{\theta}}}{\theta}dx}{\text{用上面的}EX\text{的结果}}=2\theta^{2}$
则$DX=E(X^{2})-(EX)^{2}=\theta^{2}$
三、性质
-
设$C$为常数，则$D(C)=0$
-
设$X$为随机变量，$C$为常数，则$D(CX)=C^{2}D(X),D(X+C)=D(X)$
-
设$X,Y$为两个随机变量，则$D(X\pm Y)=D(X)+D(Y)\pm2Cov(X,Y)$
当$X$与$Y$互相独立时，$D(X\pm Y)=D(X)+D(Y)$
- $D(X)=0\Leftrightarrow$随机变量$X$以概率为$1$取常数$E(X)$，即$P{X=E(X)}=1$
协方差的相关系数
一、协方差
1. 定义
设随机变量$X$与$Y$，则称$E{[X-E(X)][Y-E(Y)]}$为随机变量$X$与$Y$的协方差，记作$Cov(X,Y)$
2. 公式
$Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}=E(XY)-E(X)E(Y)$
当$X$与$Y$独立时，$E(XY)=EX\cdot EY\Leftrightarrow Cov(X,Y)=0\rightarrow D(X\pm Y)=DX+DY$
3. 性质
-
$Cov(aX,bY)==abCov(X,Y)$，其中$a,b$为常数
-
$Cov(X_{1}+X_{2},Y)=Cov(X_{1},Y)+Cov(X_{2},Y)$
二、相关系数
1. 定义
已知随机变量$X$与$Y$，称$\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$为随机变量$X$与$Y$的相关系数，记作$\rho_{XY}$
2. 公式
$\begin{aligned}\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{E(XY)-EX\cdot EY}{\sqrt{D(X)}\sqrt{D(Y)}}\end{aligned}$
3. 性质
-
$-1\leq \rho_{XY}\leq1$
-
$|\rho_{XY}|=1\Leftrightarrow$存在常数$a,b$，使$P{Y=aX+b}=1$
$\begin{cases}\text{若}\rho=1,P{Y=aX+b}=1(a>0)\text{，且}X,Y\text{正相关}\\text{若}\rho=-1,P{Y=aX+b}=1(a<0)\text{，且}X,Y\text{负相关}\end{cases}$
- $|\rho_{XY}|=0\Leftrightarrow$随机变量$X$与$Y$不相关
