【引入】
对于二维随机变量 $(X,Y)$ ，我们除了讨论 $X$ 与 $Y$ 的数学期望和方差除外，
还需要讨论描述 $X$ 与 $Y$ 之间相互关系的数字特征。
在《数字特征：方差》方差性质3的证明中，我们已经看到，
如果两个随机变量 $X$ 与 $Y$ 是相互独立的，则 $E\{ [X-E(X)][Y-E(Y)]\} =0$
这意味着当 $E\{ [X-E(X)][Y-E(Y)]\} \neq 0$ 时， $X$ 与 $Y$ 不相互独立，而是存在一定的关系的。
【定义】
量 $E\{ [X-E(X)][Y-E(Y)]\}$ 称为随机变量 $X$ 与 $Y$ 的协方差，记为 $Cov(X,Y)$
即
$$Cov(X,Y)=E\{ [X-E(X)][Y-E(Y)]\}$$
而
$$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
称为随机变量 $X$ 与 $Y$的相关系数
由定义，即知
$$Cov(X,Y)=Cov(Y,X),\quad Cov(X,X)=D(X)$$
由上述定义及（2.5）式知道，对于任意两个随机变量 $X$ 与 $Y$ ，下列等式成立
$$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\tag{3.1}$$
将 $Coc(X,Y)$ 的定义式展开，易得
$$Cov(X,Y)=E(XY)-E(X)E(Y)\tag{3.2}$$
我们常常用这一式子计算协方差。
协方差的性质
1. $Cov(aX,bY)=abCov(X,Y),a,b是常数$
2. $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
$\rho_{XY}$ 的两条重要性质
考虑以 $X$ 的线性函数 $a+bX$ 来近似表示 $Y$ 。
我们以均方误差
$$e=E[(Y-(a+bX))^2]\qquad \qquad \qquad \qquad \qquad \qquad \qquad \qquad \quad \ $$
$$=E(Y^2)+b^2E(X^2)+a^2-2bE(XY)+2abE(X)-2aE(Y)\tag{3.3}$$
来衡量以 $a+bX$ 近似表达 $Y$ 的好坏程度。
$e$ 的值越小表示 $a+bX$ 与 $Y$ 的近似程度越好。
这样，我们就取 $a,b$ 使 $e$ 取到最小。
下面就来求最佳近似式 $a+bX$ 中的 $a,b$ 。为此，将 $e$ 分别关于 $a,b$ 求偏导数，并令它们等于零，得
$$\begin{cases}\frac{\partial e}{\partial a}=2a+2bE(X)-2E(Y)=0,\\ \frac{\partial e}{\partial b}=2bE(X^2)-2E(XY)+2aE(X)=0\end{cases}$$
解得
$$b_0=\frac{Cov(X,Y)}{D(X)}$$
$$a_0=E(Y)-b_0E(X)=E(Y)-E(X)\frac{Cov(X,Y)}{D(X)}$$
将 $a_0,b_0$ 带入（3.3）式得
$$\min_{a,b}E\{ [Y-E(a+bX)]^2\}=E\{ [Y-(a_0+b_0X)]^2\}=(1-\rho_{XY}^{2})D(Y)\tag{3.4}$$
由（3.4）式容易得到下述定理：
【定理】
1. $|\rho_{XY}|\leq 1$
2. $|\rho_{XY}|=1$ 的充要条件是，存在常数 $a,b$ 使 $P\{ Y=a+bX\}=1$
证：（省略，日后再补）
$\rho_{XY}$ 的含义
由（3.4）知，均方误差 $e$ 是 $|\rho_{XY}|$ 的严格单调减少函数，这样 $\rho_{XY}$ 的含义就很明显了。
当 $|\rho_{XY}|$ 较大时 $e$ 较小，表明 $X,Y$ （就线性关系来说）联系较紧密。
特别当 $|\rho_{XY}|=1$ 时，由定理中的2，$X,Y$ 以概率1存在着线性关系。
于是 $\rho_{XY}$ 是一个可以用来表征 $X,Y$ 之间的线性关系紧密程度的量。
当 $|\rho_{XY}|$ 较大时，我们通常说 $X,Y$ 线性相关的程度较好；
当 $|\rho_{XY}|$ 较小时，我们说，$X,Y$ 线性相关的程度较差。
当 $|\rho_{XY}|=0$ 时，称 $X,Y$ 不相关。
相关与相互独立的关系
假设随机变量 $X,Y$ 的相关系数 $\rho_{XY}$ 存在。
当 $X$ 和 $Y$ 相互独立时，由数学期望的性质4及（3.2）式知 $Cov(X,Y)=0$ ，从而 $\rho_{XY}=0$ ，即 $X,Y$ 不相关。
反之，若 $X,Y$ 不相关，$X$ 和 $Y$ 却不一定相互独立（见【例1】）。
上述情况，从“不相关”和“相互独立”的含义来看是明显的，这是因为不相关只是就线性关系来说的，而相互独立是就一般关系而言的。
不过从【例2】可以看到，当 $(X,Y)$ 服从二维正态分布时，$X$ 和 $Y$ 不相关与 $X$ 和 $Y$ 相互独立是等价的。
【例1】
设 $(X,Y)$ 的分布律为
Y\X | -2 | -2 | 1 | 2 | $P\{ Y=i\}$ |
1 | 0 | 1/4 | 1/4 | 0 | 1/2 |
4 | 1/4 | 0 | 0 | 1/4 | 1/2 |
$P\{ X=i\}$ | 1/4 | 1/4 | 1/4 | 1/4 | 1 |
易知 $E(X)=0,E(Y)=5/2,E(XY)=0$ ，于是 $\rho_{XY}=0,X,Y$不相关。
这表示 $X,Y$ 不存在线性关系，但，$P\{ X=-2,Y=1\}=0\neq P\{ X=-2,\} P\{ Y=1\}$ 知 $X,Y$ 不是相互独立的。
事实上，$X$ 和 $Y$ 具有关系：$Y=X^2$ ，$Y$ 的值完全可由 $X$ 的值所确定。
【例2】二维正态分布
