两个随机变量的概念立即可以扩展到n个随机变量,下面就是n个随机变量空间的定义。

定义1:考虑一个随机试验,其样本空间为C,随机变量Xi给每个元素c∈C只分配一个值Xi(c)=xi,i=1,2,…,n,我们说(X1,…,Xn) 是一个n维随机向量,这个随机向量的空间就是有序n元D={(x1,x2,…,xn):x1=X1(c),…,xn=Xn(c),c∈C} 的集合。进一步,令A是空间D的子集,则P[(X1,…,Xn)∈A]=P(C),其中C={c:c∈C,(X1(c),X2(c),…,Xn(c))∈A}。

本篇文章我们将使用向量符号。例如我们用n维列向量X表示(X1,…,Xn)′,x表示随机变量的观测值(x1,…,xn)′,联合cdf定义为


FX(x)=P[X1≤x1,…,Xn≤xn]

n个随机变量X1,X2,…,Xn是离散型或者连续性,其联合cdf为


FX(x)=∑w1≤x1,…,wn≤xn∑p(w1,…,wn)

或者


FX(x)=∫w1≤x1,…,wn≤xn∫f(w1,…,wn)dw1⋯dwn

对于连续情况


∂n∂x1⋯∂xnFX(x)=f(x)

同样的扩展联合pdf的定义,可以看出如果(a)函数f有定义且其参数的所有值均为正,(b)其在参数上所有值的积分为1,那么该函数基本满足成为pdf的条件。同样的如果(a) 函数p有定义且其参数上所有值均为正,(b)其在参数上所有值的求和为1,那么该函数基本满足成为pmf的条件。与之前的文章一样,有时为了方便我们说随机向量的支撑集,对于离散情况,就是在D中的所有点均有正的质量,而对于连续情况,就是D中所有点都能嵌入到正概率的开集中,我们将用S表示支撑集。

例1:令


f(x,y,z)={e−(x+y+z)00<x,y,z<∞elsewhere


随机变量X,Y,Z的pdf,那么X,Y,Z的分布函数为


F(x,y,z)=P(X≤x,Y≤y,Z≤z)=∫z0∫y0∫x0e−u−v−wdudvdw=(1−e−x)(1−e−y)(1−e−z),0≤x,y,z≤∞

其他地方等于零。

令(X1,X2,…,Xn)是随机向量,对某个函数u使得Y=u(X1,X2,…,Xn),与二元变量一样,对连续型,如果n重积分

∫∞−∞⋯∫∞−∞|u(x1,x2,…,xn)|f(x1,x2,…,xn)dx1dx2⋯dxn

存在,那么随机变量的期望存在。对离散型,如果n重和

∑xn⋯∑x1|u(x1,x2,…,xn)|f(x1,x2,…,xn)

存在,那么随机变量的期望存在。如果Y的期望值存在,那么对连续型,其等于

E(Y)=∫∞−∞⋯∫∞−∞u(x1,x2,…,xn)f(x1,x2,…,xn)dx1dx2⋯dxn

对离散型,其等于


E(Y)=∑xn⋯∑x1|u(x1,x2,…,xn)|f(x1,x2,…,xn)

前面讨论的期望值性质对n维情况也成立。特别地,E是一个线性运算,即如果Yj=uj(X1,…,Xn),j=1,…,m且每个E(Yi)存在,那么


E⎡⎣∑j=1mkjYj⎤⎦=∑j=1nkjE[Yj]

其中k1,…,km是常数。

接下来我们讨论n个随机变量的边缘与条件概率密度函数的概念,之前所有的定义可以直接推广到n个变量的情况。令随机变量X1,X2,…,Xn是连续型的,且联合pdf为f(x1,x2,…,xn),与两个变量的情况类似,对任意b我们有

FX1(b)=P(X1<b)=∫b−∞f1(x1)dx1

其中f1(x1)为n−1元积分


f1(x1)=∫∞−∞⋯∫∞−∞f(x1,x2,…,xn)dx2⋯dxn

因此f1(x1)是随机变量X1的pdf,f1(x1)称为X1的边缘pdf,X2,…,Xn的边缘概率密度函数f2(x2),…,fn(xn)分别为相似的n−1元积分。

目前为止,每个边缘pdf有一个单随机变量的pdf,这就很方便将其扩展到联合概率密度函数。令f(x1,x2,…,xn) 是n个随机变量X1,X2,…,Xn的联合pdf,但是我们接下来考虑k<n个随机变量的联合pdf,例如取n=6,k=3,我们选择X2,X4,X5,那么X2,X4,X5的边缘pdf就是他们的联合pdf,即


∫∞−∞∫∞−∞∫∞−∞f(x1,x2,x3,x4,x5,x6)dx1dx3dx6

这里假设随机变量是连续型的。

接下里我们扩展条件pdf的定义,假设f1(x1)>0,那么我们用关系


f2,…,n|1(x2,…,xn|x1)=f(x1,x2,…,xn)f1(x1)

定义符号f2…,xn|x1。f2…,xn|x1称为给定X1=x1,X2,…,Xn的联合条件pdf,任何n−1 个随机变量的联合条件pdf,假设为给定Xi=xi,X1,…,Xi−1,Xi+1,…,Xn,定义为X1,…,Xn的联合pdf除以fi(xi)的边缘pdf,其中fi(xi)>0。更一般的,给定k个随机变量,n−k个随机变量的联合边缘pdf定义为n个变量的联合pdf除以k个变量的边缘pdf,假设后者的pdf为正。

因为条件pdf是某些随机变量的pdf,所以这些随机变量的函数期望值有定义。例如考虑连续情况,给定X1=x1,u(X2,…,Xn)的条件期望为


E[u(X2,…,Xn)|x1]=∫∞−∞⋯∫∞−∞u(x2,…,xn)f2,…,n|1(x2,…,xn|x1)dx2⋯dxn

假设f1(x1)>0且积分收敛(绝对)。一个有用的随机变量为h(X1)=E[u(X2,…,Xn)|X1]。

上面讨论的边缘与条件分布同样可以推广到离散的情况,只需要将求和符号代替积分符号即可。

令随机变量X1,X2,…,Xn的联合pdf为f(x1,x2,…,xn),边缘概率密度函数分别为f1(x1),f2(x2),…,fn(xn)。X1,X2独立的定义也可以推广到X1,X2,…,Xn的情况:对于连续型,随机变量X1,X2,…,Xn是互相独立的,当且仅当


f(x1,x2,…,xn)≡f1(x1)f2(x2)⋯fn(xn)

对于离散型,当且仅当


p(x1,x2,…,xn)≡p1(x1)p2(x2)⋯pn(xn)

假设X1,X2,…,Xn是互相独立的,那么


P(a1<X1<b1,a2<X2<b2,…,an<Xn<bn)=P(a1<X1<b1)P(a2<X2<b2)⋯P(an<Xn<bn)=∏i=1nP(ai<Xi<bi)

其中符号∏ni=1φ(i)定义为


∏i=1nφ(i)=φ(1)φ(2)⋯φ(n)

对于独立随机变量X1,X2的E[u(X1)v(X2)]=E[u(X1)E[v(X2)]相对互相独立的随机变量X1,X2,…,n就变成


E[u1(X1)u2(X2)⋯un(Xn)]=E[u1(X1)]E[u2(X2)]⋯E[un(Xn)]

或者


E[∏i=1nui(Xi)]=∏i=1nE[ui(Xi)]

n个随机变量X1,X2,…,Xn联合分布的矩生成函数定义如下,对−hi<ti<hi,i=1,2,…,其中hi是正的,


E[exp(t1X1+t2X2+⋯+tnXn)]

存在,其期望用M(t1,t2,…,tn)表示并称为X1,…,Xn联合分布的mgf(或者简单称为X1,…,Xn的mgf)。与单个或两个变量一样,它的mgf 是唯一的且唯一决定n个变量的联合分布(因此对所有的边缘分布也如此)。例如Xi的边缘分布mgf为M(0,…,0,ti,0,…,0),i=1,2,…,n;Xi,Xj的边缘分布mgf为M(0,…,0,ti,0,…,0,tj,0,…,0);等等。上篇文章的定理5可以进行推广,因式分解


M(t1,t2,…,tn)=∏i=1nM(0,…,0,ti,0,…,0)

是X1,X2,…,Xn互相独立的充分必要条件,注意我们可以用向量符号量联合mgf写成


M(t)=E[exp(t′X)],t∈B⊂Rn

其中B={t:−hi<ti<hi,i=1,…,n}。

例2:令X1,X2,X3是三个互相独立的随机变量并每个pdf为


f(x)={2x00<x<1elsewhere

X1,X2,X3的联合pdf为f(x1)f(x2)f(x3)=8x1x2x3,0<xi<1,i=1,2,3,其余地方为零。为了说明,5X1X32+3X2X43的期望为


∫10∫10∫10(5x1x32+3x2x43)8x1x2x3dx1dx2dx3=2

令Y是X1,X2,X3的最大值,那么我们有


P(Y≤12)=P(X1≤12,X2≤12,X3≤12)=∫1/20∫1/20∫1/208x1x2x3dx1dx2dx3=()6=164

利用相同的方式,我们可以计算出Y的cdf为

G(y)=P(Y≤y)=⎧⎩⎨0y61y<00≤y<11≤y

那么Y的pdf为

g(y)={6y500<y<1elsewhere

注1:如果X1,X2,X3是互相独立的,那么他们是成对独立的(即i≠j,Xi,Xj就独立,其中i,j=1,2,3),然而,下面的例子说明成对独立不一定互相独立。令X1,X2,X3的联合pdf为


f(x1,x2,x3)={140(x1,x2,x3)∈{(1,0,0),(0,1,0),(0,0,1),(1,1,1)}elsewhere

Xi,Xj,i≠j的联合pdf为


fij(xi,xj)={140(xi,xj)∈{(0,0),(1,0),(0,1),(1,1)}elsewhere

其中Xi的边缘pmf为


fi(xi)={120xi=0,1elsewhere

很明显,如果i≠j,我们有


fij(xi,xj)={140(xi,xj)∈{(0,0),(1,0),(0,1),(1,1)}elsewhere

其中Xi的边缘pmf为


fi(xi)={120xi=0,1elsewhere

很明显,如果i≠j,我们有


fij(xi,xj)≡fi(xi)fj(xj)

因此Xi,Xj是独立的。然而


f(x1,x2,x3)≢f1(x1)f2(x2)f3(x3

所以X1,X2,X3不是互相独立的。

除非互相与成对独立会产生误解,我们通常不用修饰语互相。因此当我们说X1,X2,X3是独立的随机变量时,指的是他们互相独立。偶尔为了强调,我们会使用互相独立,读者须知道互相与成对独立是有区别的。

另外,如果几个随机变量互相独立且有同样的分布,我们称他们为独立同分布,简写为iid。