马氏链模型(Markov Chain)
- 对于有随机因素影响的动态系统,系统从这个时期到下个时期的状态按照一定的概率进行转移,并且下个时期的状态只取决于这个时期的状态和转移概率。
- 无后效性:已知现在,将来与历史无关。
- 具有无后效性,时间、状态均为离散的随机转移过程通常用马氏链模型描述。
实例1:健康与疾病
- 本实例介绍马氏链的基本概念,以及两种主要类型——正则链和吸收链。
人的健康状态随时间的推移会发生转变,人寿保险公司要通过对状态转变的概率做出估计,才能确定出不同年龄、不同健康状况的人的保险金和理赔金数额,下面分两种情况进行讨论:
情况一:
- 把人的健康状况分为健康和疾病两种,以一年为一个时段研究状态的转变。假定对某一年龄段的人,今年健康,明年转为疾病状态的概率为0.2;今年患病,明年转为健康的概率为0.7。
- 如果一个人投保时处于健康状态,我们研究以后若干年他分别处于这两种状态的概率。
- 用随机变量 表示第 年的状态, 表示健康, 表示疾病,,用 表示第 年处于状态 的概率,,即 。
- 用 表示已知今年状态处于状态 ,来年状态处于状态 的概率, 称为状态转移概率。
- 显然,第 年的状态 只取决于第 年的状态 和转移概率 ,而与以前的状态 无关,即状态转移具有无后效性。
- 第 年的状态概率可由全概率公式得到:
- 由前 ,投保人开始时处于健康状态,即 立即可以算出以后各年他处于两种状态的概率 如下表:
- 通过计算可以发现,无论初始状态概率是否相同,对于给定的状态转移概率, 时,状态概率 ,这是一种主要的马氏链类型的重要性质。
情况二:
- 把人的死亡作为第3种状态,用
- 用 表示第 年处于状态 的概率,,用 表示状态转移概率。特别注意,
- 第 年的状态概率可由全概率公式得到:
- 算得的结果如下表所示:
- 表中的最后一列时根据计算数值的趋势猜测的,可以看到,不论初始状态如何,最终都要转到状态3.
马氏链的基本概念
马氏链及其基本方程
- 按照系统的发展,时间离散化为 ,对每个 ,系统的状态用随机变量 表示,设 可取 个离散值 ,且记 ,即状态概率。
- 如果 的取值只取决于 的取值及转移概率,而与 的取值无关,那么这种离散状态按照离散时间的随机转移过程称为马氏链。
- 由状态转移的无后效性和全概率公式可以写出马氏链的基本方程为:
并且满足:
引入状态概率向量(行向量)和转移概率矩阵(简称转移矩阵):
则基本方程可以表示为:
还可以得到:
转移矩阵 是非负阵, 的行和为1,称为 随机矩阵。 - 马氏链模型最基本的问题是构造状态 及写出转移矩阵 ,这里的转移矩阵与时段
马氏链的两个重要类型
正则链
这类马氏链的特点是,从任意状态出发经过有限次转移都能达到另外的任意状态。
- 定义 一个有 个状态的马氏链如果存在正整数 ,使从任意状态 经 次转移都以大于零的概率到达状态 ,则称为正则链。
- 用下面的定理可以检验一个马氏链是否是正则链:
定理1 若马氏链的转移矩阵是 ,则它是正则链的充要条件是,存在正整数 ,使
定理2 正则链存在唯一的极限状态概率 ,又称稳态概率。
求解稳态概率 线性方程租:
从状态 出发,第一次到达状态 的概率称为 到 的首达概率,记作 ,于是由状态 到达第一次状态 的平均转移次数为
吸收链
- 定义 转移概率 的状态 称为吸收状态。如果马氏链至少包含一个吸收状态,并且从每一个非吸收状态出发,能以正的概率经有限次转移到达某个吸收状态,那么这个马氏链称为吸收链。
- 吸收链的转移矩阵可以写成简单的标准形式。若有 个吸收状态, 个非吸收状态,则转移矩阵 可表为