目录一、马尔可夫性质二、马尔可夫链例子:假设认为股价有三种状态(高、中、低)；三、HMM-隐马尔可夫模型四、HMM参数五、HMM的两个基本性质一、马尔可夫性质马尔科夫性质——当前的状态只和上一时刻有关，在上一时刻之前的任何状态都和我无关。我们称其符合马尔可夫性质。具体的理论化描述如下：设{X(t), t ∈ T}是一个随机过程，E为其状态空间，若对于任意的t1<t2< ...<t
转载
2024-05-10 17:50:34
24阅读
学习了李航的《统计学习方法》中隐马尔可夫模型(Hidden Markov Model, HMM)，这里把自己对HMM的理解进行总结(大部分是书本原文，O(∩_∩)O哈哈~，主要是想利用python将其实现一遍，这样印象深刻一点儿)，并利用python将书本上的例子运行一遍。HMM是可用于标注问题的统计学习模型，描述由隐藏的马尔科夫链随机生成观测序列的过程，属于生成模型。HMM在语音识别
转载
2023-07-24 16:08:37
123阅读
马尔可夫决策过程：MDP一、MDP模型表示首先引出马尔可夫决策过程的几个相关变量集合：A={at},S={st},R={rt+1},t=1,2,...T or ∞。A表示Action，S表示State，R表示Reward，这几个均是静态的随机变量，可以是离散的，也可以是连续的。①如果变量是离散的，且只有状态变量随时间变化，则可以用“状态转移矩阵”来表示这些随机变量之间的关系（比如HMM），状态转移
转载
2023-07-22 10:13:24
158阅读
马尔可夫链简单介绍马尔可夫链是一个经典算法，马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的
转载
2023-06-19 15:30:33
212阅读
1. 马尔科夫性无后效性，下一个状态只和当前状态有关而与之前的状态无关，公式描述：P[St+1|St]=P[St+1|S1,...,St]。强化学习中的状态也服从马尔科夫性，因此才能在当前状态下执行动作并转移到下一个状态，而不需要考虑之前的状态。2. 马尔科夫过程马尔科夫过程是随机过程的一种，随机过程是对一连串随机变量(或事件)变迁或者说动态关系的描述，而马尔科夫过程就是满足马尔科夫性的随机过程，
转载
2023-11-04 21:01:24
113阅读
马尔科夫链在机器学习算法中，马尔可夫链(Markov chain)是个很重要的概念。马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名。1 简介马尔科夫链即为状态空间中从一个状态到另一个状态转换的随机过程。该过程要求具备“无记忆”的性质：
转载
2024-05-20 23:51:49
104阅读
为了清楚整理马尔可夫相关概念，做了下笔记，首先抛出一些概念：1 【马尔可夫性质 马尔可夫过程 马尔可夫链】概念：其未来由现在决定的程度，使得我们关于过去的知识丝毫不影响这种决定性。这种在已知“现在”的条件下，“未来”与“过去”彼此独立的特性就被称为马尔可夫性，具有这种性质的随机过程就叫做马尔可夫过程，其最原始的模型就是马尔可夫链。实例1：用一个通俗的比喻来形容，一只被切除了
转载
2024-06-03 13:18:22
116阅读
目录一、随机过程与马尔可夫链(马氏链)定义1-随机过程与马尔可夫链相关概念2-马尔可夫链的两个重要类型二、马氏链模型案例1-健康与疾病2-钢琴销售的存储策略3-疫苗成效的预测一、随机过程与马尔可夫链(马氏链)定义1-随机过程与马尔可夫链相关概念 我们看个例子1，这个随机抽取的过程可理解为随机过程，状态空间就0和1两种。我们再看例子2，其实就是把实际问题抽象成数学语言的一个方法。 
转载
2023-10-19 12:26:34
85阅读
RL问题的基础就是马尔科夫决策过程(MDP)，因此，这一块内容虽然基础，但确是不得不总结的内容。网上虽然有很多博客、专栏介绍，但总感觉似是而非，有些还有些许错误。这里打算按照教材中的体系再度总结一下吧。这一块概念性的东西比较多，比如马尔科夫性质（无后效性），比如值函数、最优值函数、最优动作价值函数等等。下面会一一进行介绍。1.几种马尔科夫模型的关系，引用一篇博客的图就是：2.马尔科夫决策过程&nb
转载
2023-09-08 18:47:16
52阅读
隐马尔可夫模型（Hidden Markov Model，HMM）作为一种统计分析模型，创立于20世纪70年代。80年代得到了传播和发展，成为信号处理的一个重要方向，现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领域。基本理论隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相
转载
2024-02-06 19:38:40
74阅读
马尔科可模型马尔可夫模型是由Andrei A. Markov于1913年提出的 $\bullet$ 设 $S $是一个由有限个状态组成的集合$S=\{1, 2, 3, …,n-1, n\}$随机序列 $X $ 在 $ t $时刻所处的状态为 $ q_t$，其中 $q_t \in S$，若有：\[ P(q_t=j |q_{t-1}=i, q_{t-2}=k,\cdots)=P(q_t=j |q_{t
简介 马尔可夫模型（Markov Model)描述了一类随机变量随时间而变化的随机函数。考察一个状
原创
2022-08-20 22:42:15
417阅读
目录马尔可夫链马尔可夫链的基本定义离散状态马尔可夫链 (Finite-State Markov Chains)转移概率矩阵状态分布平稳分布 (steady-state vector / equilibrium vector)平稳分布的定义平稳分布的存在性如何找到平稳分布？连续状态马尔可夫链马尔可夫链的简单应用语言模型Signal TransmissionRandom Walks on
转载
2023-08-07 01:40:14
598阅读
马尔可夫链中的期望问题这个问题是我在做 [ZJOI2013] 抛硬币 - 洛谷 这道题的时候了解的一个概念。在网上也只找到了一篇相关的内容：# 马尔可夫链中的期望问题故在这里来分享一下其中的期望问题。目录马尔可夫链中的期望问题马尔可夫链概率转移矩阵转移矩阵的修订状态中的期望期望线性方程组方程矩阵化例题作者有话说马尔可夫链定义：马尔科夫链为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程
转载
2024-05-27 16:38:09
138阅读
隐马尔科夫模型 文章目录隐马尔科夫模型前言一、定义二、三个基本问题1、观测序列概率2、模型参数学习3、预测（解码）问题三、三个问题的代码1、观测序列概率2、模型参数学习总结 前言隐马尔科夫模型（HMM）是在马尔科夫链上的一个扩展，属于机器学习，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析一、定义隐状态集合：Q={q1,
转载
2024-01-29 06:54:29
145阅读
马尔科夫模型状态集合：\(\mathcal{S} = \{s_1,\cdots,s_N\}\)
观测状态序列：\(x = x_1,\cdots,x_t,\cdots,x_T\),其中\(x_t \in \mathcal{S}\)
状态初始化概率：\(\pi_i = p(x_1 = s_i),1 \leq i \leq N\)
状态转移概率：\(a_{ij} = p(x_t = s_j|x_{t -
转载
2023-07-27 21:17:54
221阅读
本文主要是在阅读过程中对本书的一些概念摘录，包括一些个人的理解，主要是思想理解不涉及到复杂的公式推导。会不定期更新，若有不准确的地方，欢迎留言指正交流本文完整代码github：anlongstory/awsome-ML-DL-leaninggithub.com第 10 章 隐马尔可夫模型模型基本假设齐次马尔可夫性假设：隐藏的马尔可夫链在任意时刻 t 的状态只依赖于其前一时刻的状态，与其他时刻的状态
转载
2024-01-23 17:19:23
45阅读
1.基础1.1Random Walks 在图中，通过Random Walks处理，可以找到数据在哪里聚集，或者聚簇在哪。 图中的Random Walks是使用马尔可夫链计算求出。1.2马尔可夫链（Markov Chain）先看一个简单的例子：第一步，结点1的Random Walker有33%的概率到达结点2、3和4，且有0%的概率到达结点5、6和7。 对于结点2，有25%的概率到达结点1、3、4和
转载
2023-11-10 10:32:21
200阅读
没课的一天，结合着师兄给的书，写一写日常学习的反思。 西瓜书到手了，还不知道怎么学，好的公式233，没有python相关代码西瓜书的学习与建模后的反思1.隐马尔科夫模型隐马尔科夫模型是关于时序的概率模型，可用于标注问题的统计学问题模型，描述由一个隐藏的马尔科夫链生成不可观测的状态序列，再有各个状态生成一个观测而产生观测随机序列的过程。马尔科夫模型：因安德烈·马尔可夫（Andrey Markov，1
转载
2023-10-26 11:20:37
145阅读
1.马尔科夫模型 1.1马尔科夫过程 马尔可夫过程（Markov process）是一类随机过程。它的原始模型马尔可夫链。已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 (过去 )。 一个马尔科夫过程就是指过程中的每个状态的转移只依赖于之前的 n个状态，这个过程被称为1个 n阶的模型，其中 n是影响转移状态的
转载
2023-11-02 06:31:16
67阅读
