1. 联合概率（joint distribution）的链式法则
基于链式法则的 explicit formula：
p(x1:n)===p(x)p(x1)∏i=2np(xi|x1,…,xi−1)∏i=1np(xi|x1,…,xi−1)
等式左端表示联合概率分布，joint distribution，所谓联合概率表示的事件同时发生的概率，如 p(x3|x1,x2)，的实际含义恰在于，事件
转载
2017-04-20 22:09:00
307阅读
1. 联合概率（joint distribution）的链式法则基于链式法则的 explicit formula：p(x1:n)===p(x)p(x1)∏i=2np(xi|x1,…,xi−1)∏i=1np(xi|x1,…,xi−1)等式左端表示联合概率分布，joint distribution，所谓联合概率表示的事件同时发生的概率，如 p(x3|x1,x2)，的实际含义恰在于，事件 x1 和事件
转载
2017-04-20 22:09:00
253阅读
2评论
转载
2017-09-30 17:09:00
86阅读
2评论
利用Markov Chain（马尔可夫链）算法生成文本内容。这个简单的示例将展示如何通过统计方法生成一个基于给定文本的随机文本。代码示例：利用马尔可夫链生成文本import random
from collections import defaultdict, deque
class MarkovChain:
def __init__(self, order=2):
se
马尔科夫链的蒙特卡洛采样的核心思想是构造一个Markov chain，使得从任意一个状态采样开始，按该Markov chain转移，经过一段时间的采样，逼**稳分布stationary distribution/equilibrium distribution（目标分布），最后选用逼*后的样本作
转载
2013-10-14 18:32:00
144阅读
2评论
Welcome To My Blog一.蒙特卡洛模拟蒙特卡洛模拟(Monte Carlo Simulation)是
原创
2023-01-18 10:24:44
459阅读
(R(s, a, s’))，表示从状态 (s) 采取动作 (a) 转移到 (s’) 时获得的奖励（有时简化为 (R(s, a)))。马尔可夫性质指的是：系统的下一个状态仅依
The Lempel–Ziv–Markov chain algorithm (LZMA) is an algorithm used to perform lossless data compression. It has been under development since either 199 ...
转载
2021-09-25 16:48:00
998阅读
引言在概率论及统计学中，马尔可夫过程（英语：Markov process）是一个具备了马尔可夫性质的随机过程，因为俄国数学家安德雷·马尔可夫得名。马尔可夫过程是不具备记忆特质的（memorylessness）。换言之，马尔可夫过程的条件概率仅仅与系统的当前状态相关，而与它的过去历史或未来状态，都是独立、不相关的。概论1. Markov Decision Process马尔可夫决策过程机器学习算法（
马尔可夫决策过程特征· 状态、行动、奖励都是有限数值。下一次的状态和奖励只依赖于上一时刻的状态和行动。
· 马尔可夫决策过程与随机过程中的马尔可夫过程类似，不同点在于马尔可夫过程只看重状态之间的转移，主要研究的是给定初始状态稳定之后会变成什么样。在马尔可夫决策过程中，增加了动作的概念，两个状态之间不仅有一条连线（也就是状态有限时，在原来的状态转移图上，不同动作可能会导致同样的状态转移情况）
· 在
转载
2024-02-15 15:00:50
45阅读
这篇文章的目的是将我学习的材料与我的日常工作和R相结合。如果我们有一些根据固定概率随时间在状态之间切换的对象，我们可以使用马尔可夫链*来模拟该对象的长期行为。一个很好的例子是抵押贷款。在任何给定的时间点，贷款都有违约概率，保持最新付款或全额偿还。总的来说，我们将这些称为“转移概率”。假设这些概率在贷款期限内是固定的**。举...
原创
2021-05-12 14:22:49
202阅读
这篇文章的目的是将我学习的材料与我的日常工作和R相结合。如果我们有一些根据固定概率随时间在状态之间切换的对象，我们可以使用马尔可夫链*来模拟该对象的长期行为。一个很好的例子是抵押贷款。在任何给定的时间点，贷款都有违约概率，保持最新付款或全额偿还。总的来说，我们将这些称为“转移概率”。假设这些概率在贷款期限内是固定的**。举...
原创
2021-05-12 14:22:50
542阅读
所以给给运动加引号是因为这是个概性描述，比如经典掷色子，每一次掷色子都视为一次事物的变化，归为“运动”，即随时
原创
2022-11-29 18:16:34
843阅读
https://www.toutiao.com/a6669798537494004227/“The future is independent of the past given the present!”这句话看上去很拗口，但是却蕴含着“马尔科夫链”和人生哲理。请听我慢慢分解。01 强化学习（Reinforcement Learning）最近，机器学习（Machine ...
转载
2019-03-19 13:20:08
834阅读
马尔科夫过程描述了一类重要的随机过程。
原创
2023-02-02 08:43:19
92阅读
% main.m% 主程序：对于不同的K,N值作折线图。参数FrameNum为帧的最大个数。% by 姜晶% 2013.4.10clear;FrameNum=7;X=
原创
2022-10-10 15:19:58
44阅读
在处理“Markov过程Java”这一主题时，我深刻体会到对于数据模型和概率论的结合的重要性。Markov过程是一种重要的随机过程，它是理解许多系统动态的基础。在这篇文章中，我将详细记录我的思考过程和实施步骤，包括备份策略、恢复流程、灾难场景、工具链集成、监控告警和最佳实践。
### 备份策略
在备份策略中，我首先创建了一个周期性计划。这个计划高度依赖于甘特图，以便明确各项任务的生命周期和彼此
On ERP sales order, the check is execute at function module RV_MATERIAL_STATUS_CHECK, it will check X-Distribution Chain and Distribution Chain at the same time, as a result it will have same effect o...
原创
2021-07-15 16:41:37
505阅读
Dictum:
Is the true wisdom fortitude ambition. -- Napoleon马尔可夫决策过程(Markov Decision Processes, MDPs)是一种对序列决策问题的解决工具，在这种问题中，决策者以序列方式与环境交互。“智能体-环境”交互的过程首先，将MDPs引入强化学习。我们可以将智能体和环境的交互过程看成关于离散情况下时间步长\(t
转载
2024-05-18 07:05:54
44阅读
这篇文章写得实在是通俗易懂，作者幽默的解释了Markov和隐Markov模型，入门必看。 同前面一样，因为编辑器不支持latex方式的数学公式输入，所以我就试图用文字的方式来简要描述一下隐Markov模型（Hidden Markov Model，HMM）。所有这类模型都有一个前提假设，就是下一个时刻的状态只与当前时刻
转载
2024-04-24 18:52:18
27阅读
