1. GCN 什么是GCNG是Graph，C是卷积，卷积神经网络 一般称作 CNN；CNN的原理是想构造一个小的窗口，然后在窗口里提取一些特征，窗口在图上不断滚动，最后提取一些特点；GCN跟CNN也是类似，它是在Graph上的操作，CNN是在Image上；GCN的背景（Graph Convolutional Networks）：AI领域三分天下：计算机视觉CV，自然语言处理NLP，推荐系
三大法宝：①：DDQN：改变Nature DQN中TD目标值中a'的产生方式。②：Prioritized experience reply：改变从经验池采样的方式。③：Dueling DQN：改变网络结构本文将通过理论+实战结合的方式总结DQN与三大法宝的功能。为了阐述清楚三种方式的各自优势：实战部分不选用NIPS DQN作为基础网络，而是用Nature DQN（后面简称DQN
1. 常用损失函数 损失函数是机器学习和深度学习中的一个关键概念，用于衡量模型预测结果与实际标签之间的差异或误差。损失函数的设计目标是使其最小化，这样在训练过程中，优化算法可以通过调整模型参数来使损失函数达到最小值，从而提高模型的性能。损失函数通常是一个关于模型参数的函数，用数学公式表示。1.1 回归损失 &n
大纲指数衰减学习率
激活函数
损失函数
缓解过拟合
优化器
1. 指数衰减学习率
思想：先用较大的学习率快速得到近似解，然后逐步减小学习率，使算法在迭代后期稳定下来。计算公式为：
指数衰减学习率=初始学习率*学习率衰减率^(单前轮数/多少轮衰减一次)，其中，单前轮数可以指opoch数，也可以指global steps。
例子：
import tensorflow as tf
epoch=40
lr
强化学习（Reinforcement Learning）是机器学习的重要分支。强化学习是指： 从环境状态从动作映射的学习，以使动作从环境中获得的累计奖赏值最大。 与监督学习不同，监督学习通过正例、反例来训练模型采用何种行为，而强化学习通过探索试错的策略发现最优行为策略。1、 任务与奖赏策略的优劣取决于长期执行这一策略后所得到的累积奖赏，在强化学习任务中，学习的目的就是要找到能使长期累积奖赏最大化的
转载
2024-04-07 09:39:55
451阅读
一、深层神经网络为什么需要激活函数？１．非线性激活函数的主要作用提供网络的非线性建模能力，增强模型的表达能力，双隐层神经网络能够解决任意复杂的分类问题将原始特征从低维空间映射到高维空间(从多项式角度看------它隐含的找到了所需的高次特征项(更好的特征)，从而简化了繁重的计算)如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验
术语表agent——整体environment——环境action——动作state——状态reward——奖惩label——标签policy——策略value function——价值函数model——模型Exploration——探索Exploitation——利用1、强化学习是什么？首先，我们思考一下学习本身，当一个婴儿在玩耍时可能会挥舞双手，左看右看，没有人来指导他的行为，但是他和外界直接
文章目录1.背景知识2.V值和Q值的理解3.V值介绍4.Q值介绍5.根据Q值计算V值6.根据V值计算Q值7.根据V值计算V值 1.背景知识在马尔可夫链中：当智能体从一个状态 ，选择动作 ，会进入另外一个状态 其中，是指在状态时，采取动作跳转到新状态得到的奖励；是折扣因子；的状态转移概率；的值。7.根据V值计算V值更多的时候，我们需要根据值来计算值。准确的说，是根据后面状态参考文献： [1] 张斯
转载
2024-08-15 15:06:11
427阅读
前言本文分为两部分： 1、损失函数、代价函数、目标函数 包括keras中常用损失函数及其使用场景 2、优化函数一、损失函数、代价函数、目标函数1、损失函数：衡量预测值与真实值的偏离程度，损失函数就是一个”裁判“，判断函数拟合的效果好不好，评价网络训练的好坏，所以它是一个评价指标。损失函数是针对一个样本的，即一个样本的预测值与其真实值的差距，误差越小，拟合的越好。 2、代价函数：针对整个训练集，将每
转载
2024-07-11 08:37:13
229阅读
强化学习基础理论强化学习与其他机器学习的关系强化学习的八大要素代码简单实例 Tic-Tac-Toe参考资料 理论 强化学习是研究智能体以及智能体如何通过反复试验学习的方法。它正式化了这样一种思想，即奖励（惩罚）行为人的行为，使其将来更有可能重复（放弃）该行为。强化学习与其他机器学习的关系 强化学习是和监督学习、非监督学习并列的第三种机器学习方法，三者的关系如下图所示： 强化学习来和监督学
转载
2024-04-05 10:20:27
106阅读
#### 任务与奖赏 #### “强化学习”(reinforcement learning)可以讲述为在任务过程中不断摸索，然后总结出较好的完成任务策略。 强化学习任务通常用马尔可夫决策过程(Markov Decision Process，简称MDP)来描述：机器处于环境E
E
中，状态空间为XX，其中每个状态x∈X
转载
2024-09-27 13:19:11
335阅读
第一章 介绍
强化学习的基本思想：从与环境的互动中学习1.1 强化学习强化学习的重要特征：➀、反复试验（trial-and-error search）➁、推迟奖励（delayed reward）➀、已知状态，需要做一个动作，得到一个奖励信号以及接下来的状态。 目标是：通过调整，使得最大。 ➁、推迟奖励的定义：当前动作不仅决定了即时奖励，还决定了下一个状态，所以对下一个奖励也会
转载
2024-06-19 08:48:36
468阅读
文章目录一、Sparse Reward1.Reward ShapingICM(intrinsic curiosity module)2.Curriculum LearningReverse Curriculum Generation3.Hierarchical RL二、Imitation Learning1.行为克隆（Behavior Cloning）2.反强化学习（Inverse RL）3.T
CH1 强化学习简介(Introduction to Reinforcement Learning) 文章目录CH1 强化学习简介(Introduction to Reinforcement Learning)1 关于强化学习2 强化学习问题2.1 奖励2.2 环境2.3 状态3 RL Agents(个体)4 RL内的问题 1 关于强化学习 强化学习应用于许多学科，而它自身也属于机器学习分支之一。
转载
2024-09-02 15:32:02
626阅读
强化学习模型强化学习的任务目标最大化长期奖励最小化长期惩罚强化学习能够实现很多的任务，这些任务目标往往可以归纳化为最大化长期奖励、最小化长期惩罚。比如在写论文，写完论文过审了，得到最佳论文凭证的奖学金，获得很高的引用，这些都算正强化。如果论文被拒了或是查重被查出问题了，毕不了业，这些都是负强化。强化学习目标就是要趋利避害。JackMichael在1975年证明了正强化和负强化的等效性。也就是说，正
转载
2024-04-22 11:27:49
197阅读
我在奖惩中枢与学习、注意力问题的系统讨论等等文章中都系统的讨论了奖惩及奖惩预期的问题。下面讨论的是如何编程获得奖惩与奖惩预期。其代码来源于： #region //1211奖赏参数
if (ydsrvalue == 30)
转载
2024-08-10 11:15:46
174阅读
一、任务与奖赏我们执行某个操作a时，仅能得到一个当前的反馈r（可以假设服从某种分布），这个过程抽象出来就是“强化学习”。强化学习任务通常用马尔可夫决策过程MDP来描述：强化学习任务的四要素E = <X, A, P, R>E：机器处于的环境X：状态空间A：动作空间P：状态转移概率R：奖赏函数 学习目的：“策略”：机器要做的是不断尝试学得一个“策略” π，根据状态x就能得到要执行
转载
2024-07-29 13:17:40
201阅读
裁剪算法 待补充计算机图形学之裁剪* 3D裁剪
* 2D裁剪裁剪算法: 用来消除显示区域外的图形部分.二维裁剪算法* 点的裁剪
* 线段的裁剪(直线段)
* 区域裁剪(多变形裁剪)二维点的裁剪裁剪窗口为一个标准的矩形: Xmin<=X<=Xmax Ymin<=Y<=Ymax二维线段的裁剪线段与窗口边界的求交运算耗时.因此.较少交点的计算是每一种线段裁剪算法的主要目标.判断线
机器学习 知识点补充特征、样本、数据集特征(Feature)：特征是用来描述机器学习系统处理的对象或事件的特性。样本(Sample)：样本是指我们从某些希望机器学习系统处理的对象或事件中收集到的已经量化的特征的集合。数据集(Dataset)：数据集是指很多样本组成的集合。有时我们也将样本称为数据集中的数据点(Data Point) 。大部分机器学习算法可以被理解为在数据集上获取经验。监督学习算法
第一课 强化学习简介本章主要介绍了强化学习涉及到的一些基础概念，包括强化学习解决的是哪类问题，涉及哪些要素以及解决强化学习问题的思路。1 强化学习的特征是什么使得强化学习不同于其他机器学习范式呢？不存在监督，只有奖励作为指导信号奖励是延迟的，比如游戏结束时反馈一个正/负信号（也存在实时奖励吧，比如迷宫游戏为了寻找最短路径，每走一步奖励设置为-1）事件涉及时间序列，它们之间是有关联的，不是独立同分布
