一、CriticCritic的作用：Critic就是一个神经网络，以状态 Critic的作用就是衡量一个Actor在某State状态下的优劣。Given an actor π, it evaluates the how good the actor is。Critic本身不能决定要采取哪一个Action。A critic does not determine the action.An actor
这是一篇将attention机制应用到graph convolution中的文章。但是文章中提出的模型其实是利用了attention的一部分思想，而不是和处理sequence的模型应用的attention机制是不完全一样的。处理sequence的模型引入的attention机制可以分为两类，一类是在输入sequence本身上计算attention的intertext情形；另一类是另外有一个用来计算
转载
2024-09-06 10:44:59
44阅读
开宗明义：attention就是一个加权机制，但是权重需要经过训练得到。感觉有些情况就是代替了concat然后过模型的场景，优势是更小、参数更少。 本文介绍一些我自己整理的常见attention类型。本文不关注别的博文里已经写烂了的attention机制的重要性和直觉解释（又不是写论文还要写introduction）。 multi-head attention也不在本文赘述。 文章目录1. att
目录Attention前言Encoder-DecoderAttention机制sele-attention机制decoder总结Attention的三大优点**中心思想：通过加权求和，context上下文理解。** Attention前言Attention即权重 翻译为例 games是游戏，但是综合2022 beijing winter 就翻译为比赛，不不不，应该是冬奥会。Encoder-Deco
转载
2024-05-02 11:28:36
42阅读
一、权重衰退（Weight_decay）正则限制针对模型训练时出现的过拟合问题，限制模型容量是一种很好的解决方法，目前常用的方法有以下两种：缩小模型参数量，例如降低模型层数，使得模型更加轻量化，正则化通过限制参数值的选择范围来控制模型容量，正则化：
使用均方范数作为硬性限制，即对于参数 ，假设其损失函数为 ，则其优化目标为 在上述约束中通常不对 进行约束，因为 是针对 点的偏移，且在实际中，
模型的存储与加载TF的API提供了两种方式来存储和加载模型: 1.生成检查点文件，扩展名.ckpt,通过在tf.train.Saver()对象上调用Saver.save()生成。包含权重和其他在程序中定义的变量，不包含图结构。 2.生成图协议文件，扩展名.pb，用tf.train.write_graph()保存，只包含图形结构，不包含权重，然后使用tf.import_graph_def()来加载图
在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作一个总结。本文目录：1.欧氏距离2.曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5.标准化欧氏距离6.马氏距离7.夹角余弦8.汉明距离9.杰
在 PyTorch 中，我们可以使用 torch.save 函数将模型或张量保存到文件中，使用 torch.load 函数从文件中加载模型或张量。具体用法如下：保存模型import torch
# 定义模型
model = ...
# 保存模型
torch.save(model.state_dict(), 'model.pth')在上面的代码中，我们使用 model
转载
2024-04-23 10:48:47
124阅读
文章目录1.加载数据集2.迭代和可视化数据集3.创建自定义数据集4.准备数据以使用 DataLoaders 进行训练5.通过 DataLoader遍历6.Further Reading 处理数据样本的代码可能会变得混乱且难以维护；我们理想地希望我们的数据集代码与我们的模型训练代码分离，以获得更好的可读性和模块化。PyTorch 提供了两种数据原语：torch.utils.data.DataLoa
PyTorch框架学习十九——模型加载与保存一、序列化与反序列化二、PyTorch中的序列化与反序列化1.torch.save2.torch.load三、模型的保存1.方法一：保存整个Module2.方法二：仅保存模型参数四、模型的加载1.加载整个模型2.仅加载模型参数五、断点续训练1.断点续训练的模型保存2.断点续训练的模型加载 距离上次的学习笔记时隔了正好一个月。。。下面继续！其实深度学习的
演员-评论家算法(Actor-Critic Algorithm)是一种结合策略梯度和时序差分学习的强化学习方法，其中：演员(Actor)是指策略函数 ，即学习一个策略来得到尽量高的回报。评论家(Critic)是指值函数 ，对当前策略的值函数进行估计，即评估演员的好坏。借助于值函数，演员-评论家算法可以进行单步更新参数，不需要等到回合结束才进行更新。Actor-Critic 算法又可以根据更新策略的
转载
2024-10-16 10:02:44
47阅读
attention的本质 通过计算Query和一组Key的相似度（或者叫相关性/注意力分布），来给一组Value赋上权重，一般地还会求出这一组Value的加权和。 一个典型的soft attention如下公式所示： 先用Query求出分别和一组Key计算相似度，计算相似度的方法有很多种，常用的有点乘、perceptron 然后用softmax归一化，得到每个Key对应的概率分布α
转载
2024-08-01 15:07:09
63阅读
文章目录一：view()、reshape()、resize_()二：size()、shape三：permute()、transpose()、view()、contiguous()四：squeeze()、unsqueeze()、expand() 一：view()、reshape()、resize_()view和reshape都是一种无脑的转化shape的方法，都是浅拷贝，会破坏原来的数据顺序。vi
转载
2024-04-01 05:41:09
82阅读
集成学习（上）Task03：掌握偏差与方差理论1 偏差-方差的权衡1.1 背景1.2 偏差-方差权衡的理论基础1.3 偏差-方差平衡的具体方法1.3.1 特征提取法1.3.2 压缩估计法1.3.3 降维的方法 引入偏差和方差理论的背景：我们希望建立的机器学习模型在测试数据上表现优异，而不是训练集。1 偏差-方差的权衡1.1 背景当我们的模型的训练均方误差达到很小时，测试均方误差反而很大【过拟合】
attention
1.在模型举例在机器翻译的任务当中，翻译得到的每个y的时候，更加关注于某个x，当翻译am的时候，就应该更关注输入当中的
是，让机器也具备这种关注的能力。
2.怎么关注？当翻译y1的时候，y1是通过H1得到的，x1通过特征提取又可以计算出h1，点积的方式可以计算
出两个向量的相似性。H和每个h之间的点积去计算，翻译y1的时候更应该专注哪个x/h。
self-attention：
转载
2024-05-09 14:34:11
132阅读
前面讲了dqn,他是基于拟合一个能描述在某一状态采取任意动作能获得奖励大小的一个函数。如公式1:公式1 公式1这个函数的含义是：输出是分值，高表示好。s是state，a是action。 而actor-critic将这个问题更细化。具体形象化来说：有一个人，遇到不同的状态会做出不同的选择，如公式2：公式2 公式2表示给定状态s，一个人选择动作a的概率。actor-critic将公式1称为criti
PyTorch学习笔记：torch.max——数组的最大值torch.max()——数组的最大值形式Ⅰ形式Ⅱ代码案例扩展官方文档 torch.max()——数组的最大值torch.max()有两种形式形式Ⅰtorch.max(input) → Tensor功能：输出数组的最大值注意：只有一个输入，只需要输入一个数组该方式也可以通过a.max()实现，后者是求数组a的最大值形式Ⅱtorch.max
torch.normal()的用法该函数原型如下：normal(mean, std, *, generator=None, out=None)该函数返回从单独的正态分布中提取的随机数的张量，该正态分布的均值是mean，标准差是std。用法如下：我们从一个标准正态分布N～(0,1)，提取一个2x2的矩阵torch.normal(mean=0.,std=1.,size=(2,2))我们也可以让每一个值
转载
2024-04-07 14:12:52
1207阅读
有人是这么描述BERT模型的：它的出现，彻底改变了预训练产生词向量和下游具体NLP任务的关系，提出龙骨级的训练词向量概念。不过想了解Bert，也不能着急，要先从tranformer框架聊起。 Attention在学会 Transformer 和 Bert 之前，我们需要理解Attention和Self-Attention机制。Attention的本质是要找到输入的feature的权重分
转载
2024-07-23 20:32:46
48阅读
参考：1）pytorch实现自由的数据读取－torch.utils.data的学习、2）pytorch源码分析之torch.utils.data.Dataset类和torch.utils.data.DataLoader类、3）PyTorch源码解读之torch.utils.data.DataLoader目录： torch.utils.data主要包括以下三个类：torch.utils.data.D
转载
2024-04-19 11:57:02
99阅读
