Transfomer详解0 直观理解Transformer 和 LSTM 的最大区别，就是 LSTM 的训练是迭代的、串行的，必须要等当前字处理完，才可以处理下一个字。而 Transformer 的训练时并行的，即所有字是同时训练的，这样就大大增加了计算效率。 Transformer 模型主要分为两大部分，分别是 Encoder 和 Decoder。Encoder 负责把输入（语言序列）隐射成隐藏
转载
2024-08-15 17:47:36
339阅读
由于测试部需要加强测试过程管理，我们决定将之前使用的TFS 2008系统升级到TFS 2010系统，以配合TFS 2010中Test Manager的使用。升级的方式主要参考微软的官方和一些网上博客的文章，目前在测试环境下已经通过了，现在准备在生产环境下升级。
升级后的优点：
TFS 2010的后台管理
转载
2024-04-22 17:26:07
54阅读
迁移TFS 2012的时候碰到一些问题, 中文记录很少, 英文的记录也比较零散. 这里记录最直接和简单的方法.环境:1. 公司域环境, 所有TFS用户都是公司域帐户.2. TFS从一台服务器转移至另一台服务器. 都加入了公司域. 机器名分别为PC1和PC2. 域内不能有同名的电脑。准备两台服务器的TFS环境最好一模一样, 否则会碰到各种奇怪问题. 我们的环境是 TFS 201
转载
2024-02-27 15:32:16
74阅读
LSTM原理CNN卷积神经网络 应用：图像，视频RNN 递归神经网络 应用：NLP1RNN结构one to one比如输入一张图片，它会给我们输出是猫还是狗one to many比如输入一张图片，给出一些列图片描述many to one比如文本分析，给出文本是积极还是消极的many to many (输出 与 输入 不定长)比如 聊天机器人many to many (输入
转载
2024-07-05 08:35:12
59阅读
1. 迁移学习迁移学习( Tranfers Learning)是机器学习的一个分支，只是神经网络太火了，最近研究和神经网络靠。
迁移学习的初衷是节省人工标注样本的时间，让模型可以通过已有的标记数据（source domain data）向未标记数据（target domain data）迁移。换句话说，迁移学习就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相
这是在看了台大李宏毅教授的课程之后的一点总结和感想。本文中所使用的图片均来自于李宏毅教授的课程ppt。本篇博客就是对视频的一些记录加上了一些个人的思考。 一、什么是LSTM 长短期记忆（Long sh
转载
2024-05-16 10:27:01
168阅读
目录一、什么是LSTM?二、LSTM详解 0.什么是门？1. 遗忘门2.输入门3.更新记忆4.输出门一、什么是LSTM?LSTM是RNN的一种，可以解决RNN短时记忆的不足，当一条序列足够长，那RNN将很难将信息从较早的时间步传送到后面的时间步，而LSTM能学习长期依赖的信息，记住较早时间步的信息，因此可以做到联系上下文。比如：1.RNN可以根据前面几个单词有效预测出空白处单词为sky。
转载
2024-05-14 23:07:15
97阅读
最近由于项目需要，需要使用LSTM进行时间序列预测，由此通过这篇文件，回忆并总结下LSTM的一些关键性问题。一、LSTM原理：1、一句话总结LSTM LSTM即是长短期记忆网络2、LSTM中门和时间步门和时间步的概念 -- LSTM的中有四个门，每个门负责是否把短期记忆纳入长期记忆中(或者说负责将短期记忆的某一部分是否纳入长期记忆) -- 每个时
循环神经网络用来处理序列化数据，因此要使用循环神经网络来处理CV领域的问题，首先要考虑将处理对象转换为序列形式的数据。以MNIST数据集为例，其大小为28*28。将该数据序列化。如果将每一个像素点视作一个单元，则每幅图像可以用一个28*28长度的序列来表示，但这种表示过于粗暴，而且缺少一定的语义信息，处理起来也不容易，因此考虑扩大单元大小。可以考虑按照横向或者纵向进行分片，然后按照一定顺序链接起来
转载
2024-06-21 19:54:10
75阅读
一、递归神经网络（RRN） 传统的神经网络，只是在深度上进行多层连接，层与层之间具有连接，但是在同层的内部节点之间没有
原创
2023-02-06 16:41:34
208阅读
一个简单的python版本的复现： TransE 算法是一种用于表示图结构中节点及关系的嵌入表示的算法，可以广泛应用于后续各类基于图谱的任务，如基于知识图谱的推荐算法CFKG利用transE对图谱中的entity及relation进行embedding用于后续的推荐任务。同时TransE算法也是后续改进版的TransD，TransH系列算法的基础。在知识图谱中，一条内容可以表示为一个不可
tensorflow的三种Graph结构：Graph：tensorflow运行会话是在默认的Graph中，包含了各个运算节点和用于计算的张量；GraphDef：将Graph序列化为python代码得到的图，可以理解为一种数据结构，以常量的形式保存Tensor，无法继续训练; ——对应pb文件MetaGraph:将Graph进行序列化，进行模型保存，Tensor以变量形式保存，可以被继续训练（ 通过
转载
2024-04-02 13:04:12
76阅读
自剪枝神经网络 Simple RNN从理论上来看，具有全局记忆能力，因为T时刻，递归隐层一定记录着时序为1的状态 但由于Gradient Vanish问题，T时刻向前反向传播的Gradient在T-10时刻可能就衰减为0。 从Long-Term退化至Short-Term。 尽管ReLU能够在前馈网络中有效缓解Gradient Vanish，但RNN的深度过深，替换激活函数治标不治本。∣∣∣∏tj
构建了一种基于 Bi-LSTM 的短期汇率预测模型，提高了短期汇率预测的准确
原创
2022-11-16 19:27:46
666阅读
深度学习中，最强大的理念之一就是，有的时候神经网络可以从一个任务习得知识，并将这些知识应用到另一个独立任务中。 所以例如，也许你已经训练好了一个神经网络，能够识别像猫的对象，然后使用那些知识（或者一部分知识）去帮助你更好地阅读x射线的扫描图。 而这，就是迁移学习。下面用例子说明（图像识别 --> 放射诊断）： 步骤如下：训练好原始网络（图像识别 image recognition）把原网络最
转载
2024-09-02 19:17:13
149阅读
目前NLP领域最火的是各种各样的BERT。而BERT的核心则是更早出生的transformer。今天就来理一理transformers，下面是transformer的原论文。Attention is All You Need：https://arxiv.org/abs/1706.03762 首先是为什么要有transformer，在这之前我们训练seq2seq任务大多使用的是LSTM。效
1.ResNet网络详解网络中的创新点： (1)超深的网络结构(突破1000层) (2)提出residual模块 (3)使用Batch Normalization加速训练(丢弃dropout)(1)超深的网络结构如果简单的将一些的卷积和池化层堆叠起来，层数深的网络结构表现反而会越来越差，作者总结了两个问题： ①随着网络的不断加深，梯度消失或梯度爆炸的问题会越来越明显；这类问题可以通过对数据进行标准
转载
2024-01-30 22:11:05
133阅读
http://spaces.ac.cn/archives/3942/ 暑假期间做了一下百度和西安交大联合举办的核心实体识别竞赛，最终的结果还不错，遂记录一下。模型的效果不是最好的，但是胜在“端到端”，迁移性强，估计对大家会有一定的参考价值。 比赛的主题是“核心实体识别”，其实有两个任务：核心识别 +
转载
2017-05-16 17:39:00
84阅读
2评论
前言：前面我们学习了标准的单向单层和单向多层的RNN，这一博文我来介绍RNN的改进版本LSTM和GRU，至于为什么有
原创
2022-12-14 16:28:02
313阅读
在很多的时间序列预测任务中，利用卷积神经网络（CNN）和长短期记忆网络（LSTM）的混合模型是目前常见的深
