一、概述：1. RNN Encoder–Decoder for Statistical Machine Translation论文连接：http://emnlp2014.org/papers/pdf/EMNLP2014179.pdf2. 摘要：在本文中，作者提出了一种称为RNN编码器-解码器的新型神经网络模型-由两个循环解码器组成神经网络。一个RNN作为编码器将一系列符号编码为固定长度的向量表示，
转载
2024-07-01 07:38:46
63阅读
GMM-HMM声学模型实例详解GMM-HMM为经典的声学模型，基于深度神经网络的语音识别技术，其实就是神经网络代替了GMM来对HMM的观察概率进行建模，建模解码等识别流程的格个模块仍然沿用经典的语音识别技术
接下来我将从GMM、最大似然估计到EM算法实例，再到最后使用一段语音介绍GMM-HMM声学模型参数更新过程一、GMM (混合高斯分布)1、正态分布(高斯分布)如果你绘制出来的概率分布是一条钟型
转载
2024-06-25 21:15:51
59阅读
RNN是一个很有意思的模型。早在20年前就有学者发现了它强大的时序记忆能力，另外学术界以证实RNN模型属于Turning-Complete，即理论上可以模拟任何函数。但实际运作上，一开始由于vanishing and exploiting gradient问题导致BPTT算法学习不了长期记忆。虽然之后有了LSTM（长短记忆）模型对普通RNN模型的修改，但是训练上还是公认的比较困难。在Tensorf
转载
2024-07-05 22:57:33
28阅读
《Ring loss: Convex Feature Normalization for Face Recognition》 2018，Yutong Zheng et al. Ring loss引言： 本文提出了Ring loss，一种简单的深层网络特征归一化方法，用于增强诸如Softmax之类的标准损失函数。我们认为，深度特征归一化是有监督分类问题的一个重要方面，我们需要模型在多类问题中平等地表
转载
2024-05-26 20:46:24
56阅读
● 每周一言道理是表，知识是里。导语最近工作中用到了循环神经网络（Recurrent Neural Networks），感觉网上的各种资料包括相关论文及技术博客等等，似乎都不能足够细致清晰的给出推导步骤。因此于周日闲暇时光试推公式，却陷于时间维度的反向传播推导之中，直到昨晚才恍然大悟。在这里与大家分享我的推导，也便于日后温习与查阅。循环神经网络上周概述了神经网络，了解到神经网络是由一层一层的神经元
机器视觉的集成和设计面临各种来自硬件、软件和电子方面问题的挑战，如果忽视光学性能规格，不了解如何评估光学器件，用户挑选合适的机器视觉镜头将会面临挑战。通过了解10项镜头规格，可以帮助集成商和用户挑选镜头，来优化或评估各自系统的性能。
视觉系统光学性能的4项最基本参数是视野（field of view）、分辨率resolution、工作距离working distance和景深dept
转载
2024-02-27 15:26:34
36阅读
V模型,W模型,X模型,H模型一、V模型 在软件测试方面，V模型是最广为人知的模型，尽管很多富有实际经验的测试人员还是不太熟悉V模型，或者其它的模型。V模型已存在了很长时间，和瀑布开发模型有着一些共同的特性，由此也和瀑布模型一样地受到了批评和质疑。V模型中的过程从左到右，描述了基本的开发 过程和测试行为。V模型的价值在于它非常明确地标明了测试过程中存在的不同级别，并且清楚地描述了这些测试阶段和开
原创
2014-04-11 11:25:12
10000+阅读
1 模型融合目标对于多种调参完成的模型进行模型融合。2 内容介绍模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。简单加权融合: 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；分类：投票（Voting)；综合：排序融合(Rank averaging)，log融合。stacking/blending: 构建多层模型，并利用预
流动模型流动是默认的网页布局格式，默认情况下HTML元素都根据该模式来分布网页内容。 该他元素都在一行上
原创
2023-01-03 11:50:56
128阅读
V模型 在软件测试方面，V模型是最广为人知的模型，尽管很多富有实际经验的测试人员还是不太熟悉V模型，或者其它的模型。V模型已存在了很长时间，和瀑布开发模型有着一些共同的特性，由此也和瀑布模型一样地受到了批评和质疑。V模型中的过程从左到右，描述了基本的开发 过程和测试行为。V模型大体可以划分为以下几个不同的阶段步骤：需求分析、概要设计、详细设计、软件编码、单元测试、集成测试、系统测试、
转载
2017-10-19 15:24:16
3225阅读
这三个模型都可以用来做序列标注模型。但是其各自有自身的特点，HMM模型是对转移概率和表现概率直接建模，统计共现概率。而MEMM模型是对转移 概率和表现概率建立联合概率，统计时统计的是条件概率。MEMM容易陷入局部最优，是因为MEMM只在局部做归一化，而CRF模型中，统计了全局概率，在 做归一化时，考虑了数据在全局的分布，而不是仅仅在局部归一化，这样就解决了MEMM中的标记偏置的问题。举个例
转载
2022-12-19 17:37:40
218阅读
推理的基本概念3.1.1 推理的定义3.1.2 推理方式及其分类 1.演绎推理：一般 → 个体三段论式（三段论法）2.归纳推理：个体 → 一般完全归纳推理（必然性推理）不完全归纳推理（非必然性推理） 3.默认推理（缺省推理）：知识不完全的情况下假设某些条件已经具备所进行的推理。 1.确定性推理：推理时所用的知识与证据都是确定的，推出的结论也是确定的，其真值或者为真或者为假。 2.不确定性推理：推理
1、集成模型 组装训练好的模型就像编写ensemble_model一样简单。它仅采用一个强制性参数，即经过训练的模型对象。此函数返回一个表，该表具有k倍的通用评估指标的交叉验证分数以及训练有素的模型对象。使用的评估指标是：分类：准确性，AUC，召回率，精度，F1，Kappa，MCC回归：MAE，MS
转载
2020-10-11 20:25:00
722阅读
2评论
目录前言使用情景如何来范式建模使用的效果小结 前言 上篇讲述了一些抽象的概念模型和逻辑模型设计的东西，接下来就该讲述如何来一步一步的利用Inmon和Kimball数据仓库的理论来建设数据仓库的模型，主要分几块吧，一个是范式建模，然后是维度建模（分几篇总结），最后是因地制宜，按照自己的平台来考虑如何综合的考虑Inmon和Kimball数据仓库的理论的应用。Inmon最
转载
2024-04-24 07:13:21
110阅读
一、场景需求解读 在现实场景中，我们经常会遇到这样一个问题，即某篇论文的结果很棒，但是作者
转载
2022-08-01 13:49:59
1923阅读
LSTM网络结构 long short term memory，即我们所称呼的LSTM，是为了解决长期以来问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。 LSTM也有与RNN相似的循环结构，但是循环模块中不再是简单的网络，而是比较复杂的网络单元。LSTM的循环模块主要有4个单元，以比较复杂
转载
2023-09-23 13:11:12
243阅读
软件开发经典流程图 在这里插入图片描述 一、瀑布模型 模型图 定义：瀑布模型(W
转载
2022-11-26 22:44:07
3609阅读
概念模型就是在了解了用户的需求，用户的业务领域工作情况以后，经过分析和总结，提炼出来的用以描述用户业务需求的一些概念的东西。
原创
2023-11-07 14:24:20
152阅读
一、RLHF微调三阶段 参考：https://huggingface.co/blog/rlhf 1）使用监督数据微调语言模型，和fine-tuning一致。 2）训练奖励模型 奖励模型是输入一个文本序列，模型给出符合人类偏好的奖励数值，这个奖励数值对于后面的强化学习训练非常重要。构建奖励模型的训练数据一般是同一个数据用不同的语言模型生成结果，然后人工打分。如果是训练自己
转载
2023-11-15 23:57:30
426阅读
目录Transformer1. 前言2. Transformer详解3. 总结2.1 Transformer整体结构2.2 输入编码2.3 Self-Attention2.4 Multi-Head Attention2.5 位置编码2.6 残差结构2.7 解码器结构2.8 The Final Linear and Softmax Layer2.9 损失函数3. 总结4. 相关参考资料Transfo
