num_embeddings (python:int) – 词典的大小尺寸，比如总共出现5000个词，那就输入5000。此时index为（0-4999）embedding_dim (python:int) – 嵌入向量的维度，即用多少维来表示一个符号。padding_idx (python:int, optional) – 填充id，比如，输入长度为100，但是每次的句子长度并不一样，后面就需要用
转载
2024-01-03 12:42:42
34阅读
从头推导与实现 BP 网络回归模型目标学习 \(y = 2x\)模型单隐层、单节点的 BP 神经网络策略Mean Square Error 均方误差\[MSE = \frac{1}{2}(\hat{y} - y)^2
\]模型的目标是 \(\min \frac{1}{2} (\hat{y} - y)^2\)算法朴素梯度下降。在每个 epoch 内，使模型对所有的训练数据都误差最小化。网络结构For
转载
2024-03-14 22:41:02
63阅读
项目传送门：https://github.com/kerlomz/captcha_trainer1前言本项目适用于Python3.6，GPU>=NVIDIAGTX1050Ti，原master分支已经正式切换为CNN+LSTM+CTC的版本了，是时候写一篇新的文章了。长话短说，开门见山，网络上现有的代码以教学研究为主，本项目是为实用主义者定制的，只要基本的环境安装常识，便可很好的训练出期望的模
原创
2020-12-15 16:06:55
1529阅读
论文： IMPROVING LATENCY-CONTROLLED BLSTM ACOUSTIC MODELS FOR ONLINE SPEECH RECOGNITION思想： BLSTM作为当前主流的序列建模算法，在语音识别领域取得了不错的效果。但因为BLSTM的双向LSTM结构，在序列建模时需要用到未来的时序信息，这使得算法在流式语音识别中受到制约，不满足流式语音识别对输出延迟的要求；而LC
RNN（循环神经网络），会有梯度消失或爆炸的问题；LSTN能解决长时间序列的问题；GRU比LSTM简单，实现小国是一样的，所以变得越来越流行；BLSTM（双向LSTM），能利用后面时间的信息；ConvLSTM（卷积LSTM）适用于三维数据，比如图像等数据。
参考博客
sequence to sequence模型是一类End-to-End的算法框架，也就是从序列到序列的转换模型框架，应用在机器翻译，自动应答等场景。
Seq2Seq一般是通过Encoder-Decoder（编码-解码）框架实现，Encoder和Decoder部分可以是任意的文字，语音，图像，视频数据，模型可以采用CNN、RNN、LSTM、GRU、BLSTM等等。所以基于Encoder-Decode
转载
2018-05-16 09:24:00
595阅读
2评论
阿里巴巴 2018 年开源的语音识别模型 DFSMN，将全球语音识别准确率纪录提高至 96.04%。DFSMN 模型，是阿里巴巴的高效工业级实现，相对于传统的 LSTM、BLSTM 等声学模型，该模型具备训练速度更快、识别更高效、识别准确率更高和模型大小压缩等效果。 本场 Chat 的主要内容包括：
转载
2018-11-15 08:44:00
70阅读
2评论
1、（2016）CTPN，基础网络框架：VGG16，BLSTM利用图像上下文的信息特征，FC，支持水平和倾斜文本的检测《Detecting text in natural image with connectionist text proposal network》具体的步骤首先，用VGG16的前5个Conv stage得到feature map，大小为W*H*C用3*3的滑动窗口在前一步得到的f
转载
2024-09-23 19:56:05
101阅读
CRNN Keras版源码详细解读系列之模型搭建引言1、初始化参数2、CRNN中CNN网络搭建（VGG）（1）keras的INPUT层：（2）VGG网络搭建（注释在代码后）：3、CRNN中RNN网络搭建（BLSTM）（1）CNNtoRNN（2）RNN（3）预测后记 引言笔者在使用CRNN完成长文本识别的过程中，用了keras的api搭建了神经网络，并对于其中的代码进行了详读，简单作些笔记，供有同
转载
2024-05-11 20:26:38
82阅读
关于提取特征向量这件事视觉图像领域提特征向量的方式：古典方式：SIFI/HOG算法现代方式：VGG、ResNet、MobileNet等网络自然语言处理文本领域提特征向量的方式：较早时期：N-Grams、TF-IDF、word2vec、embedding、Fast text等目前：BLSTM、Transformer、BERT等 不论图像还是文本，下游的分类、检测等具体的AI任务均需要在上游对数据进行
转载
2023-11-29 06:50:20
471阅读
阿里巴巴 2018 年开源的语音识别模型 DFSMN，将全球语音识别准确率纪录提高至 96.04%。DFSMN 模型，是阿里巴巴的高效工业级实现，相对于传统的 LSTM、BLSTM 等声学模型，该模型具备训练速度更快、识别更高效、识别准确率更高和模型大小压缩等效果。本场 Chat 的主要内容包括：语音识别流程简介Kaldi 的部署使用如何训练基于中文的 DFSMN 声学模型语音特征提取 MFCC
转载
2023-12-12 23:13:05
172阅读
阿里巴巴 2018 年开源的语音识别模型 DFSMN，将全球语音识别准确率纪录提高至 96.04%。DFSMN 模型，是阿里巴巴的高效工业级实现，相对于传统的 LSTM、BLSTM 等声学模型，该模型具备训练速度更快、识别更高效、识别准确率更高和模型大小压缩等效果。本场 Chat 的主要内容包括：语音识别流程简介Kaldi 的部署使用如何训练基于中文的 DFSMN 声学模型语音特征提取 MFCC
循环神经网络及变型总结一、RNN（循环神经网络）二、LSTM（长短时记忆网络）三、GRU(Gated Recurrent Unit)四、BLSTM（双向LSTM）五、ConvLSTM（卷积LSTM）六、总结参考资料： 一、RNN（循环神经网络）循环神经网络的主要用途是处理和预测序列形式的数据。在网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息承上启下，影响后面结点的输出,其
转载
2024-05-30 00:39:54
319阅读
CRNN本项目是PaddlePaddle 2.0动态图实现的CRNN文字识别模型，可支持长短不一的图片输入。CRNN是一种端到端的识别模式，不需要通过分割图片即可完成图片中全部的文字识别。CRNN的结构主要是CNN+RNN+CTC，它们分别的作用是，使用深度CNN，对输入图像提取特征，得到特征图。使用双向RNN（BLSTM）对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签（真实值
转载
2024-10-25 15:16:39
45阅读
一、概述1、本文idea提出原因传统的方法中，大多数研究依赖于一些现有的词汇资源（例如WordNet）、NLP系 统或一些手工提取的特征。这样的方法可能导致计算复杂度的增加，并且特征提取工作本身会耗费大量的时间和精力，特征提取质量的对于实验的结果也有很大的影响。提出了 ATT-BLSTM的网络结构解决关系端对端识别问题这篇论文从这一角度出发，提出一个基于Attention机制的双向 LSTM神经网
转载
2024-06-02 15:42:29
91阅读
介绍：是目前较为流行的图文识别模型，可识别较长的文本序列， 它利用BLSTM和CTC部件学习字符图像中的上下文关系， 从而有效提升文本识别准确率，使得模型更加鲁棒。 CRNN是一种卷积循环神经网络结构，用于解决基于图像的序列识别问题，特别是场景文字识别问题。 文章认为文字识别是对序列的预测方法，所以采用了对序列预测的RNN网络。通过CNN将图片的特征提取出来后采用RNN对序列进行预测，最后通过一个
转载
2024-04-02 10:10:43
103阅读
第一次写博客，可能写的比较乱，请不要在意。做个介绍，本程序是我的毕业设计内容，主要任务是使用神经网络识别出一行字符，包括汉字、字母和标点符号，印刷体和手写的字符都可以识别，测试结果在下面。我的训练显卡是GTX TITAN Xp （12GB）我的训练程序架构由预处理函数 + 三层卷积神经网络（CNN）+ 一层全连接层 + 二层双向长短期记忆网络（BLSTM） + 一层全连接层 + CTC函数组成，编
转载
2023-11-30 18:17:54
45阅读
在语音顶会ICASSP，阿里巴巴语音交互智能团队的poster论文提出一种改进的前馈序列记忆神经网络结构，称之为深层前馈序列记忆神经网络（DFSMN）。研究人员进一步将深层前馈序列记忆神经网络和低帧率（LFR）技术相结合，构建LFR-DFSMN语音识别声学模型。该模型在大词汇量的英文识别和中文识别任务上都可以取得相比于目前最流行的基于长短时记忆单元的双向循环神经网络（BLSTM）的识别系统显著的性
转载
2024-01-10 12:24:40
38阅读
小叽导读：本研究我们提出了一种改进的前馈序列记忆神经网络结构，称之为深层前馈序列记忆神经网络（DFSMN）。进一步地我们将深层前馈序列记忆神经网络和低帧率（LFR）技术相结合构建了LFR-DFSMN语音识别声学模型。该模型在大词汇量的英文识别和中文识别任务上都可以取得相比于目前最流行的基于长短时记忆单元的双向循环神经网络（BLSTM）的识别系统显著的性能提升。而且LFR-DFSMN在训练速度，模型
转载
2023-12-01 07:05:47
72阅读
前言前段时间写了关于RNN，LSTM、BLSTM相关的博客，从结构上对这是那种网络进行了讲解，前两天看了一篇有关注意力机制的论文，很感兴趣，于是今天恶补了一天，在这里写下学习心得，从另外一个方面来介绍上述模型的优点。人类注意力机制从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制，因此，我们首先简单介绍人类视觉的选择性注意力机制。 其实详细说起来复杂但是如果简单是的说就是一个关键词“选择性”
转载
2023-11-06 18:11:30
506阅读
