代码仓库: https://github.com/brandonlyg/cute-dl目标 上阶段cute-dl已经可以构建基础的RNN模型。但对文本相模型的支持不够友好, 这个阶段的目标是, 让框架能够友好地支持文本分类和本文生成任务。具体包括:添加嵌入层, 为文本寻找高效的向量表示。添加类别抽样函数, 根据模型输出的类别分布抽样得到生成的文
转载
2024-01-01 20:07:47
49阅读
最近在使用Keras和Pytorch处理时间序列数据，在变长数据的输入处理上踩了很多坑。一般的通用做法都需要先将一个batch中的所有序列padding到同一长度，然后需要在网络训练时屏蔽掉padding的值。在pytorch和keras中都有各自对padding值的处理，简单做一下总结。Keras使用Masking层Keras中自带的屏蔽padding值的方式，在网络结构比较简单时使用很方便。
转载
2024-10-02 15:52:51
21阅读
参考文章：知乎 - tf.nn.dynamic_rnn 详解 简单提一下，用TensorFlow实现RNN系列结构，基本就是定义一个cell，然后调用一个RNN函数，就获得输出了。而且，cell定义成什么类型基本就是什么类型的RNN了。 一、TensorFlow关于RNN函数的定义tf.nn.dynamic_rnn(
cell,
转载
2024-03-23 13:27:38
63阅读
Tensorflow+RNN实现新闻文本分类加载数据集数据集cnew文件夹中有4个文件：1.训练集文件cnews.train.txt2.测试集文件cnew.test.txt3.验证集文件cnews.val.txt4.词汇表文件cnews.vocab.txt新闻文本共有10个类别，65000个样本数据，其中训练集50000条，测试集10000条，验证集5000条。输入:从txt文本中输入的数据为新闻
转载
2024-02-08 13:27:50
158阅读
rnn的实现原理参考：https://zybuluo.com/hanbingtao/note/541458rnn.py:#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import numpy as np
from cnn import element_wise_op
from activators import ReluActivator, Ide
转载
2024-03-23 15:45:56
44阅读
一、什么是朴素贝叶斯朴素贝叶斯：它是一系列以假设特征特征之间强独立下运用的贝叶斯定理为基础的简单概率分类器，它的核心思想就是，假设有一篇文章，它属于A类文章的概率为P(A)属于B类文章的概率为P(B),如果P(A)>P(B)，则这篇文章属于A类，否则这篇文章属于B类。优点：在数据较少的情况下仍然有效，可以处理多分类问题缺点：对于输入数据的准备方式较为敏感二、程序实现流程图运行环境要求：jie
转载
2024-07-08 10:14:57
11阅读
RNN 循环神经网络系列 2：文本分类在第一篇文章中，我们看到了如何使用 TensorFlow 实现一个简单的 RNN 架构。现在我们将使用这些组件并将其应用到文本分类中去。主要的区别在于，我们不会像 CHAR-RNN 模型那样输入固定长度的序列，而是使用长度不同的序列。文本分类这个任务的数据集选用了来自 Cornell 大学的语句情绪极性数据集 v1.0，它包含了 5331 个正面和负面情绪的句
转载
2024-07-30 17:14:45
41阅读
第六章文本的情感分析研究 6.1引言传统上的文本分类往往关注于把文本映射到给定的主题，如体育，经济，政治等[122]。然而，近些年来对文本非主题分析的兴趣不断增加，Biber[123]的工作把文本就其来源和体裁风格(style)的不同进行分类，如作者，出版社和母语背景等。在诸如web网页，新闻组和在线新闻数据库这样的在线文本中，有大量隐含的信息可以利用，而在这些可用的信息中，一种有用的信
1. 简介首先我们要知道RNN是干什么的，解决了什么问题。RNN（Recurrent Neural Network）神经网络是一种能够处理序列数据的神经网络模型，它能够记忆之前的信息并将其应用于当前的计算中。RNN能够解决很多与序列相关的问题，如语言模型、机器翻译、语音识别、图像描述生成等。 RNN的特点是它们具有循环连接，这使得它们能够处理不定长的序列输入，并且能够根据之前的信息来预测下一个输出
解读tensorflow之rnn：该开始接触RNN我们都会看到这样的张图： 如上图可以看到每t-1时的forward的结果和t时的输入共同作为这一次forward的输入所以RNN存在一定的弊端，就是如果输入足够的长，因为每一次forward都会带有之前数据的信息，就会使效果变差：“张三走了！天气也不错，我要去打篮球。”这句话的重点肯定在于天气不错所以我去打球，而不是因为张三走
转载
2024-04-01 12:53:54
31阅读
RNN:公式：多层RNN，前层的输出ht作为后层的输入xt：双向RNN:因为时刻t的输出不仅取决于之前时刻的信息，还取决于未来的时刻，所以有了双向RNN。比如要预测一句话中间丢失的一个单词，有时只看上文是不行的，需要查看上下文。原理也和RNN差不多，只不过将是将句子中的每个token的向量按句子倒序一个个传入RNN。正向时用正向权重计算，反向时用反向权重计算。 正向计算和反向计算的权重不共享。n
转载
2024-03-24 10:20:00
255阅读
完整工程代码点击这里。数据集比较庞大，14个类别，每个文本平均长度为900。一开始就是搭建了很简单的RNN，然后出问题了，模型不收敛，后来看到其他大佬分享的baseline，基本都是把文本截断的，截断到250左右。于是我截断了下，模型有点收敛了，但是跑了几十个epoch还是0.3的精度上不去。。。。然后又找了别人 的TextRNN模型框架，发现了有个很细微的区别，别人的Lstm里面加了
Pytorch实现基于CharRNN的文本分类与生成标签： deep-learning pytorch nlp1 简介本篇主要介绍使用pytorch实现基于CharRNN来进行文本分类与内容生成所需要的相关知识，并最终给出完整的实现代码。2 相关API的说明pytorch框架中每种网络模型都有构造函数，在构造函数中定义模型的静态参数，这些参数将对模型所包含weights参数的维度进行设置。在运行时
转载
2023-12-18 11:19:05
126阅读
文本最流行的结构化表示就是向量空间模型，它把文本表示为一个向量，其中该向量的每个元素表示为文本中出现的单词。这会导致极高维的空间；通常，文本文档的集合中出现的每一个不同的字符串都是一个维度，包括常用英语词和其他类型字符串，如电子邮件地址和URL。对于合理大小的文本文件集合，向量很容易就包含数十万个元素。对于那些熟悉数据挖掘和机器学习的读者，向量空间模型可以被看作是一个传统的特征向量，其中的词和字符
转载
2024-07-21 08:51:14
39阅读
在此之前，我们已经学习了前馈网络的两种结构——DNN和CNN，这两种结构有一个特点，就是假设输入是一个独立的没有上下文联系的单位，比如输入是一张图片，网络识别是狗还是猫。但是对于一些有明显的上下文特征的序列化输入，比如预测视频中下一帧的播放内容，那么很明显这样的输出必须依赖以前的输入， 也就是说网络必须拥有一定的”记忆能力”。为了赋予网络这样的记忆力，一种特殊结构的神经网络——递归神经网络(R
转载
2023-12-04 13:27:30
88阅读
从本专栏开始，正式开始研究Python深度学习、神经网络及人工智能相关知识。前一篇文章详细讲解了如何评价神经网络，绘制训练过程中的loss曲线，并结合图像分类案例讲解精确率、召回率和F值的计算过程。本篇文章将分享循环神经网络LSTM RNN如何实现回归预测，通过sin曲线拟合实现如下图所示效果。本文代码量比较长，但大家还是可以学习下的。基础性文章，希望对您有所帮助！文章目录：一.RNN和LSTM
转载
2024-09-04 08:53:21
45阅读
在上一个教程中， 中我们使用RNN网络对名字所属的语言进行分类。这一次我们会反过来根据语言生成名字。 > python sample.py Russian RUS
Rovakov
Uantov
Shavakov
> python sample.py German GER
Gerren
Ereng
Rosher
> python sample.py Spanish SPA
Sall
常用的软件架构模型可以归类为三种架构模型：3/N层架构、“框架＋插件”架构、地域分布式架构。一．三种架构模型1．3/N层架构这是经典的多层架构模型，对于稍微复杂一点或特别复杂的系统，不使用分层架构是很难想象的。下图是经典的3层架构： 如今，凡是个程序员都能侃侃而谈3/N层架构，这确实是解决系统复杂性的一种主流模式，但是，只要采用了3/N层架构是不是就一定能解决系统的复杂性了？
本文约800字，建议阅读4分钟本文为你总结RNN模型结构的优缺点。标签：神经网络神经网络是深度学习的载体，而神经网络模型中，最经典非RNN模型所属，尽管它不完美，但它具有学习历史信息的能力。后面不管是encode-decode 框架，还是注意力模型，以及自注意力模型，以及更加强大的Bert模型家族，都是站在RNN的肩上，不断演化、变强的。这篇文章，阐述了RNN的方方面面，包括模型结构，优缺点，RN
在最左边的输出层有两个channel，每个channel是一个二维的矩阵，矩阵的列的长度等于语句sentence的长度（也就是sentence中的单词个数，通过padding使得待分类的每个sentence都有相同的长度），矩阵的行向量表示每个单词的向量形式，文中作者使用了word2vec工具初始化了，也就是每个单词都做了embedding。两个channel在初始化的时候是一样的，而之所以使用了
转载
2024-03-26 11:02:08
76阅读
