看了一些论文：《汉语自动句法分析的理论和方法》、
《词语位置加权TextRank的关键词抽取研究》、
《利用统计量和语言学规则提取多字词表达》、
《基于超图的文本摘要与关键词协同抽取研究》、
《基于最大熵的依存句法分析》、
《基于序列标注的中文依存句法分析方法》、
《中文维基百科的实体分类研究》。
第一篇论文是句法分析的一个Tutorial。
TextRank由PageRank而来，它利用投票机制
上一篇转载了一些大规模文本分类的方法，其中就有TextCNN，这篇博客就主要解析一下Tensorflow版TextCNN的主要代码。import tensorflow as tf
import numpy as np
class TextCNN(object):
"""
A CNN for text classification.
Uses an embedding l
转载
2024-10-11 12:43:31
31阅读
classifier4php基于 PHP 和 word2vec 的简单分类器，用于文章、新闻等内容自动分类，项目包含样本训练、识别代码，分词组件用的是 PhpAnalysis，简单灵活。欢迎大家一起优化并完善。项目地址：背景每个搜索引擎其实都有一套完善的分类器，拿最简单的分类器举例，不管你是巨头门户还是垂直三、四级以下的网站，他都能识别你的站点类型。面向海量内容的今天，随随便便就能从互联网采集、抓
1、初始TextCNN 最近在做寿命预测问题的研究中，拿到的数据为一维的数据，传统的数据预处理方法主要有PCA、LDA、LLE等，考虑到应用CNN进行特征的提取，从而提高预测的精度。但之前了解到的CNN多应用于图像处理，其输入数据为二维或者多维的数据，因此进一步了解学习应用于文本分类的TextCNN。下一篇文章会通过期刊论文来介绍几篇CNN的具体应用实例，主要介绍模型的网络结构。Text
1.单向RNN结构上述公式中，权重矩阵U、V、W共享2.双向RNN(Bidirection-RNN)结构双向RNN的最终输出和中间隐藏状态的计算公式如下，正向计算与反向计算不共享权重:3.LSTM(长短时记忆网络)普通的RNN网络中只有S_t = f(Ux_t+WS_t-1)，这种结构无法捕捉到长文本中远距离相关的特征，同时隐藏层的状态对短期的输入非常敏感，也会产生梯度爆炸或梯...
原创
2021-07-30 10:33:18
2001阅读
Text-CNN模型作为文本分类模型，通过验证实验以及业界的共识，在文本分类任务中，CNN模型已经能够取到比较好的结果，虽然在某些数据集上效果可能会比RNN稍差一点，但是CNN模型训练的效率更高。所以，一般认为CNN模型在文本分类任务中是兼具效率与质量的理想模型。针对海量的文本多分类数据，也可以尝试一下浅层的深度学习模型FastText模型，该模型的分类效率更高。Text-CNN模型结构：Te
转载
2024-04-25 12:04:45
171阅读
1、何为textcnn利用卷积神经网络对文本进行分类的算法,那如何用卷积神经网络对文本进行分类呢。这里就tensorflow版本的textcnn源码分析一波。要知道，对文本向量化之后一般是一个一维向量来代表这个文本，但是卷积神经网络一般是对图像进行处理的，那如何将一维转化成二维呢，textcnn在卷积层之前设置了一个embedding层，即将词向量嵌入进去。那具体如何操作的呢。比如一句话（“白条”
转载
2024-07-03 22:09:01
76阅读
目录摘要self-attention模型的输入模型的输出自注意力机制函数计算相关度的公式 self-attention的计算过程（运算过程）位置编码（Positional Encoding） self-attention v.s. CNNself-attention v.s. RNN总结摘要 本周主要学习自注意力机制，self
转载
2024-05-04 17:19:53
139阅读
机器学习中的范数规则化之L0、L1、L2范数及loss函数监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。 最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太多，会导致我们的模型复杂度上升，容易过
转载
2024-08-20 18:01:22
35阅读
基于深度学习的文本分类(TextRNN)
在自然语言处理领域中，文本分类是一个重要的任务，它可以将文本数据按照预定义的类别进行归类。深度学习方法已经在文本分类中取得了很好的效果，其中一种常用的模型是TextRNN（Recurrent Neural Network）。本文将介绍TextRNN的原理及实现，并通过代码示例演示其应用。
TextRNN模型是一种序列模型，它能够捕捉文本中的上下文信息。
原创
2023-08-16 15:51:01
138阅读
# coding: UTF-8import torchimport torch.nn as nnimport numpy as npclass Config(object):
"""配置参数"""
def __init__(self, dataset, embedding)
原创
2021-04-22 21:54:52
322阅读
项目介绍本文是对情感分析系统的二次优化。优化了数据清洗部分代码做了简单的数据可视化更简便的超参数选择方法对一些函数在时间复杂度上的优化下面来看一下具体的实现过程1.File Reading: 文本读取从结构化的数据集中，提取测试数据与训练数据import re
def read_train_file(file_path):
comments = [] # 用来存储评论
labe
转载
2024-08-06 20:47:41
25阅读
向AI转型的程序员都关注公众号机器学习AI算法工程中文数据集我从THUCNews中抽取了20万条新闻标题，已上传至github，文本长度在前分好词，词之间用空...
转载
2024-07-08 14:45:01
0阅读
# coding: UTF-8import torchimport torch.nn as nnimport torch.nn.functional as Fimport numpy as npclass Config(object):
"""配置参数"""
def __init__
原创
2021-04-22 21:54:35
383阅读
本文以Pytorch为框架，实现了7种经典的深度学习中文文本分类模型，包括TextCNN、TextRNN、FastText、TextRCNN、Te
原创
2024-04-05 15:25:36
0阅读
本篇主要记录Keras实现BiLSTM+Attention模型，其中Attention是自定义层。然后用该模型完成新闻标题文本分类任务。详细代码和数据：https://github.com/huanghao128/zh-nlp-demo数据预处理这里使用的数据集只是用来演示文本分类任务，所以没有使用长篇的文章，而是使用的标题。原始数据集是在头条爬取的，在这里可以下载：https://github.
转载
2024-08-23 07:14:40
71阅读
基于 word2vec TextRNN 的新闻文本分类
原创
2024-05-24 12:08:32
0阅读
输入文本先通过embedding层转换为词向量表示。添加一个维度以适配卷积操作（unsqueeze(1)）。应用多个卷积层和
原创
2024-05-08 16:33:16
223阅读
目录
textRNN简介textRNN网络结构
总结
一句话简介：textRNN指的是利用RNN循环神经网络解决文本分类问题，通常使用LSTM和GRU这种变形的RNN，而且使用双向，两层架构居多。
一、textRNN简介
这里的文本可以一个句子，文档(短文本，若干句子)或篇章(长文本)，因此每段文本的长度都不尽相同。在对文本进行分类时，我们一般会指定一个固定的
xtRNN基于TextCNN、TextRNN的文本表示TextCNNTextRNN使用.
原创
精选
2023-06-08 13:21:31
225阅读
