近期，斯坦福大学自然语言处理小组开发了一个 Python 库 StanfordNLP，用于解决许多常见的自然语言处理问题，可以处理多达 53 种人类语言模型，便于数据科学家和 Python 开发人员使用。语言StanfordNLP 提供了针对53 种人类语言的预训练的深度学习模型，并使用PyTorch作为其机器学习的入门。每种语言都有一个treebank，它是一个巨大的文本数据集，为语
NLP（Natural Language Processing ）自然语言处理：是计算机科学，人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言，以执行语言翻译和问题回答等任务。NLU (Natural Language Understanding ) 自然语言理解：将人的语言形式转化为机器可理解的、结构化的、完整的语义表示，通俗来讲就是让计算机能够理解和生成人类语言。N
转载
2023-08-16 15:29:48
140阅读
本篇主要介绍TextCnn针对中文的分本分类的代码实现。下一篇计划讲模型训练及线上文本分类。代码基于开源代码 https://github.com/dennybritz/cnn-text-classification-tf 建议对NLP文本分类或CNN不了解的先阅读我的上一篇blog及以下的大神blog ：NLP文本分类入门学习及TextCnn实践笔记（一）参考的大神
转载
2024-04-26 14:50:41
35阅读
（封面图由ERNIE-ViLG AI 作画大模型生成） 【NLP相关】attention的代码实现Attention模型是现今机器学习领域中非常热门的模型之一，它可以用于自然语言处理、计算机视觉、语音识别等领域。本文将介绍Attention模型的代码实现。1. attention机制的原理首先，我们需要了解Attention模型的基本概念。Attention是一种机制，它可以用于选择和加权输入
转载
2023-10-18 18:37:08
98阅读
写在前面这是NLP保姆级教程的第二篇----基于RNN的文本分类实现（Text RNN）参考的的论文是来自2016年复旦大学IJCAI上的发表的关于循环神经网络在多任务文本分类上的应用：Recurrent Neural Network for Text Classification with Multi-Task Learning[1]论文概览在先前的许多工作中，模型的学习都是基于单任务，对于复杂
转载
2023-07-31 23:37:24
114阅读
NLP概述什么是NLP机器翻译系统案例分析NLP的应用场景NLP的关键技术 时隔n个月后回归！人工智能大作业突然布置了分词，想想去年没有完成的主观题批改项目，留下了不学无术的泪水（本来有无数个作业能拿这个冒充的呜呜呜）。什么是NLP? 自然语言和编程语言看见这个标题就想起来上学期学离散中形式化语言的痛苦经历，编程语言其实已经把自然语言变成了一个符号集合，但是自然语言很麻烦啊，我连英语都学不会！但
转载
2023-11-25 13:04:01
48阅读
文章目录前言一、目标文本是什么？二、模型调用步骤1.引入库2.导入模型，本文使用 t5-base3.使用分词器对目标文本进行分词4.对刚刚生成的分词结果进行目标语言的生成工作5.对生成的目标语言进行解码工作，就可得到目标语言的文本，并打印 前言Google的T5模型从2019年发布到今天雄风依旧；在翻译，文本分类，智能问答，文章摘要等方面都取得SOTA地位；本文使用T5的翻译功能完成 文本从一种
转载
2024-03-05 09:14:56
34阅读
参考 https://www.zhihu.com/question/40309730 NLP通常包括两个关键问题： 1.选择什么样的语言模型？ 2.选择什么样的分类算法？ 第二个问题是机器学习领域的标准问题，各种针对不同数据类型、数据分布的算法和技巧，这里不再赘述。而在NLP当中，语言模型更加重要一些。 不同语言模型的区别，也就是对文本提取特征的不同。常用的模型有
转载
2023-08-31 10:44:43
79阅读
最近学习四个模型。 textCNN, LSTM(RNN,GRU), HAN, charCNN。 参考别人的博客实现了相关模型的代码，为了后续学习中能够快速写出自己的代码，特地在此进行这些模型的代码总结，这种模型除了原理不同，整体代码的流程都是差不多的。 一般采用一个模型去处理文本相关任务，写得tensorflow代码一般分为四个python文件。 data_helper.py（处理数据）mo
转载
2023-07-31 21:17:52
102阅读
NLP之TF之LSTM：基于Tensorflow框架采用PTB数据集建立LSTM网络的自然语言建模目录关于PTB数据集代码实现关于PTB数据集PTB （Penn Treebank Dataset）文本数据集是语言模型学习中目前最被广泛使用数据集。 ptb.test.txt #测试集数据文件 ptb.train.txt #训练集数据文件 ptb.valid.t
转载
2023-12-19 09:42:56
52阅读
现在每次后面都会加上一个Q&A部分，就是每次有人看完，讲完后的问题，或者是一些不全面的方面，以问答的形式呈现出来。现在开的坑系列是Github上一个即将3k+Star的NLP-tutorial项目，里面是一些NLP方面的Deep-learning代码，框架Tensor和Torch都有，而且实现行数基本都控制在了100行以内，比较适合去研究一下。这样之后搭框架的时候就会明白许多了。 第二部分
转载
2023-09-14 12:30:07
53阅读
一、词频----TF• 假设：如果一个词很重要，应该会在文章中多次出现• 词频——TF（Term Frequency）：一个词在文章中出现的次数• 也不是绝对的！出现次数最多的是“的”“是”“在”，这类最常用的词，叫做停用词（stop words）• 停用词对结果毫无帮助，必须过滤掉的词• 过滤掉停用词后就一定能接近问题么？• 进一步调整假设：如果某个词比较少见，但是它在这篇文章中多次出现，那么它
转载
2024-09-27 18:37:38
59阅读
情感分析简介文本情感分析（Sentiment Analysis）是自然语言处理（NLP）方法中常见的应用，也是一个有趣的基本任务，尤其是以提炼文本情绪内容为目的的分类。它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。 本文将介绍情感分析中的情感极性（倾向）分析。所谓情感极性分析，指的是对文本进行褒义、贬义、中性的判断。在大多应用场景下，只分为两类。例如对于“喜爱”和“厌恶”这两
转载
2023-09-20 09:23:53
139阅读
点赞
Integrating distributional lexical contrast into word embeddings for antonym synonym 文章目录Integrating distributional lexical contrast into word embeddings for antonym synonym1 论文出处2 背景2.1 背景介绍2.2 针对问题2
转载
2024-01-30 00:37:17
100阅读
欢迎查看Github代码及训练数据集，给个star呗~
训练语言模型用RNN,LSTM,GRU来训练一个语言模型，用于预测单词的下一个词torchtext基本用法构建 vocabularyword to index 和 index to wordtorch.nn的一些基本模型LinearRNNLSTMGRURNN的训练技巧Gradient Clipping保存和读取模型torchtext介绍和使用
转载
2023-09-04 18:38:42
118阅读
for very deep convolutional networks for nlp对于nlp中的任务，我们一般会采用RNN（尤其是lstm）和cnn网络，但是相比于计算机视觉中的神经网络是非常浅的。文章提出了一个新的结构，用于文本处理，作用于字符级别上，使用小的convlution和pooling 操作（小，应该指的是卷积核和步长之类）。用了29层卷积层。这是深度卷积网络第一次用于NLP。‘
转载
2024-06-26 15:30:35
55阅读
# NLP文本生成实例
自然语言处理（NLP）是人工智能中的一个重要领域，它涉及计算机与人类语言之间的交互。文本生成是NLP的一个主要任务，旨在自动生成自然语言文本。本文将介绍文本生成的基本原理，并通过Python代码示例来演示其实现过程。
## 什么是文本生成？
文本生成是指使用算法生成符合语法和语义的自然语言文本。可以应用于多个领域，如新闻文章撰写、对话系统、内容创作等。生成文本的常见方
原创
2024-09-28 04:29:55
85阅读
定义事件抽取技术是从非结构化信息中抽取出用户感兴趣的事件，并以结构化呈现给用户。事件抽取任务可分解为4个子任务: 触发词识别、事件类型分类、论元识别和角色分类任务。其中，触发词识别和事件类型分类可合并成事件识别任务。论元识别和角色分类可合并成论元角色分类任务。事件识别判断句子中的每个单词归属的事件类型，是一个基于单词的多分类任务。角色分类任务则是一个基于词对的多分类任务，判断句子中任意一对触发词和
转载
2023-10-16 13:41:33
51阅读
背景介绍文本情感分析作为NLP的常见任务，具有很高的实际应用价值。本文将采用LSTM模型，训练一个能够识别文本postive, neutral, negative三种情感的分类器。本文的目的是快速熟悉LSTM做情感分析任务，所以本文提到的只是一个baseline，并在最后分析了其优劣。对于真正的文本情感分析，在本文提到的模型之上，还可以做很多工作，以后有空的话，笔者可以再做优化。理论介绍RNN应用
转载
2023-10-19 11:00:00
22阅读
目录前言一、数据加载1.加载包2.读取数据二、数据观察 (EDA)1.整体情况1.1 数值型特征基本统计量 1.2 非数值型特征基本统计量2.生存率 Y 的信息2.1 生存率与特征关系2.2 Pclass 与生存率的关系2.3 Sex 与生存率的关系2.4 数值型两两线性相关性三、特征工程1.Pclass 特征2.Name 特征2.1 将类别少的称谓替换成 other2.2 转换成 on
转载
2023-11-21 15:21:44
152阅读
