本篇主要介绍TextCnn针对中文的分本分类的代码实现。下一篇计划讲模型训练及线上文本分类。代码基于开源代码 https://github.com/dennybritz/cnn-text-classification-tf 建议对NLP文本分类或CNN不了解的先阅读我的上一篇blog及以下的大神blog ：NLP文本分类入门学习及TextCnn实践笔记（一）参考的大神
转载
2024-04-26 14:50:41
32阅读
一、NLP是什么自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语
转载
2023-05-24 14:53:53
213阅读
（封面图由ERNIE-ViLG AI 作画大模型生成） 【NLP相关】attention的代码实现Attention模型是现今机器学习领域中非常热门的模型之一，它可以用于自然语言处理、计算机视觉、语音识别等领域。本文将介绍Attention模型的代码实现。1. attention机制的原理首先，我们需要了解Attention模型的基本概念。Attention是一种机制，它可以用于选择和加权输入
转载
2023-10-18 18:37:08
98阅读
文章目录前言一、目标文本是什么？二、模型调用步骤1.引入库2.导入模型，本文使用 t5-base3.使用分词器对目标文本进行分词4.对刚刚生成的分词结果进行目标语言的生成工作5.对生成的目标语言进行解码工作，就可得到目标语言的文本，并打印 前言Google的T5模型从2019年发布到今天雄风依旧；在翻译，文本分类，智能问答，文章摘要等方面都取得SOTA地位；本文使用T5的翻译功能完成 文本从一种
转载
2024-03-05 09:14:56
34阅读
# 使用NLP进行信息检索的完整指南
在信息检索领域，NLP（自然语言处理）技术的结合使得从大量未结构化文本信息中精准提取有价值信息变得越来越有效。作为开发者，理解如何将NLP与检索结合是相当重要的。本文将详细介绍实现“nlp 转 检索”的整个流程，代码示例以及每一步的解释，以便你能够顺利上手。
## 流程概述
下面是执行“nlp 转 检索”的整体流程表格：
| 步骤 | 描述
中文自然语言处理
Transformer模型(一) transformer是谷歌大脑在2017年底发表的论文attention is all you need中所提出的seq2seq模型. 现在已经取得了大范围的应用和扩展, 而BERT就是从transformer中衍生出来的预训练语言模型. 目前transformer模型已经得到广泛认可和应用, 而应用的方式主要是先进行预训练语
转载
2024-08-14 10:31:05
75阅读
Attention原理目前大多数的注意力模型都是依附在 Encoder-Decoder 框架下，但并不是只能运用在该模型中，attention机制作为一种思想可以和多种模型进行结合，其本身不依赖于任何一种框架。Encoder-Decoder 框架是深度学习中非常常见的一个模型框架，例如在 Image Caption 的应用中 Encoder-Decoder 就是 CNN-RNN 的编码 - 解码框
转载
2024-03-11 13:40:28
35阅读
1. 抢跑的nlpnlp发展的历史非常早，因为人从计算机发明开始，就有对语言处理的需求。各种字符串算法都贯穿于计算机的发展历史中。伟大的乔姆斯基提出了生成文法，人类拥有的处理语言的最基本框架，自动机(正则表达式)，随机上下文无关分析树，字符串匹配算法KMP，动态规划。nlp任务里如文本分类，成熟的非常早，如垃圾邮件分类等，用朴素贝叶斯就能有不错的效果。20年前通过纯统计和规则
转载
2023-08-31 07:18:10
131阅读
我需要在当前模块中实现一些NLP。 我正在寻找一些可以帮助我的好图书馆。 我遇到了'LingPipe'，但无法完全遵循如何使用它。基本上，我们需要实现一个功能，其中应用程序可以解释用简体中文输入的客户指令(交付说明)。 例如：将于明天中午12点起床请在6月10日之后发货请不要在星期三之前发送在订单中再添加10个XYZ单位请参阅stackoverflow.com/questions/22904025
转载
2023-12-12 21:53:09
20阅读
文内容由学堂在线的课程助教 于延涛 整理，方便大家在数据科学学习过程中查找数据。本文内容较长，共分三部分，数据科学领域不同领域的学习者可以各取所需。 第一部分：80+国内外常用的数据集，适合中、高级的学习者；第二部分：国内外数据资源，适合初、中、高级学习者；第三部分：数据科学领域经典的参考书，适合初、中级学习者；第四部分：清华大学数据科学认证项目，适合所有数据科学爱好者。&nb
转载
2024-05-22 16:44:28
69阅读
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。导语：EMNLP，自然语言处理经
转载
2023-10-13 23:08:45
43阅读
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程本篇文章将会带领大家了解什么是NLP模型当中的encoder-decoder和seq2seq。一、什么是 Encoder-Decoder ？ 1、Encoder-Decoder 模型主要是 NLP 领域里的概念。它并不特指某种具体的算
转载
2023-09-25 10:39:24
99阅读
NLP位置编码Learned Positional EmbeddingSinusoidal Position EmbeddingRelative Position Representations实验结果Transfomer-XL中的相对位置编码实验结果Complex Embeddings实验结果位置特征与内容特征间的关系去掉内容特征将embedding相加改为拼接拆分位置特征和内容特征在测试时分
转载
2023-10-11 22:41:12
130阅读
小白一枚，看了很多天的NLP，也没看出什么头绪。代码不代码的我感觉只要用心去看，即使看不懂，一点一点的去啃，也能看个大概。最重要的是思想。1、首先介绍一下NLP的基础知识①分词1）nltk安装（pip install nltk）nltk就是一个工具包，里面有很多语料，很多模型。可以用来分词。import nltk
sentence = “hello, world"
tokens = nltk.wo
转载
2024-04-09 19:33:53
188阅读
nlp常见的逻辑处理代码传参问题ocr会话形式把相同角色，相邻的话拼接在一起，形成纯对话形式。逐对去合并文本，目标是让信息的杂质更少，样本纯度更高依存关系抽取正则查询两个关键字质检的内容sub消歧实体消歧(Disambiguation)实体统一(Entity Resolution)指代消解(Co-reference Resolution)多目标学习 传参问题如果之后的代码都依赖某一个相同的输入，
转载
2023-10-15 07:59:47
76阅读
一 、什么是自然语言处理(NLP)？1.NLP是一门横跨了计算机科学、人工智能以及语言学的学科，是人工智能的核心技术之一。目标是让计算机处理和理解自然语言从而可以处理一些实际任务。2.对语言层次的传统描述：重点放在句法分析（syntactic analysis）和语义理解（semantic interpretation）方面，简要描述左上角的语音信号分析。3.NLP的应用简单的说，拼写检查、关键字
转载
2023-11-10 06:29:15
52阅读
文章目录1 项目介绍1.1 背景知识介绍1.2 NLG的实现方式1.2.1 基于模板1.2.2 检索式1.2.3 生成式1.3 数据集介绍2 技术方案梳理2.1 模型介绍2.2 评价指标2.3 模型实现2.3.1 数据处理2.3.2 构建dataset2.3.3 模型定义2.3.4 训练相关参数2.3.5 训练结果 1 项目介绍1.1 背景知识介绍对话系统按领域分类，分为任务型和闲聊型。闲聊型对
转载
2024-01-08 12:28:37
28阅读
NLP（Natural Language Processing ）自然语言处理：是计算机科学，人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言，以执行语言翻译和问题回答等任务。NLU (Natural Language Understanding ) 自然语言理解：将人的语言形式转化为机器可理解的、结构化的、完整的语义表示，通俗来讲就是让计算机能够理解和生成人类语言。N
转载
2023-08-16 15:29:48
140阅读
《How Transformers work in deep learning and NLP: an intuitive introduction》 2020年的确是 Transformer 年，从 NLP 进军到 CV。本文介绍一下 Transformer在 NLP 领域的应用。2017年的一篇非常有名的文章 “Attention is all you need”改变了我们对 Attenti
转载
2023-12-26 21:15:16
79阅读
了解了HMM之后，我们可以发现HMM有两个很明显的缺点：HMM定义的是联合概率，必须列举出所有可能出现的情况，这在很多领域是很困难的。在NLP领域，常知道各种各样但又不完全确定的信息，需要一个统一的模型将这些信息综合起来。HMM遵循一个假设：输出独立性假设。这要求序列数据严格相互独立才能保证推导的正确性，导致不能考虑上下文特征。而在NLP领域，上下文信息是很重要的。 因此，引入条件随机场（
转载
2023-08-12 15:18:02
124阅读
