一、NLP是什么自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语
转载
2023-05-24 14:53:53
213阅读
1 NLTK和StandfordNLP简介NLTK：由宾夕法尼亚大学计算机和信息科学使用python语言实现的一种自然语言工具包，其收集的大量公开数据集、模型上提供了全面、易用的接口，涵盖了分词、词性标注(Part-Of-Speech tag, POS-tag)、命名实体识别(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各项 NLP 领
转载
2024-05-15 14:57:42
27阅读
文章目录前言一、目标文本是什么？二、模型调用步骤1.引入库2.导入模型，本文使用 t5-base3.使用分词器对目标文本进行分词4.对刚刚生成的分词结果进行目标语言的生成工作5.对生成的目标语言进行解码工作，就可得到目标语言的文本，并打印 前言Google的T5模型从2019年发布到今天雄风依旧；在翻译，文本分类，智能问答，文章摘要等方面都取得SOTA地位；本文使用T5的翻译功能完成 文本从一种
转载
2024-03-05 09:14:56
34阅读
本篇主要介绍TextCnn针对中文的分本分类的代码实现。下一篇计划讲模型训练及线上文本分类。代码基于开源代码 https://github.com/dennybritz/cnn-text-classification-tf 建议对NLP文本分类或CNN不了解的先阅读我的上一篇blog及以下的大神blog ：NLP文本分类入门学习及TextCnn实践笔记（一）参考的大神
转载
2024-04-26 14:50:41
32阅读
（封面图由ERNIE-ViLG AI 作画大模型生成） 【NLP相关】attention的代码实现Attention模型是现今机器学习领域中非常热门的模型之一，它可以用于自然语言处理、计算机视觉、语音识别等领域。本文将介绍Attention模型的代码实现。1. attention机制的原理首先，我们需要了解Attention模型的基本概念。Attention是一种机制，它可以用于选择和加权输入
转载
2023-10-18 18:37:08
98阅读
Python0006】爬楼梯【题目描述】假设一段楼梯共n(n>1)个台阶，小朋友一步最多能上3个台阶，那么小朋友上这段楼梯一共有多少种方法。【源代码程序】def Pa(n):
if n == 1:
return 1
elif n == 2:
return 2
elif n == 3:
return 4
else:
# 教学文章：如何实现NLP代码Python语义分析
## 一、整体流程
```mermaid
flowchart TD
A[准备数据] --> B[数据预处理]
B --> C[构建模型]
C --> D[训练模型]
D --> E[测试模型]
E --> F[应用模型]
```
## 二、步骤及代码示例
### 1. 准备数据
在进行NLP语义
原创
2024-03-14 05:34:11
76阅读
《How Transformers work in deep learning and NLP: an intuitive introduction》 2020年的确是 Transformer 年，从 NLP 进军到 CV。本文介绍一下 Transformer在 NLP 领域的应用。2017年的一篇非常有名的文章 “Attention is all you need”改变了我们对 Attenti
转载
2023-12-26 21:15:16
79阅读
NLP（Natural Language Processing ）自然语言处理：是计算机科学，人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言，以执行语言翻译和问题回答等任务。NLU (Natural Language Understanding ) 自然语言理解：将人的语言形式转化为机器可理解的、结构化的、完整的语义表示，通俗来讲就是让计算机能够理解和生成人类语言。N
转载
2023-08-16 15:29:48
140阅读
文章目录1 项目介绍1.1 背景知识介绍1.2 NLG的实现方式1.2.1 基于模板1.2.2 检索式1.2.3 生成式1.3 数据集介绍2 技术方案梳理2.1 模型介绍2.2 评价指标2.3 模型实现2.3.1 数据处理2.3.2 构建dataset2.3.3 模型定义2.3.4 训练相关参数2.3.5 训练结果 1 项目介绍1.1 背景知识介绍对话系统按领域分类，分为任务型和闲聊型。闲聊型对
转载
2024-01-08 12:28:37
28阅读
了解了HMM之后，我们可以发现HMM有两个很明显的缺点：HMM定义的是联合概率，必须列举出所有可能出现的情况，这在很多领域是很困难的。在NLP领域，常知道各种各样但又不完全确定的信息，需要一个统一的模型将这些信息综合起来。HMM遵循一个假设：输出独立性假设。这要求序列数据严格相互独立才能保证推导的正确性，导致不能考虑上下文特征。而在NLP领域，上下文信息是很重要的。 因此，引入条件随机场（
转载
2023-08-12 15:18:02
124阅读
小白一枚，看了很多天的NLP，也没看出什么头绪。代码不代码的我感觉只要用心去看，即使看不懂，一点一点的去啃，也能看个大概。最重要的是思想。1、首先介绍一下NLP的基础知识①分词1）nltk安装（pip install nltk）nltk就是一个工具包，里面有很多语料，很多模型。可以用来分词。import nltk
sentence = “hello, world"
tokens = nltk.wo
转载
2024-04-09 19:33:53
188阅读
NLP位置编码Learned Positional EmbeddingSinusoidal Position EmbeddingRelative Position Representations实验结果Transfomer-XL中的相对位置编码实验结果Complex Embeddings实验结果位置特征与内容特征间的关系去掉内容特征将embedding相加改为拼接拆分位置特征和内容特征在测试时分
转载
2023-10-11 22:41:12
130阅读
nlp常见的逻辑处理代码传参问题ocr会话形式把相同角色，相邻的话拼接在一起，形成纯对话形式。逐对去合并文本，目标是让信息的杂质更少，样本纯度更高依存关系抽取正则查询两个关键字质检的内容sub消歧实体消歧(Disambiguation)实体统一(Entity Resolution)指代消解(Co-reference Resolution)多目标学习 传参问题如果之后的代码都依赖某一个相同的输入，
转载
2023-10-15 07:59:47
76阅读
一 、什么是自然语言处理(NLP)？1.NLP是一门横跨了计算机科学、人工智能以及语言学的学科，是人工智能的核心技术之一。目标是让计算机处理和理解自然语言从而可以处理一些实际任务。2.对语言层次的传统描述：重点放在句法分析（syntactic analysis）和语义理解（semantic interpretation）方面，简要描述左上角的语音信号分析。3.NLP的应用简单的说，拼写检查、关键字
转载
2023-11-10 06:29:15
52阅读
Introduction在自然语言处理（Natural Language Processing）中，任务很多种，大体可以分为以下几种：句子级别分类任务，例如情感分类任务，检测电子邮件是否为垃圾邮件任务等；单词级别的分类任务，例如命名实体识别（Named Entity Recognition, NER），词性标注（Part-of-Speech tagging, POS)；文本生成任务，包括根据提示p
转载
2023-12-23 22:22:17
155阅读
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。导语：EMNLP，自然语言处理经
转载
2023-10-13 23:08:45
43阅读
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程本篇文章将会带领大家了解什么是NLP模型当中的encoder-decoder和seq2seq。一、什么是 Encoder-Decoder ？ 1、Encoder-Decoder 模型主要是 NLP 领域里的概念。它并不特指某种具体的算
转载
2023-09-25 10:39:24
99阅读
欢迎查看Github代码及训练数据集，给个star呗~
训练语言模型用RNN,LSTM,GRU来训练一个语言模型，用于预测单词的下一个词torchtext基本用法构建 vocabularyword to index 和 index to wordtorch.nn的一些基本模型LinearRNNLSTMGRURNN的训练技巧Gradient Clipping保存和读取模型torchtext介绍和使用
转载
2023-09-04 18:38:42
118阅读
一、什么是NLP？自然语言处理（NLP）是计算机科学，人工智能和语言学的交叉领域，目标是让计算机处理，理解以及运用人类语言，以执行语言翻译和问题回答等任务。二、发展历程NLP基础发展：1948年，香农提出信息熵的概念。 按照维基百科，NLP源于1950年，图灵提出“图灵测试”，用以检验计算机是否真正拥有智能。NLP规则时代：1950-1970年，模拟人类学习语言的习惯，以语法规则为主流。除了参照乔
转载
2023-08-31 18:15:34
80阅读
