目录前言一、文本表示基础1.单词的表示2.句子的表示3.tf-idf向量 二、文本相似度1.计算欧式距离2.计算余弦距离三、词向量基础1.计算单词之间的相似度2.词向量基础3. 句子向量总结 前言上一章已经介绍完自然语言处理任务的第一个流程——文本处理，接下来就是如何用计算机明白的语言向量表示文本了，里面包括如何更好的表示单词和句子。一、文本表示基础对于自然语言处理各类应用，最
转载
2024-06-05 12:33:17
52阅读
任务简介：讲解信息抽取中涉及到的机器学习算法详细说明：本节首先介绍中文nlp的一般流程、命名实体识别问题的详细定义，引入信息抽取中的机器学习算法，包括隐马尔可夫模型、维特比算法等。一、中文自然语言处理简介机器学习基本流程中文自然语言处理 自然语言处理技术被称为“人工智能皇冠上的明珠” 。链接：中文NLP流程 中文分词
词性标注
去停用词
二、命名实体识别
转载
2023-08-13 17:54:59
150阅读
一直在做文本处理，但感觉做的很分散 没有系统，也没有发现很好的关于NLP的书籍。如果有，请推荐。 现在尝试着总结自己遇到的文本处理技术。1、工具linux 文本处理工具 awk sed 比较常用
推荐两篇左耳朵耗子的博客。我很喜欢的大牛，还有幸和他聊了20分钟，O(∩_∩)O哈哈~
AWK 简明教程
sed 简明教程
python 文本处理 这个也是文本处理的常
转载
2024-05-14 21:09:36
45阅读
改变世界的七大NLP技术，你了解多少？（上）在第1部分中，我介绍了自然语言处理（NLP）领域以及为其提供支持的深度学习。我还介绍了NLP中的3个关键概念：文本嵌入（字符串的矢量表示），机器翻译（使用神经网络翻译语言），以及Dialogue和Conversations（可以实时与人进行对话的技术）。在第2部分中，我将介绍另外4项重要的NLP技术，你应该关注这些技术，以跟上这一研究领域快速增长的步伐。
转载
2024-05-22 16:43:38
124阅读
自然语言处理（Natural Language Processing, NLP）是人工智能领域的一个分支，它的目的是让计算机能够理解、分析、生成自然语言文本。NLP技术已经广泛应用于各个领域，例如机器翻译、语音识别、情感分析等。其中，基于大规模预训练模型的自然语言生成技术在近几年得到了极大的发展，ChatGPT就是其中的代表。ChatGPT是一种基于Transformer架构的大规模预训练语言模型
转载
2023-08-08 21:23:57
178阅读
一、文本分类简介在nlp中，文本分类是一个非常常见的任务，它将一个文本归结于特定的标签。目标：基于训练数据，训练分类模型。使用训练好的模型，预测新数据类型。典型应用场景：垃圾邮件识别情感分析意图识别技术演化：规则机器学习：lr，svm，集成学习传统深度学习：fastrnn、textcnn、bilistm前沿：transformer、bert任务拓展序列标注任务句子对分类任务多标签任务二、机器学习技
转载
2024-01-28 07:42:13
69阅读
ChatGPT 火遍了全网，多个话题频频登上热搜。见证了自然语言处理（NLP）技术的重大突破，体验到通用技术的无限魅力。GPT 模型是一种 NLP 模型，使用多层变换器（Transformer）来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。而 NLP 技术是人工智能领域的重要研究分支，被视为人工智能皇冠上的明珠。图灵测试的假设就是针对自然语言处理技术而设
转载
2023-11-11 21:11:44
146阅读
目录实验目的实验内容实验过程结果展示全部代码 实验目的使用免费的中文分词语料库，如人民日报语料库PKU，使用语料库中的常见词编写一个句子，使用二元语法（即每个词只与和它相邻的前一个词有关）在语料库中对句子中的词进行词频统计，输出句子的出现概率。实验内容对给定的pku_training.txt语料库处理，构建一个二元语言模型，二元语言模型是指当前词语出现的概率只与前一个词有关 对语料首先进行处理，
转载
2023-12-18 21:01:30
78阅读
自然语言处理技术是所有与自然语言的计算机处理有关的技术的统称，其目的是使计算机理解和接受人类用自然语言输入的指令，完成从一种语言到另一种语言的翻译功能。自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。下面我们就来了解和分析自然语言处理的关键技术。 一、 常用技术分类 1、 模式匹配技术模式匹配技术
转载
2023-08-13 15:20:41
146阅读
# PyTorch NLP实战指南
在学习如何使用PyTorch进行自然语言处理（NLP）之前，我们需要了解整个流程以及每一步所需的具体操作。下面是实现一个基本的NLP任务（如情感分析）的步骤概述。
## 步骤流程
| 步骤 | 描述 |
| ---- | -------------------------- |
| 1 | 数据准备与预处理
项目作者：Tae-Hwan Jung
编辑：机器之心
自然语言处理很多时候都是一门综合性的学问，它远远不止机器学习算法。相比图像或语音，文本的变化更加复杂，例如从预处理来看，NLP 就要求我们根据对数据的理解定制一种流程。而且相比图像等更偏向感知的智能，自然语言包含更高一级的智能能力，不论是承载思想、情感还是推理。
那么我们该
转载
2024-05-11 13:42:49
57阅读
# NLP 实战推荐项目指南
自然语言处理（NLP）在推荐系统中的应用越来越普及，尤其是在信息过载的时代，能够为用户提供精准而个性化的推荐显得尤为重要。对一名刚入行的小白来说，这个领域可能看起来有些复杂，但通过分步走的方法，我们可以把这个过程理清楚。本文将介绍如何实现一个简单的 NLP 推荐系统，我们将分为几个步骤，并为每一步提供必要的代码示例及其注释。
## 流程概述
下面是实现 NLP
0. 0.1. Spring Boot 核心注解知多少？在《架构真经》开篇就提到了大道至简、分而治之，感觉 Spring Boot 的设计个人感觉也有点类似。其实，伴随业务的发展，系统的架构又何尝不是周而复始的经历着万物之始，大道至简，分而治之，衍化至繁的重构迭代的一个过程呢。那么，从全局上一览 Spring Boot 核心注解设计，会有何感想？上图是结合 Spring Boot 源码梳
## NLP PYTHON 实战
自然语言处理（Natural Language Processing，NLP）是人工智能领域中的一个重要分支，它致力于使计算机能够理解、处理和生成人类语言。随着人们对文本数据的需求增加，NLP在各个领域都发挥着重要作用，如机器翻译、情感分析、问答系统等。
Python作为一种易学易用且功能强大的编程语言，被广泛应用于自然语言处理。本文将结合Python编程语言
原创
2023-09-02 11:40:13
81阅读
一、Seq2Seq的原理Sequence to sequence (seq2seq)是由encoder（编码器）和decoder（解码器）两个RNN的组成的。其中encoder负责对输入句子的理解，转化为context vector，decoder负责对理解后的句子的向量进行处理，解码，获得输出。上述的过程和我们大脑理解东西的过程很相似，听到一句话，理解之后，尝试组装答案，进
转载
2024-10-12 19:58:22
68阅读
NLP概述什么是NLP机器翻译系统案例分析NLP的应用场景NLP的关键技术 时隔n个月后回归！人工智能大作业突然布置了分词，想想去年没有完成的主观题批改项目，留下了不学无术的泪水（本来有无数个作业能拿这个冒充的呜呜呜）。什么是NLP? 自然语言和编程语言看见这个标题就想起来上学期学离散中形式化语言的痛苦经历，编程语言其实已经把自然语言变成了一个符号集合，但是自然语言很麻烦啊，我连英语都学不会！但
转载
2023-11-25 13:04:01
48阅读
项目介绍文本分类是自然语言处理的应用领域之一，文本分类是很多其他任务的基本型。本项目是一个最简单的二分类问题。本项目会介绍如何将文本数据转化为数值型的特征数据（提取文本特质）。然后，使用机器学习当中的支持向量机算法，用 Python 实现对 10001 个邮件样本进行分类的任务。知识点自然语言处理基本概念支持向量机算法TF-IDF文本分类简介文本分类技术在自然语言处理领域当中，有着十分重要的地位。
转载
2023-09-08 10:36:30
265阅读
分类问题是NLP（Natural Language Processing，自然语言处理）领域的经典常见任务，而随着预训练模型的发展，预训练时代下的文本分类算法逐步成为了我们从事NLP相关工作的必备技能。本文作为NLP经典任务入门的实践总结，结合了最前沿的算法、开源工具（飞桨自然语言处理模型库PaddleNLP）与代码实操、工作实践，希望借此抛砖引玉一、场景介绍文本分类，顾名思义，就是对给定的一个句
转载
2024-05-22 17:04:08
136阅读
引言 新整理的最新论文又又来了，今天继续分享十篇今年最新NLP顶级论文，其中主要包括模型水印添加（想法新颖，一个不错的方向，强烈推荐仔细看一下）、状态空间模型在语言建模中的应用、指令元学习、大型模型训练效率提升（CiT可显着加快训练速度）、大模型到小模型推理能力转移(较小模型的准确性从8.11%提高到21.99%)、大模型简化（权重数量至少减少50%）、对话模型合规检测等。模型添加水印 大型语言
转载
2023-09-14 12:30:55
233阅读
Embeddings from Language Model一、引入ELMO不同于glove，word2vec，后者们的思想是对于一个词语，用一个预训练好的模型，把一个词语变成一个固定不变的词向量表示，固定不变的意思就是，一旦我确定好了我的模型，确定好了我的语料库，那么这个词即将变成哪一个词向量表示就确定了。然而ELMO不是这样的，对于‘apple’一词，ELMO认为当它是指苹果公司的
转载
2023-08-13 20:59:34
121阅读
