文章目录前言：目录1. Paper：2. 动机介绍3. 背景介绍4. 论文摘要5. 研究成果6. 研究意义7. Fasttext模型8. Fasttext模型优缺点9. 论文总结 前言：我汇总了论文中涉及的大部分概念，以便更好的理解论文。1. Paper：Bag of Tricks for Efficient Text Classification 对于高效文本分类的一揽子技巧2. 动机介绍结合
转载
2023-08-14 15:32:28
48阅读
兜兜转转学NLP学了一个月，结果还在皮毛上，今天打算使用NLP对自己喜欢的红楼梦进行梳理。这篇文章的目的，建立红楼梦的知识库1、主要人物说话关键字提取2、一、建立语料库语料库是以后我们分词以及建立模型的基础，我们将红楼梦各章节的内容以一句话一行的形式建立语料库。目录└─data # 根目录
└─chapters # 存放文档
01.t
转载
2024-01-02 10:26:32
37阅读
Python是一种强大的面向对象的编程（object-oriented programming，OOP）语言，在人工智能领域有着广泛的用途。正是鉴于其实用性，以Google为首的大型科技公司，已经对其开发了Tensorflow等代码库，帮助人们利用强大的机器学习算法与模型，来实现各种应用目的，其中不乏各种“手语”解析器、摩托车头盔检测器、以及各种物品识别器。而NLP（natural languag
转载
2024-08-30 14:51:23
32阅读
1.Spacy库学习1.1.介绍spacy:文本预处理库，Python和Cython中的高级自然语言处理库，它建立在最新的研究基础之上，从一开始就设计用于实际产品。spaCy带有预先训练的统计模型和单词向量，目前支持20多种语言的标记。它具有世界上速度最快的句法分析器，用于标签的卷积神经网络模型，解析和命名实体识别以及与深度学习整合。它是在MIT许可下发布的商业开源软件。【1】1.2.安装win1
转载
2023-10-27 11:16:27
212阅读
spaCy是最流行的开源NLP开发包之一，它有极快的处理速度，并且预置了词性标注、句法依存分析、命名实体识别等多个自然语言处理的必备模型，因此受到社区的热烈欢迎。中文版预训练模型包括词性标注、依存分析和命名实体识别，由汇智网提供，下载地址：spaCy2.1中文模型包 。1、模型下载安装与使用下载后解压到一个目录即可，例如假设解压到目录 /models/zh_spacy，目录结构如下：/spacy/
转载
2023-10-12 15:08:19
108阅读
之前也提到了，一般而言我们会采用LSTM处理输入的句子，根据上下文等信息调整词向量，但是LSTM终究有长期依赖问题，这是它的结构决定的，而self-attention的出现，既可以实现以上的目的，同时又避免了长期依赖问题，那为什么不用self-attention替代LSTM进行分析呢，这就是transformer提出的缘由。简单来说，transformer就是在seq2seq的基础上，引入mult
转载
2023-11-10 19:10:01
0阅读
在人工智能和深度学习领域，自然语言处理（NLP）成为了一个非常热门且具有广泛应用的领域。随着模型的复杂性和数据量的增加，利用高性能硬件来加速训练和推理的需求也日益增长。TensorCore作为NVIDIA GPU中的一种专门设计的硬件加速器，可以显著提高深度学习训练的并行性和效率。本文将深入探讨NLP如何使用TensorCore，通过详细的分析和解决步骤，帮助开发者优化其NLP应用程序。
###
# 盘古NLP如何使用 - 解决文本情感分析问题
## 1. 引言
盘古NLP是一个中文自然语言处理工具包，提供了丰富的功能，包括分词、词性标注、命名实体识别、情感分析等。本文将介绍如何使用盘古NLP来解决一个具体的问题——文本情感分析。
## 2. 问题描述
文本情感分析是指对一段文本进行情感判断，判断文本的情感倾向是正向、负向还是中性。例如，给定一段评论："这个产品真的很好用！"，我们
原创
2024-01-09 09:49:32
96阅读
Python jieba库的使用说明阅读目录1、jieba库基本介绍 2.jieba应用实例 3.利用jieba库统计三国演义中任务的出场次数
转载
2024-04-01 13:42:23
107阅读
前言自然语言处理（NLP）是人工智能领域的一个重要分支，目的是让计算机能够理解和处理人类语言。随着深度学习技术的快速发展，NLP领域取得了突破性进展。本文将探讨深度学习在自然语言处理中的应用，并详细说明每个要点原理以及实际应用。1. 文本分类文本分类是NLP领域中最基本的任务之一，目的是将给定文本分配到一个或多个类别。深度学习技术，尤其是卷积神经网络（CNN）和循环神经网络（RNN），在文本分类任
转载
2023-10-11 22:53:11
90阅读
## GPT如何作为自然语言处理（NLP）工具使用
自然语言处理（NLP）是人工智能领域中的一个重要分支，旨在使计算机能够理解、分析和生成自然语言文本。GPT（生成式预训练变换器）作为一种先进的NLP模型，能够进行文本生成、翻译、摘要等多种任务。本文将介绍GPT如何作为NLP的一种有效工具，并提供示例代码来说明其使用方法。
### 1. GPT的基本概念
GPT模型由OpenAI开发，采用变
原创
2024-09-05 06:19:57
25阅读
# NLP 中如何使用 CNN
## 引言
自然语言处理（Natural Language Processing, NLP）是人工智能领域中的重要分支，涉及处理和理解人类语言的技术和方法。在NLP中，我们经常需要对文本数据进行分类、情感分析、命名实体识别等任务。而卷积神经网络（Convolutional Neural Network, CNN）是深度学习中常用的神经网络模型，它在图像处理任务中
原创
2023-09-01 03:49:54
157阅读
简单总结T5模型： T5模型：是一个端到端，text-to-text 预训练模型 T5模型也是训练七十个模型中一个较
转载
2024-09-13 20:12:07
18阅读
笔记1：直接使用pipeline，是个人就能玩NLP直接使用Pipeline工具做NLP任务 Pipeline是Huggingface的一个基本工具，可以理解为一个端到端(end-to-end)的一键调用Transformer模型的工具。它具备了数据预处理、模型处理、模型输出后处理等步骤，可以直接输入原始数据，然后给出预测结果，十分方便。给定一个任务之后，pipeline会自动调用一个预训练好的模
转载
2024-02-22 14:35:17
19阅读
NLTK使用nltk库进行英文文本处理英文文本分词处理（NLTK）分词、取出标点符号由于英语的句子基本上就是由标点符号、空格和词构成，那么只要根据空格和标点符号将词语分割成数组即可，所以相对来说简单很多。使用nltk中的方法：word_tokenize 分割单词sent_tokenize 分
转载
2023-09-05 13:55:46
379阅读
分词与NLP关系：分词是中文自然语言处理的基础，没有中文分词，我们对语言很难量化，进而很能运用数学的知识去解决问题。对于拉丁语系是不需要分词的。拉丁语系与亚系语言区别拉丁语言系不需要分词，因为他们的词语之间有空格分割，可以根据空格就可以把单词分开。比如英语、法语等。亚系语言中间没有空格，比如中文、韩文及日文等。因此需要 分词。什么是中文分词：中文分词(Chinese Word Segmentati
转载
2023-09-05 16:49:51
112阅读
gse是什么？Go高性能多语言NLP和分词库, 支持英文、中文、日文等, 支持接入 elasticsearch 和 bleve Gse是结巴分词(jieba)的golang实现,并尝试添加NLP功能和更多属性特征支持普通、搜索引擎、全模式、精确模式和 HMM 模式多种分词模式支持自定义词典、embed 词典、词性标注、停用词、整理分析分词多语言支持: 英文, 中文, 日文等支持繁体字NLP 和 T
转载
2023-09-01 06:59:57
672阅读
Encoder-decoder模型及Attention机制论文Encoder-Decoder模型EncoderDecoder存在问题Attention机制decoderencoder 论文Neural Machine Translation by Jointly Learning to Align and Translate这是 2015 年发表在 ICLR 上的论文，也是 NLP 中 Atte
转载
2023-12-25 23:33:40
75阅读
注意：以下pip命令都是在Anaconda prompt中运行的。因为使用anaconda来安装pyhon库时，它会自动解决各种依赖问题，方便快捷1、NLTKNatural Language Toolkit，自然语言处理工具包，在NLP领域中，最常使用的一个Python库。 安装：pip install nltk2、Gensim可以用来从文档中自劢提取语义主题。它包含了很多非监督学习算法如：TF/
转载
2023-07-27 21:24:16
98阅读
1、什么是自然语言处理？自然语言处理（natrual language processing简称nlp）是指计算机理解和生成自然语言的过程。自然语言处理是一个极大的范畴，从自然语言的形式来看，不管是语音还是文本都是自然语言的范畴，但是我们常说的nlp通常是指文本处理，语音的处理我们往往单独拿出来，当做语音处理这个专门的方向来研究。从文本的自然语言处理来看，他通常处理的输入可以是一句话，也可以是一段
转载
2023-08-04 15:31:45
67阅读
