一、Transformer简介 Transformer是google团队在2017年提出来的，它的问世刷新了一系列NLP竞赛的结果，现在也成为各大NLP爱好者的首选结构，诸如ELMO、Bert等超牛的model都是在transform的思想上实现的。
转载
2023-12-24 18:44:59
106阅读
改变世界的七大NLP技术，你了解多少？（上）在第1部分中，我介绍了自然语言处理（NLP）领域以及为其提供支持的深度学习。我还介绍了NLP中的3个关键概念：文本嵌入（字符串的矢量表示），机器翻译（使用神经网络翻译语言），以及Dialogue和Conversations（可以实时与人进行对话的技术）。在第2部分中，我将介绍另外4项重要的NLP技术，你应该关注这些技术，以跟上这一研究领域快速增长的步伐。
转载
2024-05-22 16:43:38
124阅读
自然语言处理（Natural Language Processing, NLP）是人工智能领域的一个分支，它的目的是让计算机能够理解、分析、生成自然语言文本。NLP技术已经广泛应用于各个领域，例如机器翻译、语音识别、情感分析等。其中，基于大规模预训练模型的自然语言生成技术在近几年得到了极大的发展，ChatGPT就是其中的代表。ChatGPT是一种基于Transformer架构的大规模预训练语言模型
转载
2023-08-08 21:23:57
182阅读
一直在做文本处理，但感觉做的很分散 没有系统，也没有发现很好的关于NLP的书籍。如果有，请推荐。 现在尝试着总结自己遇到的文本处理技术。1、工具linux 文本处理工具 awk sed 比较常用
推荐两篇左耳朵耗子的博客。我很喜欢的大牛，还有幸和他聊了20分钟，O(∩_∩)O哈哈~
AWK 简明教程
sed 简明教程
python 文本处理 这个也是文本处理的常
转载
2024-05-14 21:09:36
45阅读
ChatGPT 火遍了全网，多个话题频频登上热搜。见证了自然语言处理（NLP）技术的重大突破，体验到通用技术的无限魅力。GPT 模型是一种 NLP 模型，使用多层变换器（Transformer）来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。而 NLP 技术是人工智能领域的重要研究分支，被视为人工智能皇冠上的明珠。图灵测试的假设就是针对自然语言处理技术而设
转载
2023-11-11 21:11:44
146阅读
一、文本分类简介在nlp中，文本分类是一个非常常见的任务，它将一个文本归结于特定的标签。目标：基于训练数据，训练分类模型。使用训练好的模型，预测新数据类型。典型应用场景：垃圾邮件识别情感分析意图识别技术演化：规则机器学习：lr，svm，集成学习传统深度学习：fastrnn、textcnn、bilistm前沿：transformer、bert任务拓展序列标注任务句子对分类任务多标签任务二、机器学习技
转载
2024-01-28 07:42:13
69阅读
自然语言处理技术是所有与自然语言的计算机处理有关的技术的统称，其目的是使计算机理解和接受人类用自然语言输入的指令，完成从一种语言到另一种语言的翻译功能。自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。下面我们就来了解和分析自然语言处理的关键技术。 一、 常用技术分类 1、 模式匹配技术模式匹配技术
转载
2023-08-13 15:20:41
146阅读
项目作者：Tae-Hwan Jung
编辑：机器之心
自然语言处理很多时候都是一门综合性的学问，它远远不止机器学习算法。相比图像或语音，文本的变化更加复杂，例如从预处理来看，NLP 就要求我们根据对数据的理解定制一种流程。而且相比图像等更偏向感知的智能，自然语言包含更高一级的智能能力，不论是承载思想、情感还是推理。
那么我们该
转载
2024-05-11 13:42:49
57阅读
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer1910.10683.pdf (arxiv.org)1.Abstract预训练可以让模型学习到可以被迁移到下游任务重的通用能力和知识。在迁移学习中，模型首先在数据丰富的任务上进行预训练，然后在下游任务上进行微调。现存的缺陷：训练结构：近期
转载
2024-09-11 00:49:04
147阅读
1.Java中没有多继承，而是用接口来代替多继承 2.运行一个已经编译的程序时，Java解释器总是从指定类的main方法中的代码开始执行，因此，执行代码中必须有一个main函数。 3.Java是典型的强类型语言，即必须声明变量的类型，Java中有8种类型，6种数值类型（4个整数型和2个浮点型）、一个字符类型和一个boolean类型。 想学习java可以来这
转载
2023-08-03 15:58:50
56阅读
# 教你实现一个 NLP 技术栈：入门指南
在当今科技迅猛发展的时代，自然语言处理（NLP）成为各行业的重要组成部分。作为一名刚入行的小白，您可能不知道如何搭建 NLP 技术栈。本文将为您详细阐述这一过程。
## 流程概述
在实现 NLP 技术栈之前，首先需要明确所需的步骤。请查看以下表格，该表格列出了实现 NLP 技术栈的主要步骤及目标。
| 步骤 | 目标 |
|------|----
# NLP 开源技术
自然语言处理（Natural Language Processing, NLP）是人工智能（Artificial Intelligence, AI）领域的重要分支之一，它研究如何使计算机能够理解、处理和生成人类语言。随着NLP领域的发展，许多开源技术和工具也应运而生，大大促进了NLP算法的研究和应用。本文将介绍一些流行的NLP开源技术，并提供相应的代码示例。
## 1.
原创
2023-08-03 04:58:49
108阅读
# 自然语言处理（NLP）技术简介
自然语言处理（NLP）是人工智能领域中的一个重要分支，旨在让计算机能够理解、处理和生成自然语言。NLP技术在许多领域都有广泛的应用，例如智能客服、智能翻译、语音识别等。在本文中，我们将介绍一些常见的NLP技术，并通过代码示例来展示其应用。
## NLP技术概述
NLP技术主要包括文本分析、语义理解、情感分析、命名实体识别等多个领域。其中，文本分析是NLP中
原创
2024-04-25 05:27:54
46阅读
写在最前面在这个日新月异的信息时代，海量数据的积累，计算能力的不断提升，机器学习尤其是深度学习的蓬勃发展，使得人工智能技术在不同领域焕发出蓬勃的活力。自己经历了嵌入式开发，移动互联网开发，目前从事自然语言处理算法开发工作。从工程软件开发到自然语言处理算法开发，希望通过这个系列的文章，能够由浅入深，通俗易懂的介绍自然语言处理的领域知识，分享自己的成长，同大家一起进步。问题描述新的项目开启时，一般会
转载
2023-10-10 21:45:20
118阅读
大家好，我是半虹，这篇文章来讲分词算法1 概述分词是自然语言处理领域中的基础任务，是文本预处理的重要步骤简单来说，就是将文本段落分解为基本语言单位，亦可称之为词元 ( 按照粒度的不同，可以细分为：字、词、子词等 我们知道，自然语言是十分典型的非结构化数据，机器是无法直接识别出来的通过分词，自然语言可以转化为有限的词元组合，结合词表就可以将其表示为结构化的数据这样机器才可以接收自然语言为
转载
2023-08-10 13:21:54
177阅读
PT之BERT：基于torch框架(特征编码+BERT作为文本编码器+分类器)针对UCI新闻数据集利用Transformer-BERT算法(模型实时保存)实现新闻文本多分类案例目录基于torch框架(特征编码+BERT作为文本编码器+分类器)针对UCI新闻数据集利用Transformer-BERT算法(模型实时保存)实现新闻文本多分类# 1、定义数据集# 2、数据预处理2.1、筛选特征：数据集包含
转载
2023-10-29 08:13:56
48阅读
文章目录前言一、Scikit-learn二、TensorFlow三、 Keras四、 Gensim五、 NTLK六、 Jieba七、 Anacondaadded by Anaconda2 5.0.0 installer创建一个名为python27的环境，指定Python版本是2.7查看当前环境下已安装的包查看某个指定环境的已安装包查找package信息安装package更新package删除pa
转载
2024-05-22 16:51:58
52阅读
掌握NLP相关的Python库和框架：学习NLTK、spaCy、Gensim等常用的NLP库，了解它们的功能和用法。迁移学习和预训练模学习的概念和应用，掌握如何使用预训练的NLP模型，如BERT、GPT等，以提高模型性能和泛化能力。
原创
2024-09-11 14:16:25
117阅读
## 如何实现NLP技术：从入门到实现的完整流程
NLP（自然语言处理）技术为我们提供了分析和理解文本的能力，广泛应用于聊天机器人、自动摘要、情感分析等领域。对于刚入门的小白来说，掌握NLP技术可以通过以下流程进行：
### 整体流程
以下是实现NLP技术的一般流程，包含关键步骤：
| 步骤 | 描述 |
# NLP开源技术科普
自然语言处理（Natural Language Processing，NLP）是计算机科学、人工智能和语言学交叉的一个领域，旨在使计算机能够理解、解析和生成人类语言。近年来，NLP的快速发展推动了众多开源技术的涌现，辅助开发者和研究人员在各种应用场景中提升人机交互的效率。
## 1. 开源NLP库概述
在开源社区，多个优秀的NLP库应运而生，其中最为知名的包括：
-
