现在深度学习越来越火了，在NLP领域主要使用CNNs、RNNs、GNNs以及attention机制。尽管这些模型取得了一些成绩，但是和CV相比，还是有些差距的，主要原因是大部分NLP任务的监督学习数据很少，而深度学习模型的参数有很多，需要大量的数据才可以学习好，否则就会发生过拟合现象，这就导致NLP模型一般都是1-3层的浅层神经网络。 
转载
2023-11-16 23:42:10
344阅读
原标题：NLP大赛冠军总结：300万知乎多标签文本分类任务(附深度学习源码)源码(PyTorch实现)github 地址：PT即可获取。七月，酷暑难耐，认识的几位同学参加知乎看山杯，均取得不错的排名。当时天池AI医疗大赛初赛结束，官方正在为复赛进行平台调试，复赛时间一拖再拖。看着几位同学在比赛中排名都还很不错，于是决定抽空试一试。结果一发不可收拾，又找了两个同学一起组队(队伍init)以至于整个暑
OpenAI公司基于GPT模型的ChatGPT风光无两，眼看它起朱楼，眼看它宴宾客，FaceBook终于坐不住了，发布了同样基于LLM的人工智能大语言模型LLaMA，号称包含70亿、130亿、330亿和650亿这4种参数规模的模型，参数是指神经网络中的权重和偏置等可调整的变量，用于训练和优化神经网络的性能，70亿意味着神经网络中有70亿个参数，由此类推。在一些大型神经网络中，每个参数需要使用32位
UniLM论文全名为Unified Language Model Pre-training for Natural Language Understanding and Generation，译为自然语言理解与生成的统一预训练语言模型。本文提出了采用BERT的模型，使用三种特殊的Mask的预训练目标，从而使得模型可以用于NLG，同时在NLU任务获得和BERT一样的效果。 模型使用了三种语言模型的任
转载
2023-08-21 09:48:31
92阅读
以ChatGPT为代表的自然语言处理大模型技术大火出圈，微软、谷歌、百度系等生成式大模型接连发布和不断升级优化，人工智能的快速发展，进一步促使AI产业带动生产力变革，正式拉开一个AI时代的全新序幕。国内多家头部AI企业都在加大大型语言模型（Large Language Model, LLM）领域的研发和布局，而大型语言模型在文本、图片、视频等语义理解和内容生成领域的应用及商业化落地也在全面展开。实
自然语言处理(NLP)是指使用诸如英语之类的自然语言与智能系统进行通信的AI方法。如果您希望智能系统(如机器人)按照您的指示执行操作，希望听取基于对话的临床专家系统的决策时，则需要处理自然语言。NLP领域涉及使计算机用人类使用的自然语言执行有用的任务。 NLP系统的输入和输出可以是 -言语(说话)书面文字NLP的组成部分在本节中，我们将了解NLP的不同组件。 NLP有两个组件。 这些组件如下所述
转载
2024-01-10 13:40:52
51阅读
作者：Pratik Bhavsar编译：ronghuaiyang导读模型训练只是产品化中的很小的一个环节。 问题描述最近，我一直在巩固在不同ML项目中工作的经验。我将从我最近的NLP项目的角度来讲述这个故事，对短语进行分类 — 一个多类单标签问题。 NLP的Central embedder结构 团队结构 搭建人工智能团队是相当棘手的。如果公司内部人员不具备这些技能，你就必须招
转载
2023-12-13 20:48:13
80阅读
访问控制 访问控制是指控制对一台计算机或一个网络中的某个资源的访问。没有它，所有人都可以访问任何资源。有了访问控制，用户在获取实际访问资源或进行操作之前，必须通过识别、验证、授权。 换言之，访问控制控制着一个主体（subject）可以访问哪些对象（objects）。主体和对象是访问控制模型和技术中的两个
转载
2024-06-25 06:54:22
14阅读
文章目录1. NLP发展重要时间线时间线2. NLP以BERT发展的延伸3. NLP领域顶会 1. NLP发展重要时间线聊聊NLP那些大事儿，预训练大模型大势所趋。时间线
Transformer, 2017.6ELMo，2018.3
OpenAI GPT-1， 2018.6BERT，Google， 2018.10OpenAI GPT-2，15亿参数，2019.1Transformer XL，20
转载
2024-05-17 21:31:09
57阅读
NLP（Natural Language Processing ）自然语言处理：是计算机科学，人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言，以执行语言翻译和问题回答等任务。NLU (Natural Language Understanding ) 自然语言理解：将人的语言形式转化为机器可理解的、结构化的、完整的语义表示，通俗来讲就是让计算机能够理解和生成人类语言。N
转载
2023-08-16 15:29:48
140阅读
近年来，基础语言模型（LMs）在自然语言处理（NLP）和计算机视觉（CV）领域取得了显著成就。与传统神经网络模型不同，基础语言模型通过在大量无监督数据集上进行预训练，获得了丰富的常识知识，并且具有强大的迁移学习能力。然而，由于灾难性遗忘，基础语言模型仍然无法模拟人类的持续学习能力。因此，各种基于持续学习（CL）的方法被开发出来，以改进语言模型，使其能够在适应新任务的同时不遗忘以前的知识。然而，现有
转载
2024-06-20 14:10:01
126阅读
为了更好服务 NLP 研究者，百度 PaddleNLP 于近日完成了针对其研究能力的升级，即 PaddleNLP-研究版。PaddleNLP-研究版旨在基于飞桨（PaddlePaddle）深度学习平台和百度 NLP 深厚的技术积累，为广大研究者提供 NLP 领域前沿方向的研究成果、代码与数据，让广大研究者们可以快速复现已发表学术论文的实验效果，并据此开展新的研究。目前，PaddleNLP 已经开放
转载
2024-03-07 22:26:38
81阅读
自然语言处理（Natural Language Processing，NLP）是人工智能领域中的一个重要分支，它涉及到对人类语言的理解和生成。其中，NLP可以被分为三个主要的子任务：自然语言理解（Natural Language Understanding，NLU）、自然语言生成（Natural Language Generation，NLG）和对话管理（Dialog Management，DM）
原创
2024-01-04 07:19:59
90阅读
在我们使用bert预分类模型微调之后（可以参考我前面写的文章），需要对项目进行支持，那就需要分类模型落地提供服务，这篇文章介绍python调用bert模型，提供服务。 参考：https://github.com/xmxoxo/BERT-train2deploy 在后期部署的时候，需要一个label2id的字典，所以要在训练的时候就保存起来，在convert_single_example这个方法里增
转载
2023-07-08 11:37:13
221阅读
一. 什么是自然语言处理（Natural Language Processing-NLP）?自然语言处理是一门通过建立形式化计算模型来分析、理解和生成自然语言的学科；终极目标是让计算机拥有自然语言处理交际能力。 自然语言的两大问题：自然语言理解(Natural Language Understanding,NLU)自然语言生成(Natural Language Generation,NLG)自然语
转载
2023-09-25 19:24:28
78阅读
一文详解Google最新NLP模型XLNet语言模型和BERT各自的优缺点在论文里作者使用了一些术语，比如自回归（Autoregressive, AR）语言模型和自编码（autoencoding）模型等，这可能让不熟悉的读者感到困惑，因此我们先简单的解释一下。自回归是时间序列分析或者信号处理领域喜欢用的一个术语，我们这里理解成语言模型就好了：一个句子的生成过程如下：首先根据概率分布生成第一个词，然
转载
2023-09-01 14:15:38
307阅读
# NLU与NLP的关系探讨
在人工智能的快速发展中，自然语言处理（NLP）和自然语言理解（NLU）是两项不可或缺的技术。从语言模型的构建到语义的理解，这两者在许多实际应用中扮演着至关重要的角色。本文将深入探讨NLU和NLP的关系，同时提供代码示例，并通过类图和甘特图展示相关内容的进展。
## 什么是NLP与NLU？
### 自然语言处理（NLP）
NLP是处理人类语言的计算机技术，包括语
原创
2024-10-23 03:47:40
170阅读
主要分支介绍通讯、感知与行动是现代人工智能的三个关键能力，在这里我们将根据这些能力/应用对这三个技术领域进行介绍：计算机视觉(CV)、自然语言处理(NLP)在 NLP 领域中，将覆盖文本挖掘/分类、机器翻译和语音识别。机器人 分支一：计算机视觉计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。物体检测和人脸识别是其比较成功的
转载
2023-07-30 22:44:55
2418阅读
词法分析（Lexical Analysis）：对自然语言进行词汇层面的分析，是NLP基础性工作 分词（Word Segmentation/Tokenization）：对没有明显边界的文本进行切分，得到词序列 新词
转载
2023-08-10 14:33:46
20阅读
自然语言生成 – Natural-language generation - NLG一、什么是 NLG？二、NLG 的3个 Level三、NLG 的6个步骤四、NLG 的3种典型应用总结参考 自然语言生成 – NLG 是 NLP 的重要组成部分，他的主要目的是降低人类和机器之间的沟通鸿沟，将非语言格式的数据转换成人类可以理解的语言格式。 本文除了介绍 NLG 的基本概念，还会介绍 NLG 的3
转载
2024-01-24 22:39:46
79阅读
