一.前言对于文本序列，我们一般想到的应用循环神经网络（RNN），事实证明RNN在NLP中确实效果很好。但是RNN也存在一个问题，就是序列前后具有依赖关系，无法并行。而卷积神经网络（CNN）却能克服这个缺陷，且能取得不错的性能。最近博主会更新一波关于CNN在特定NLP任务上的博文，为方便理解，先放出一篇关于文本卷积的博文。二.文本卷积对于图像卷积，我们可能很熟悉，就是利用一个卷积核在图片上从左到右、
转载
2023-10-13 06:39:57
68阅读
深度学习目前大多数机器学习能够取得不错的效果，因为可以人工设计表示和特征。机器学习只是用来优化权值，用来作出最终决策或预测。 表示学习的目标是自动学到好的特征或表示。深度学习的目标是学习多级表示，更高一级的表示会更加复杂或更加抽象。一个深层结构相关工作主要围绕深度信念网络 （DBNs），多层马尔科夫随机场，以及其他的多层神经网络。下面是一个示例，由输入层，三个隐含层，输出层构成。其中，隐含层越往上
转载
2024-10-11 15:34:42
38阅读
前言这篇博文是笔者之前学习自然语言处理课程CS224的笔记，首发于公众号:NLP学习者从RNN(循环网络)到CNN(卷积网络)虽然已经学习了多个循环神经网络，但是实际上，循环神经网络不擅长于短语，因为RNN总是将整个句子输入到LSTM中，并且在RNN的最终向量中最后一个单词往往起了很大作用。CNN的想法是从一定长度的序列中同时计算他们的表示。例如有句子“tentative deal reached
转载
2024-01-12 12:00:21
105阅读
卷积神经网络（CNN）概述及其在NLP中的应用（二）当我们听到CNNs时，我们一般会想到计算机视觉（computer vision）。CNNs在图像分类中取得了重大突破，也是从Facebook的自动图像标注到自动驾驶等，当今计算机视觉系统的核心。 最近我们也开始尝试使用CNNs来解决NLP问题，并且取得了一些有趣的结果。在本贴中，我将会尝试着总结下CNNs是什么，并且它们是怎样被用到NLP中。计
转载
2023-10-10 11:31:27
106阅读
浅析NLP中的CNN卷积神经网络CNN卷积神经网络多见于图像识别或图像处理任务。但是在NLP（自然语言处理）任务中也有它的用武之地。在这里对卷积神经网络进行简单的介绍，并对一维卷积神经网络在NLP任务中的使用进行简单的介绍，希望对接触或使用CNN的小伙伴们有帮助，也欢迎大家就原理及内容进行评论探讨。一、中文自然语言处理之词共现概率简介中文文本有其特有的语法特点，每个字本身都具有一定的含义。连字成词
转载
2024-07-06 04:53:30
37阅读
欢迎来到 NLP 时事简报！全文比较长，建议收藏慢慢看。另外加了目录方便直接索引到自己感兴趣的部分。enjoy 文章目录1、Publications ?1.1 Turing-NLG: A 17-billion-parameter language model by Microsoft1.2 Neural based Dependency Parsing1.3 End-to-end Cloud-ba
编辑: ShuYini 校稿: ShuYini 时间: 2020-01-08本次主要内容: 1、深度学习（DL）与机器学习（ML）之间的联系。 2、利用深度学习（DL）做自然语言处理(NLP)的优势。深度学习（DL）是机器学习（ML）的关系？深度学习（DL）是机器学习（ML）的一个分支，但是他们之间的不同是哪些呢？机器学习是基于数据的。大多数机器学习依赖于人类来识别和描述数据集的特定特征。例如，
转载
2023-10-13 06:42:58
152阅读
什么是Convolutional Neural Network（卷积神经网络）？ 最早应该是LeCun(1998)年论文提出，其结果如下：运用于手写数字识别。详细就不介绍，可参考 ，主要关注convolution、pooling，个人理解是这样的，convolution是做特征检测，得到多个feature maps，而pooling是对特征进行筛选，提取关键信息，过滤掉一些噪音，另一方面是减少训
在医疗保健领域，数据并不只是来自患者健康记录、医嘱条目和医生处方。事实上，目前已有数百万人通过家用工具包将他们的基因信息上传到商业数据库。可穿戴技术也为消费者健康数据开辟了新渠道。但是，如果这些医疗数据不去使用，那增加再多也没有多大意义。许多专家一致认为，医疗数据的应用场景还远远不够。自然语言处理(NLP)的诸多案例自然语言处理(NLP)技术可以处理完全非结构化数据，公司采用NLP技术的一个主要目
转载
2023-11-17 17:17:07
100阅读
从应用方面上来看，CNN用到做图像识别比较多，而RNN在做到语言处理多一点，如果拿来比喻的话，CNN如同眼睛一样，正是目前机器用来识别对象的图像处理器。相应地，RNN则是用于解析语言模式的数学引擎，就像耳朵和嘴巴。对于CNN神经网络，有一个基础的假设——人类的视觉总是会关注视线内特征最明显的点 RNN的假设——事物的发展是按照时间序列展开的，即前一刻发生的事物会对未来的事情的发展产生影响。CNN1
转载
2023-10-09 11:03:32
101阅读
一 、什么是自然语言处理(NLP)？1.NLP是一门横跨了计算机科学、人工智能以及语言学的学科，是人工智能的核心技术之一。目标是让计算机处理和理解自然语言从而可以处理一些实际任务。2.对语言层次的传统描述：重点放在句法分析（syntactic analysis）和语义理解（semantic interpretation）方面，简要描述左上角的语音信号分析。3.NLP的应用简单的说，拼写检查、关键字
转载
2023-11-10 06:29:15
52阅读
衡量word embedding质量好坏要通过实际应用来判断；1、fastTextFastText是Facebook开发的一款快速文本分类器. fastText 方法包含三部分：模型架构、层次 Softmax 和 N-gram 特征。 可以用来训练词向量和进行文本分类，是有监
目录before案例1：智能春联案例2：智能写诗before本篇主要介绍基于百度AI实现的NLP的小案例。应用创建
无论要实现哪个案例，都需要进行接口认证，而认证的相关key在应用中提供。所以，我们要先创建NLP的应用。
访问：https://console.bce.baidu.com/ai/#/ai/nlp/overview/index, 点击创建应用，填写相关信息之后，就生成了一个应用，相关k
在当今的自然语言处理（NLP）领域，卷积神经网络（CNN）已经被广泛应用于文本分类、情感分析和其他任务。通过这篇文章，我将详细记录如何使用CNN来解决NLP问题的过程，涉及到技术原理、架构解析、源码分析等多个方面。
### 背景描述
随着大数据时代的到来，信息的快速增长带来了知识的自动提取需求。在这方面，CNN作为一种高效的机器学习算法，能够处理文本数据并提取特征。以下是CNN实现NLP的一般流
# 对比学习在NLP应用
对比学习（Contrastive Learning）是一种机器学习方法，通过比较不同样本之间的相似性和差异性来学习模型。在自然语言处理（NLP）领域，对比学习已经被广泛应用于词向量的学习、情感分析、文本相似度计算等任务中。本文将介绍对比学习在NLP应用中的原理和代码示例。
## 对比学习原理
对比学习的基本原理是通过比较不同样本之间的相似性来学习模型。在NLP领域，
原创
2024-07-04 03:34:59
129阅读
# 自然语言处理（NLP）在GPT中的应用
自然语言处理（NLP）是人工智能（AI）和计算语言学的一个重要领域，其目标是使计算机能够理解、解释和生成人类语言。在GPT（Generative Pre-trained Transformer）模型中，NLP的应用尤为广泛。本文将探讨NLP在GPT中的应用，并通过代码示例、甘特图、序列图等形式进行详细说明。
## 什么是GPT？
GPT是一种基于T
卷积神经网络相关在NLP中，虽然文本是序列数据，上下文信息需要模型具有记忆模块，但CNN依然有一定的应用价值。CNN中的卷积类似于n-gram。提取的是局部的信息。CNN在训练时可以并行运算，RNN由于需要先前的信息，串行运算。文本CNN与图像的区别：文本做的是一维卷积，卷积核只在序列维度上移动，保证embedding的维度不变。2D图像是二维卷积，卷积核是在两个维度上移动的。通道个数都是自由的，
转载
2023-10-13 08:25:19
134阅读
首先来看下NLP包含有哪些应用。• 语言建模 (语音识别，机器翻译) • 问答系统语言建模主要包含根据前面一个词，预测下一个词出现的概率，即 P(next word | previous word)预测一个长句子出现的概率用于语音，翻译以及压缩这里会遇到一个问题，即计算上的瓶颈，大词汇量V就意味着计算输出的代价为隐含节点数跟词汇量的乘积，即 #hidden units x |V|。一
转载
2024-03-14 11:40:34
74阅读
CNN（卷积神经网络）不仅在图像处理领域表现出色，也在自然语言处理（NLP）中展现了其强大的功能。本博文将深入探讨如何使用CNN实现NLP任务，包括背景描述、技术原理、架构解析、源码分析、案例分析和扩展讨论，以全面理解这一技术的应用。
## 背景描述
在过去的几年中，NLP领域涌现出大量的新技术，其中CNN凭借其强大的特征提取能力而备受关注。通过对序列数据的有效处理，CNN在文本分类、情感分析
大家好，蘑菇先生。WSDM'23已公布录用结果，共收到投稿690篇，录用123篇，录用率为17.8%，完整录用论文：https://www.wsdm-conference.org/2023/program/accepted-papers本篇文章主要关注工业界在搜索、推荐、广告、NLP以及图神经网络上的最新研究和落地进展。主要会按照国内外头部大厂分类整理，来盘点每个公司研究和应用的关注点：有哪些应用
转载
2024-05-22 16:09:22
33阅读
