从0探索NLP——神经网络1.前言一提人工智能，最能想到的就是神经网络，但其实神经网络只是深度学习的主要实现方式。 现在主流的NLP相关任务、模型大都是基于深度学习也就是构建神经网络实现的，所以这里讲解一下神经网络以及简单的神经网络结构。2.概念及业务相关2.1.分类任务现在绝大部分的神经网络都用来做分类相关的任务，从整篇文章的类别判断到句子字词的序列标签。分类可以看做是用一条清晰地明确的线把每类
转载
2023-10-18 08:32:24
161阅读
神经网络+FastText一、神经网络基础1.1 前馈神经网络1.1.1 神经元模型1.1.2 前馈神经网络1.1.3 网络层数1.1.4 输入层1.1.5 输出层1.1.6 隐藏层1.1.7 隐藏单元1.1.8 激活函数1.1.9 前馈神经网络与反向传播算法（推导过程）1.2 感知机1.2.1 感知机的原理1.2.2 点到线的距离1.2.3 样本到超平面的距离1.2.4 超平面1.2.5 感知
转载
2023-10-12 11:40:20
168阅读
前置知识：自编码器入门前段时间在改论文的过程中，审稿人给出了关于使用对抗自编码器算法的建议——2020.2以上算是序自编码器（autoencoder）是一种无监督学习神经网络基本定义本质上来说，自编码器是一种所谓”生成模型“，也就是根据给定的数据集去学习数据的分布函数，然后通过调整神经网络的参数使输出和原数据集尽量一致。一般的，自编码器的原型是一个单隐层的神经网络 从输入层到隐层的过程可以理解为一
转载
2023-08-14 16:23:26
208阅读
NLP 神经网络2013 年和 2014 年是 NLP 问题开始引入神经网络模型的时期。使用最广泛的三种主要的神经网络是：循环神经网络、卷积神经网络和递归神经网络。循环神经网络（RNNs） 循环神经网络是处理 NLP 中普遍存在的动态输入序列的一个最佳的技术方案。Vanilla RNNs （Elman,1990）很快被经典的长-短期记忆网络（Hochreiter & Schmid
转载
2023-09-19 11:12:50
85阅读
在上一部分中，我们了解到了统计语言模型，n-gram模型以及语料库的基本知识：自然语言处理NLP（2）——统计语言模型、语料库 在这一部分中，我们将在此基础上介绍神经网络语言模型以及词向量的相关知识。 在介绍这些知识之前，我们首先对自然语言处理领域的整体架构进行一些简单的介绍。【一】自然语言处理架构首先，我们来看这样一张图。 从这张图中，可以清晰地看到，所谓的规则法、概率统计法、深度学习法都只是处
转载
2023-11-29 14:42:18
73阅读
在NLP中使用神经网络，是现在主流的做法。神经网络神经网络，全称人工神经网络（Artificial Neural Network），模拟生物神经网络的工作方式。特点：是一种由人工神经元（虚拟的数学模型）构成的计算系统。它具有学习、泛化和适应性等能力能够对输入数据进行自动识别、分类、聚类等任务。广泛应用于图像识别、自然语言处理、语音识别、智能控制等领域。神经网络的训练过程是通过反向传播算法来实现的，
原创
2023-08-14 17:52:22
110阅读
左手肿了两个手指，写博客敲代码这酸爽。。。 言归正传，这一次的学习开始转入神经网络，主要任务是：前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。感知机相关；利用tensorflow等工具定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播。激活函数的种类以及各自的提出背景、优缺点。（和线性模型对比，线性模型的局限性，去线性化）深度学习中的正则化（参
转载
2023-12-12 13:14:55
67阅读
前言：本专题NLP理论到实战参考课程见NLP理论到实战中P1-P112 文章目录一、深度学习的介绍目标1. 深度学习的概念2. 机器学习和深度学习的区别2.1 区别一 ：特征提取2.2 区别二：数据量3. 深度学习的应用场景4. 常见的深度学习框架二、神经网络的介绍目标1. 人工神经网络的概念2. 神经元的概念3. 单层神经网络4. 感知机5. 多层神经网络6. 激活函数6. 神经网络示例 一、深
转载
2023-07-26 08:41:24
252阅读
自然语言处理 (NLP)问题都是序列化的。前馈神经网络，在单次前馈中对到来数据处理，假定所有输入独立，模式丢失。循环神经网络(recurrent neural network,RNN)对时间显式建模神经网络。RNN神经元可接收其他神经元加权输入。RNN神经元可与更高层建立连接，也可与更低层建立连接。隐含活性值在同一序列相邻输入间被记忆。2006年 LSTM。语音识别、语音合成、手写连体字识别、时间
转载
2024-01-02 13:36:39
39阅读
作者：Lingfei Wu等编译：机器之心编辑：Panda在 Transformer 推动自然语言处理领域迅猛发展的当下，基于图神经网络的 NLP 研究也不容忽视。在近日的一篇综述论文中，来自京东硅谷研发中心、伦斯勒理工学院、浙江大学等机构和高校的研究者首次对用于 NLP 的图神经网络（GNN）进行了全面综述。其中涵盖大量相关和有趣的主题，如用于 NLP 的自动图构建、图表示学习和各种先进的基于
转载
2024-03-14 11:35:29
25阅读
卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这
转载
2023-10-13 00:08:05
69阅读
引言：近年来，GNN技术由于其在图数据学习方面的出色表现，在许多领域得到了广泛的应用。在推荐系统中，大部分信息本质上具有图结构，而由于GNN对于表示学习具有一定的优势，所以GNN在推荐系统相关领域的应用迅速发展。本文尽可能用通俗的语言代替算法公式来进行讲述，希望可以让读者对推荐系统中的图神经网络有一个基本的了解。一、什么是图神经网络？Graph Neural Network（GNN），顾名思义，图
转载
2023-09-14 12:02:27
215阅读
NLP: 1、 词法分析：分词技术、词性标注、命名实体识别、词义消歧 词性标注：确定词性 命名实体识别：识别文本中具体意义的实体 （实体边界识别、确定实体类别
转载
2024-01-12 05:22:50
60阅读
在上一章中，我们展示了如何使用 RNN 为文本提供情感分类。然而，RNN 并不是唯一可用于 NLP 分类任务的神经网络架构。卷积神经网络( CNN ) 是另一种这样的架构。RNN 依赖于顺序建模，保持一个隐藏状态，然后逐字逐句逐句遍历文本，在每次迭代时更新状态。CNN 不依赖于语言的顺序元素，而是尝试通过单独感知句子中的每个单词并学习其与句子中围绕它的单词的关系来从文本中学习。
转载
2023-10-13 00:15:04
73阅读
卷积神经网络+Text-Text一、卷积神经网络1.1 卷积1.1.1 一维卷积1.1.2 二维卷积1.1.3 卷积网络—动机1.1.4 一维卷积运算和二维卷积运算1.2 池化层二、Text-CNN 一、卷积神经网络1.1 卷积卷积（Convolution），其实是一种数学运算，在信号处理或图像处理中，经常使用一维卷积或二维卷积。1.1.1 一维卷积一维卷积经常用在信号处理中，用于计算信号的延迟
转载
2023-10-10 11:34:21
111阅读
1、引子深度神经网络(DNNs)最近在图像分类或语音识别等复杂机器学习任务中表现出的优异性能令人印象深刻。在本文中，我们将了解深度神经网络的基础知识和三个最流行神经网络：多层神经网络(MLP)，卷积神经网络(CNN)和递归神经网络(RNN)。2、什么是深度神经网络机器学习是一门多领域交叉学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的
转载
2023-11-17 19:39:31
53阅读
TensorFlow 入门到目前为止，我们一直在使用numpy来自己编写神经网络。现在我们将一步步的使用深度学习的框架来很容易的构建属于自己的神经网络。我们将学习TensorFlow这个框架：初始化变量建立一个会话训练的算法实现一个神经网络使用框架编程不仅可以节省你的写代码时间，还可以让你的优化速度更快。1 - 导入TensorFlow库import numpy as np
import h5py
转载
2023-12-07 18:38:10
44阅读
文章目录1 背景2 RNN3 LSTM3.1 遗忘门3.2 输入门3.3 信息更新3.4 输出门4 GRU4.1 重置门4.2 信息更新4.3 更新门 1 背景在解决文本相关的任务时，各单词之间在语义上是有关联的。若直接使用全连接层等线性模型，则会丢失各单词之间的联系。CNN模型虽然可以构建相邻单词的联系，但受限于窗口大小，该模型仅能建立有限邻近单词之间的联系。因此，一种新的模型被提出，期望能改
转载
2023-12-25 15:31:22
52阅读
图是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。 为什么有图卷积神经网络 本质
转载
2023-09-14 12:29:28
150阅读
近年来，深度学习领域关于图神经网络（Graph Neural Networks，GNN）的研究热情日益高涨，图神经网络已经成为各大深度学习顶会的研究热点。GNN处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。图神经网络有很多比较好的综述[1][2][3]可以参考，更多的论文可以参考清华大学整理的GNN paper list[
转载
2023-07-07 22:05:28
551阅读
