图是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。 为什么有图卷积神经网络 本质
转载
2023-09-14 12:29:28
150阅读
本次分享的内容为图深度学习在自然语言处理领域的方法与应用，主要内容和素材都来自于我们Graph4NLP团队的一篇调研文章：Graph Neural Networks for Natural Language Processing：A Survery，以及我们团队所开发的Graph4NLP的python开源库和教程。主要包括以下几大方面内容：DLG4NLP背景与发展DLG4NLP方法和模型DLG4N
转载
2023-12-29 23:18:24
132阅读
作者：Lingfei Wu等编译：机器之心编辑：Panda在 Transformer 推动自然语言处理领域迅猛发展的当下，基于图神经网络的 NLP 研究也不容忽视。在近日的一篇综述论文中，来自京东硅谷研发中心、伦斯勒理工学院、浙江大学等机构和高校的研究者首次对用于 NLP 的图神经网络（GNN）进行了全面综述。其中涵盖大量相关和有趣的主题，如用于 NLP 的自动图构建、图表示学习和各种先进的基于
转载
2024-03-14 11:35:29
25阅读
引言：近年来，GNN技术由于其在图数据学习方面的出色表现，在许多领域得到了广泛的应用。在推荐系统中，大部分信息本质上具有图结构，而由于GNN对于表示学习具有一定的优势，所以GNN在推荐系统相关领域的应用迅速发展。本文尽可能用通俗的语言代替算法公式来进行讲述，希望可以让读者对推荐系统中的图神经网络有一个基本的了解。一、什么是图神经网络？Graph Neural Network（GNN），顾名思义，图
转载
2023-09-14 12:02:27
215阅读
如果觉得难，那有可能是因为你没有找到一个正确的方法及正确的学习路线。就像刚开始深度学习流行的那时候一样，CNN在大家眼中都是个很新颖的东西，觉得他既难搞又神秘，那你看到现在，谁还会觉得觉得CNN很难了，框架一堆都是现成的轮子，三两行代码搭一个cnn，教程遍地都是。有很多同学觉得难不好入门，是因为你还不了解它，你认真的去读它几篇文章，不用最新的，就从最基础的开始，认真读个三四篇，并着手把一些基础的模
转载
2023-08-08 10:42:59
65阅读
近年来，深度学习领域关于图神经网络（Graph Neural Networks，GNN）的研究热情日益高涨，图神经网络已经成为各大深度学习顶会的研究热点。GNN处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。图神经网络有很多比较好的综述[1][2][3]可以参考，更多的论文可以参考清华大学整理的GNN paper list[
转载
2023-07-07 22:05:28
551阅读
图是一种对一组对象（节点）及其关系（边）进行建模的数据结构。近年来，利用机器学习分析图的研究越来越受到重视，因为图具有很强的表现力，即图可以作为社会科学（社会网络）和自然科学等多个领域中大量系统的表示，例如蛋白质-蛋白质相互作用网络（protein-protein interaction networks）、知识图谱等。作为一种独特的非欧几里德(non-Euclidean)机器学习数据结构，图在节
转载
2023-10-27 20:59:09
78阅读
NLP 神经网络2013 年和 2014 年是 NLP 问题开始引入神经网络模型的时期。使用最广泛的三种主要的神经网络是：循环神经网络、卷积神经网络和递归神经网络。循环神经网络（RNNs） 循环神经网络是处理 NLP 中普遍存在的动态输入序列的一个最佳的技术方案。Vanilla RNNs （Elman,1990）很快被经典的长-短期记忆网络（Hochreiter & Schmid
转载
2023-09-19 11:12:50
85阅读
近些年来，深度学习已经成为处理NLP各种任务的主要方法。由于用图（graph）来表征文本可以更好的获取文本的结构信息，且随着火热的图神经网络的兴起，各种各样的NLP问题开始用图结构的形式来表示和学习。因此，为大量的NLP任务开发新的图深度学习技术就成为了一个必要的需求。
转载
2023-07-31 17:37:06
95阅读
在上一部分中，我们了解到了统计语言模型，n-gram模型以及语料库的基本知识：自然语言处理NLP（2）——统计语言模型、语料库 在这一部分中，我们将在此基础上介绍神经网络语言模型以及词向量的相关知识。 在介绍这些知识之前，我们首先对自然语言处理领域的整体架构进行一些简单的介绍。【一】自然语言处理架构首先，我们来看这样一张图。 从这张图中，可以清晰地看到，所谓的规则法、概率统计法、深度学习法都只是处
转载
2023-11-29 14:42:18
73阅读
目录前言正文图注意力机制层(Graph Attentional Layer)层的输入注意力系数归一化注意力系数通过邻居节点更新自身节点层的输出GAT相比于先前研究的优势附作者简介 前言之前在推荐排序上开发的一个算法，取得了不错的效果。其中就用到了图神经网络模块，该模块的一部分思想源于GraphSage和GAT，因此对GAT的算法及代码理解还是比较深的，上一篇博文介绍了GraphSage：《Gra
转载
2023-11-14 12:44:28
62阅读
NLP: 1、 词法分析：分词技术、词性标注、命名实体识别、词义消歧 词性标注：确定词性 命名实体识别：识别文本中具体意义的实体 （实体边界识别、确定实体类别
转载
2024-01-12 05:22:50
60阅读
神经网络+FastText一、神经网络基础1.1 前馈神经网络1.1.1 神经元模型1.1.2 前馈神经网络1.1.3 网络层数1.1.4 输入层1.1.5 输出层1.1.6 隐藏层1.1.7 隐藏单元1.1.8 激活函数1.1.9 前馈神经网络与反向传播算法（推导过程）1.2 感知机1.2.1 感知机的原理1.2.2 点到线的距离1.2.3 样本到超平面的距离1.2.4 超平面1.2.5 感知
转载
2023-10-12 11:40:20
168阅读
从0探索NLP——神经网络1.前言一提人工智能，最能想到的就是神经网络，但其实神经网络只是深度学习的主要实现方式。 现在主流的NLP相关任务、模型大都是基于深度学习也就是构建神经网络实现的，所以这里讲解一下神经网络以及简单的神经网络结构。2.概念及业务相关2.1.分类任务现在绝大部分的神经网络都用来做分类相关的任务，从整篇文章的类别判断到句子字词的序列标签。分类可以看做是用一条清晰地明确的线把每类
转载
2023-10-18 08:32:24
161阅读
# 神经网络与自然语言处理的关系
## 1. 简介
神经网络（Neural Network）是一种模拟人脑神经元之间相互连接的数学模型，通过在网络中传递信息来完成学习和推断任务。自然语言处理（Natural Language Processing，NLP）是一门研究人类语言与计算机之间交互的学科，旨在使计算机能够理解、分析和生成人类语言。
神经网络和NLP之间存在着密切的关系。神经网络可以被
原创
2023-09-19 09:48:08
216阅读
人工智能和神经网络有什么联系与区别？联系：都是模仿人类行为的数学模型以及算法。神经网络的研究能促进或者加快人工智能的发展。区别如下：一、指代不同1、人工智能：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。2、神经网络：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。二、方法不同1、人工智能：企图了解智能的实质，并生产出一种新的能以人类
转载
2023-08-21 16:16:42
109阅读
一 序 本文属于贪心NLP训练营学习笔记系列。在之前的机器学习的分享中，是关于传统机器学习的一些重要的模型，从本节课开始学习深度学习。神经网络 只是借鉴了生物学的神经系统，与真实的大脑生物学还差别很大。二 神经元人工神经元（Artificial Neuron），简称神经元（Neuron），是构成神经网络 的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入
转载
2023-12-13 20:30:00
64阅读
GNN-Graph Neural Networks0 前言1 图神经网络和以往深度学习的区别2 图神经网络的特点 参考知乎：https://zhuanlan.zhihu.com/p/1365216250 前言图神经网络有很多比较好的综述：1、Graph Neural Networks: A Review of Methods and Applications. 2、A Comprehensive
转载
2023-10-20 19:13:03
835阅读
前置知识：自编码器入门前段时间在改论文的过程中，审稿人给出了关于使用对抗自编码器算法的建议——2020.2以上算是序自编码器（autoencoder）是一种无监督学习神经网络基本定义本质上来说，自编码器是一种所谓”生成模型“，也就是根据给定的数据集去学习数据的分布函数，然后通过调整神经网络的参数使输出和原数据集尽量一致。一般的，自编码器的原型是一个单隐层的神经网络 从输入层到隐层的过程可以理解为一
转载
2023-08-14 16:23:26
208阅读
知识图谱理论知识知识图谱嵌入模型TransEDistMult知识图谱的抽取与构建知识图谱工程知识抽取——实体识别与分类知识抽取——实体关系抽取与属性补全知识图谱的推理常见知识图谱推理方法分类图表示学习随机游走同构图算法异构图算法图神经网络系列监督学习或半监督学习模型GCN，图卷积神经网络（[视频](https://aistudio.baidu.com/aistudio/education/les
转载
2023-09-15 12:37:35
367阅读
