欢迎来到 NLP 时事简报！全文比较长，建议收藏慢慢看。另外加了目录方便直接索引到自己感兴趣的部分。enjoy 文章目录1、Publications ?1.1 Turing-NLG: A 17-billion-parameter language model by Microsoft1.2 Neural based Dependency Parsing1.3 End-to-end Cloud-ba
CNNs可以自动从(通常是大规模)数据中学习特征，并把结果向同类型未知数据泛化。
选用卷积的原因:
局部感知:
简单来说，卷积核的大小一般小于输入图像的大小（如果等于则是全连接），因此卷积提取出的特征会更多地关注局部 ——
这很符合日常我们接触到的图像处理。而每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，
然后在更高层将局部
转载
2024-03-27 21:09:43
125阅读
一.前言对于文本序列，我们一般想到的应用循环神经网络（RNN），事实证明RNN在NLP中确实效果很好。但是RNN也存在一个问题，就是序列前后具有依赖关系，无法并行。而卷积神经网络（CNN）却能克服这个缺陷，且能取得不错的性能。最近博主会更新一波关于CNN在特定NLP任务上的博文，为方便理解，先放出一篇关于文本卷积的博文。二.文本卷积对于图像卷积，我们可能很熟悉，就是利用一个卷积核在图片上从左到右、
转载
2023-10-13 06:39:57
68阅读
前言图卷积网络Graph Convolutional Network，简称GCN，最近两年大热，取得不少进展。最近，清华大学孙茂松教授组在 arXiv 发布了论文Graph Neural Networks: A Review of Methods and Applications，作者对现有的 GNN 模型做了详尽且全面的综述。GCN就是GNN中的一种重要的分支。但是对于GCN的萌新，看着这篇综述
前言这篇博文是笔者之前学习自然语言处理课程CS224的笔记，首发于公众号:NLP学习者从RNN(循环网络)到CNN(卷积网络)虽然已经学习了多个循环神经网络，但是实际上，循环神经网络不擅长于短语，因为RNN总是将整个句子输入到LSTM中，并且在RNN的最终向量中最后一个单词往往起了很大作用。CNN的想法是从一定长度的序列中同时计算他们的表示。例如有句子“tentative deal reached
转载
2024-01-12 12:00:21
105阅读
深度神经网络（Deep Neural Networks，以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN模型与前向传播算法做一个总结。1.从感知机到神经网络 在感知机原理小结中，我们介绍过感知机的模型，它是一个有若干输入和输出的模型，如下图： 输入和输出之间学习到了一个线性关系，得到中间输出结果： 接着是一个神经元激活函数： 从而得
1.why look at case study这周会讲一些典型的cnn模型,通过学习这些,我们能够对于cnn加深自己的理解,并且在实际的应用中有可能应用到这些,或从中获取灵感2.Classic networksLeNet-5模型是Yann LeCun教授于1998年提出来的，它是第一个成功应用于数字识别问题的卷积神经网络。在MNIST数据中，它的准确率达到大约99.2%。 它的结构如下
转载
2024-09-18 14:47:37
81阅读
常见机器学习算法的优缺点有监督学习线性回归优点：实现简单，计算简单。缺点：不能拟合非线性数据。KNN优点：理论成熟，思想简单，容易实现，既可以用来做分类也可以用来做回归；可用于非线性分类；模型训练时间快，训练时间复杂度为 O(n)，KNN 算法时惰性的；对数据没有假设，准确度高，对异常值不敏感；KNN 是一种在线技术，新数据可以直接加入数据集而不必进行重新训练；缺点：对内存要求较高，因为该算法存储
转载
2024-04-18 14:04:36
216阅读
图神经网络（GNN）作为图表示学习的模型，建立在MLP架构之上，具有额外的消息传递，以允许特征在节点之间流动。作者通过引入一个被称为P-MLP的中间模型，将GNN性能增益的主要来源定位为其内在的泛化能力，P-MLP在训练中与标准MLP相同，但在测试中采用了GNN的体系结构。有趣的是，观察到P-MLP的表现一直与GNN持平（甚至超过），同时在训练中效率更高。这一发现为理解GNN的学习行为提供了一个新
转载
2024-05-17 07:49:27
64阅读
本篇博文将把我所学习的循环神经网络(RNN)和长短时记忆神经网络(LSTM)做一个详细的总结分析。RNN为什么会有循环神经网络传统的神经网络（包括CNN）,输入输出都是互相独立的 。但是在一些场景中，后续的输出和之前的内容是相关的。比如一段句子的输出“我在CSDN上发表了一篇文_”，这里后续的输出和前面的文字有着很大的联系。传统的神经网络对这样的任务无法很好的进行预测。循环神经网络结构简单来看，就
卷积神经网络（CNN）概述及其在NLP中的应用（二）当我们听到CNNs时，我们一般会想到计算机视觉（computer vision）。CNNs在图像分类中取得了重大突破，也是从Facebook的自动图像标注到自动驾驶等，当今计算机视觉系统的核心。 最近我们也开始尝试使用CNNs来解决NLP问题，并且取得了一些有趣的结果。在本贴中，我将会尝试着总结下CNNs是什么，并且它们是怎样被用到NLP中。计
转载
2023-10-10 11:31:27
106阅读
此篇博客主要是讲一些目前较好的网络发展，提出问题，解决了什么问题,有什么优缺点。1、Alexnet网络，本网络是2012年的分类冠军，掀起来深度学习的热潮，Alexnet参数量巨大，由于受限于硬件计算，作者采用了group 卷积，将特征图分别放入不同gpu进行运算，最后融合，但是此网络存在一个问题，不同特征图分别计算然后融合，如此卷积核只与某一部分的特征图进行卷积，这样卷积核获得的特征
转载
2024-04-29 12:52:22
85阅读
在深度学习领域中，已经经过验证的成熟算法，目前主要有深度卷积网络（DNN）和递归网络（RNN），在图像识别，视频识别，语音识别领域取得了巨大的成功，正是由于这些成功，能促成了当前深度学习的大热。与此相对应的，在深度学习研究领域，最热门的是AutoEncoder、RBM、DBN等产生式网络架构，但是这些研究领域，虽然论文比较多，但是重量级应用还没有出现，是否能取得成功还具有不确定性。但是有一些
转载
2024-04-26 15:26:02
165阅读
目标检测--之RCNN 前言，最近接触到的一个项目要用到目标检测，还有我的科研方向caption，都用到这个，最近电脑在windows下下载数据集，估计要一两天，也不能切换到ubuntu下撸代码~。所以早上没事，我就把卷积神经网络用在目标检测的开山之作介绍下，后续他的孩子算法（fast-rcnn, faster-rcnn）我也会陆续介绍。 RCNN 论文地址：Rich feature hierar
图像增强-其他方法汇总这里汇总一下几个图像增强方法：直方图规定化、同态滤波器、彩色图像增强方法，测试结果图就懒得放了…直方图规定化针对直方图均衡化的存在的一些问题，将原始图像的直方图转化为规定的直方图的形式。一般目标图像的直方图的确定需要参考原始图像的直方图，并利用多高斯函数得到。import os
import cv2
import numpy as np
import matplotlib.p
回顾Transformer在NLP领域，对语言建模最常用的模型就是RNNS（包括LSTM），但是RNNS存在一些问题，比如学习长期依赖的能力很弱（LSTM语言模型平均只能建模200个上下文词语），而且学习速度也很慢。在2017年，谷歌的一位学者提出了Transformer架构，其示意图如下图所示：Transformer不懂的可以看博客图解Transformer 虽然Transformer相比LST
简介长短期记忆（Long-Short Term Memory, LSTM）是一种时间递归神经网络(RNN)，是基于梯度的方法，由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM现在基本会被用在RNN模型中，代替RNN的隐层单元，能够起到很好的长时间记忆效果。Recurrent Neural Networks（循环神经网络）传统的神经网络并不能做到信息持久化，
转载
2024-09-02 19:24:33
374阅读
1、意义 没有激活函数（非线性函数），输出都是输入的线性组合，网络逼近能力有限。数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。2、常见激活函数（1）sigmoid函数 应用：逻辑回归；二分类任务的输
转载
2024-05-28 13:31:50
36阅读
论文下载地址 :https://arxiv.org/pdf/1411.4038.pdf原作代码 :https://github.com/shelhamer/fcn.berkeleyvision.org备注: 此文的FCN特指<<Fully Convolutional Networks for Semantic Segmentation>>论文中提出的结构，而非
转载
2024-05-29 11:31:39
218阅读
浅析NLP中的CNN卷积神经网络CNN卷积神经网络多见于图像识别或图像处理任务。但是在NLP（自然语言处理）任务中也有它的用武之地。在这里对卷积神经网络进行简单的介绍，并对一维卷积神经网络在NLP任务中的使用进行简单的介绍，希望对接触或使用CNN的小伙伴们有帮助，也欢迎大家就原理及内容进行评论探讨。一、中文自然语言处理之词共现概率简介中文文本有其特有的语法特点，每个字本身都具有一定的含义。连字成词
转载
2024-07-06 04:53:30
37阅读
