LSTM 中实现attention：https://distill.pub/2016/augmented-rnns/， 文章链接中给出的第三方attention实现非常清晰！ 理解LSTM/RNN中的Attention机制Posted on 2017-07-03 Deep Learning | 1 Comment&nbs
由于比赛的原因，接触了图像文字识别，即是对输入的图片，识别其中的文字。然而对于现实世界中随机的一张图片，首先需要文字检测，即检测出图片中文字的所在文字，然后再进行文字识别，由于比赛给出的数据不用考虑文字检测部分，所以此篇文章主要介绍文字识别算法CRNN。CRNN算法思想很简单，架构模型为CNN+RNN，CNN用于提取图片的特征，然后转换成特征序列，作为RNN的序列输入，RNN网络用于预测序列，RN
转载
2024-04-08 10:35:17
69阅读
学习目标1.学习CNN基础和原理 2.使用pytorch框架构建CNN模型，并完成训练。CNN介绍卷积神经网络（CNN）是一类特殊的人工神经网络，是深度学习中重要的一个分支，CNN在多数领域表现优异，精度和速度比传统的计算学习算法高很多。CNN进行权值共享，在计算机视觉领域，CNN是解决图像分类，图像检索，物体检测和语义分割的主流模型。 CNN每一层由众多的卷积核组成，每个卷积核对输入的像素进行卷
转载
2024-04-10 14:12:31
663阅读
深度学习与神经网络此前没有深度学习神经网络的基础，理解CNN比较困难，于是先观看了B站上吴恩达深度学习课程，从logistics回归学起，到单层神经网络，多层神经网络，基本弄懂了损失函数，成本函数，梯度下降法，激活函数，正向传播和反向传播，超参数，收敛，迭代等概念。CNN配合该博文理解CNN->通俗理解卷积神经网络卷积神经网络（简称CNN）是一类特殊的人工神经网络，是深度学习中重要的一个分支
为什么选择时间卷积网络？与具有相同容量的循环体系结构相比，TCN具有更长的内存。 在大量任务（序列MNIST，添加问题，复制内存，字级PTB …）上，其性能始终优于LSTM / GRU体系结构。 平行度，灵活的接收域大小，稳定的梯度，训练所需的低内存，可变长度的输入… 放大的因果卷积层堆栈的可视化（Wavenet，2016）参数：TCN(nb_filters=64, kernel_size=2,
经常接触LSTM，GRU,RNN这些模型，对于LSTM的印象只是知道它用来解决梯度消失梯度爆炸问题，对于长距离的句子的学习效果不好的问题，而且大概知道里面是加了一些参数，加了门单元来选择忘记和记住一些信息。但是具体公式没有推过，所以理解的不够深。但是上面这篇长博文，作者真心花了很多心血来创作，写的详细，易懂，对于学习lstm有很大的帮助。读完后我觉得要理解几个门的作用，文中作者提到的三个例子恰到
tf框架的范围管理scope技术来优化参数设定，最终准确率为0.984这里主要引入较多参数来改进原有的cnn模型：使用激活函数去线性化使用隐藏层即加深层数以解决复杂问题使用学习率调整更新参数的频度使用滑动平均模型来调整模型结果# 导入必要的库
import tensorflow as tf
import os
from tensorflow.examples.tutorials.mnist im
转载
2024-04-14 22:23:34
111阅读
最近在做细胞分割，尝试了很多CNN的分割模型，对比下来发现unet性能真的是很好。在很小的训练集上（30张）也能取得非常不错的分割效果。以前一直以为CNN结构更多的是靠瞎蒙，现在发现其实不是。CNN虽然内部的整个流程很难去揣摩，但是还是有很多比较整体的经验可以借鉴，在模型构建上还是有规可循。 按照我这些日子的测试，结合一点自己的理解和网上各位大佬的帖子，说一下我自己的看法。 U-Net和FCN非常
转载
2024-02-23 23:24:01
136阅读
循环神经网络 (RNN) CNN等传统神经网络的局限在于：将固定大小的向量作为输入（比如一张图片），然后输出一个固定大小的向量（比如不同分类的概率）。不仅如此，CNN还按照固定的计算步骤（比如模型中层的数量）来实现这样的输入输出。这样的神经网络没有持久性：假设你希望对电影中每一帧的事件类型进行分类，传统的神经网络就没有办法使用
今天下午我继续学习有关TCPIP的相关知识。为了减少网络设计的复杂性，大多数网络都采用分层结构。对于不同的网络，层的数量、名字、内容和功能都不尽相同。在相同的网络中，一台机器上的第N层与另一台机器上的第N层可利用第N层协议进行通信，协议基本上是双方关于如何进行通信所达成的一致。 不同机器中包含的对应层的实体叫做对等进程。在对等进程利用协议进行通信时，实际上并不是直接将数据从一台机器的第N层传送到另
转载
2024-05-06 10:05:20
55阅读
1. 理解卷积【解释了图像处理中卷积计算的过程】2. 理解CNN2.1 一点思考：由【参考链接第一条】这个知乎答案中获得启发：要十分深刻而准确的把握每一个trick背后的物理直觉。这些物理直觉作为一种先验知识加入到网络设计中，构成一些组件。这些组件能够work，正是因为这些组件满足了【图像目标检测】背后的某些物理直觉【我们面对一张图片，如何检测一个obj，所具有的先验知识】例如：图像中obj的【空
# TCN的介绍及实现步骤
## 引言
在处理时间序列数据时，卷积神经网络（CNN）一直是一种常用的方法。然而，传统的CNN对于长期依赖关系的建模效果不佳。为了解决这个问题，我们可以使用一种基于CNN的改进方法，即时序卷积网络（Temporal Convolutional Network，TCN）。TCN在处理时间序列数据时取得了很好的效果，并且在许多任务中都取得了最先进的结果。
## TCN
原创
2023-08-23 09:48:05
1437阅读
基于tensorflow的CNN和LSTM文本情感分析对比1. 背景介绍2. 数据集介绍2.0 wordsList.npy2.1 wordVectors.npy2.2 idsMatrix.npy2.2.0 文本预处理2.2.0 为什么把词转化为词向量2.3 Helper Functions3. RNN网络训练4. CNN网络训练5. CNN与RNN训练结果对比6. 循环神经网络系列参考文献 1.
转载
2024-04-26 13:31:59
190阅读
Fully Convolutional NetworksFCN与CNN的区别：简单的来说，FCN把于CNN最后的全连接层换成卷积层，使用反卷积上采样恢复原图大小，最后逐个像素计算softmax分类的损失，输出的是一张已经Label好的图片。CNN：通常CNN网络在卷积层之后会接上若干个全连接层, 将卷积层产生的特征图(feature map)映射成一个固定长度的特征向量。以AlexNet为代表的经
转载
2024-04-27 19:29:45
116阅读
目录1. Motivation2. SPPnet2.1 SPP层的原理2.2 SPPnet的区域映射原理3. 总结 论文: Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition. 1. MotivationR-CNN模型存在很多缺点和可改进的地方，其中的两个缺点如下：CNN网络后面接的FC层需要
卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有
转载
2024-10-25 12:56:26
89阅读
今日学习内容概览： 今天主要阅读了一篇论文Temporal Segment Networks：Towards Good Practices for Deep Action Recognition（时间片段网络面向深度动作识别的良好实践），这篇ECCV2016的文章主要提出了TSN（temporal segment network）结构，被用来做视频的动
一、什么是胶囊网络1.1普通CNN的缺点：CNN在提取特征时只在乎有没有，不在乎他具体的状态是如何的。上面第一张图片是一个人像，CNN可以正常识别出来；第二张是一个五官错位的图片，CNN仍然将其识别成一张人脸。这是因为CNN是可以识别出人像所具有的具体特征，只要包含这些特征就将其判定为一张人脸。 1.2Hinton自己说过：最大池化层表现的如此优异是一个巨大的错误，是一场灾难。从图中不难
转载
2024-04-18 22:16:06
297阅读
知识补充：空洞卷积（膨胀卷积）——Dilated Conv 在标准卷积的基础上注入空洞，以此来增加感受野（reception field）。因此增加一个超参：膨胀率，指kernel的间隔数量。因果卷积传统的CNN无法直接处理sequence模型这种序列问题，所以使用因果卷积，其作用就是解决序列问题。膨胀因果卷积膨胀非因果卷积Wavenatwavenet是一种全卷积的模型，
转载
2024-02-02 20:15:05
2232阅读
神经网络架构平移不变性（translation invariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。多输入多输出通道的互相关运
转载
2024-05-29 11:37:50
140阅读
