目录1. Motivation2. SPPnet2.1 SPP层的原理2.2 SPPnet的区域映射原理3. 总结 论文: Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition. 1. MotivationR-CNN模型存在很多缺点和可改进的地方，其中的两个缺点如下：CNN网络后面接的FC层需要
tf框架的范围管理scope技术来优化参数设定，最终准确率为0.984这里主要引入较多参数来改进原有的cnn模型：使用激活函数去线性化使用隐藏层即加深层数以解决复杂问题使用学习率调整更新参数的频度使用滑动平均模型来调整模型结果# 导入必要的库
import tensorflow as tf
import os
from tensorflow.examples.tutorials.mnist im
转载
2024-04-14 22:23:34
111阅读
在很多场景中我们需要通过并行化的方式来提高程序运行的速度，比较典型的需求就是并行下载。前期遇到一个需求是要批量下载瓦片，每次大概下载上百万个瓦片，要想提高瓦片的下载速度，只能通过并行化的方式，下面把我解决此问题的思路和代码总结如下：第一步确定线程个数（ThreadCount），这个要根据网络情况和硬件配置进行确定，可以做成一个配置项由用户自行确定。第二步将任务分成ThreadCount个，此步需要
转载
2024-10-22 16:12:20
40阅读
循环神经网络 (RNN) CNN等传统神经网络的局限在于：将固定大小的向量作为输入（比如一张图片），然后输出一个固定大小的向量（比如不同分类的概率）。不仅如此，CNN还按照固定的计算步骤（比如模型中层的数量）来实现这样的输入输出。这样的神经网络没有持久性：假设你希望对电影中每一帧的事件类型进行分类，传统的神经网络就没有办法使用
卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有
转载
2024-10-25 12:56:26
84阅读
一、什么是胶囊网络1.1普通CNN的缺点：CNN在提取特征时只在乎有没有，不在乎他具体的状态是如何的。上面第一张图片是一个人像，CNN可以正常识别出来；第二张是一个五官错位的图片，CNN仍然将其识别成一张人脸。这是因为CNN是可以识别出人像所具有的具体特征，只要包含这些特征就将其判定为一张人脸。 1.2Hinton自己说过：最大池化层表现的如此优异是一个巨大的错误，是一场灾难。从图中不难
转载
2024-04-18 22:16:06
291阅读
LSTM 中实现attention：https://distill.pub/2016/augmented-rnns/， 文章链接中给出的第三方attention实现非常清晰！ 理解LSTM/RNN中的Attention机制Posted on 2017-07-03 Deep Learning | 1 Comment&nbs
神经网络架构平移不变性（translation invariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。多输入多输出通道的互相关运
转载
2024-05-29 11:37:50
140阅读
CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。注：水平所限，下面的见解或许有偏差，望大牛指正。另外只介绍其中具有代表性的模型，一些著名的模型由于原理相同将不作介绍，若有遗漏也欢迎指出。一、卷积只能在同一组进行
转载
2024-03-27 15:46:21
64阅读
CNN网络优化学习总结——从MobileNet到ShuffleNet摘要 关键词MobileNet，Xception，ResNeXt，ShuffleNet, MobileID前言自从2016年3月，谷歌用一场围棋比赛把人工智能(AI, Artificial Intelligence)正式推上了风口。深度学习突然间成为了整个IT行业的必备知识，不掌握也需要去了解。然而，在2014年我刚毕业的时候，这
一、优化算法 优化算法有很多中，其中最为简单常见的是SGD（stotastic gradient descent）算法，但该算法也有缺点，即对于高维网络的优化，由于高维的网络会存在很多鞍点，即梯度为零的点，如果学习率不大，就有可能会停留在鞍点而无法再优化，所以一种改进的方法是在随机梯度下降算法的基础上加上了动量（momentum）
目录KNN项目实战——改进约会网站的配对效果1、项目背景2、项目数据3、K-近邻算法的一般流程4、项目步骤及代码实现5、项目结果KNN项目实战——改进约会网站的配对效果1、项目背景： 海伦女士一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的人选，但她并不是喜欢每一个人。经过一番总结，她
Sublime Text 3118-3120 英文菜单改进版看图竖向的红框表示菜单风格，横向的红框表示新添加的菜单，或者里面内容有改变的菜单group。 后记这一版，因为需要更改的地方相对少得多，所以只用了三个多小时（权衡键盘访问键还是很费时的）就完成了，相比以前中文版所用的时间，竟让我很有种马马虎虎就过来了的感觉。真是“除却巫山不是云”。对 Sublime Text 在“本地化”方面的缺陷，我在
转载
2024-09-06 14:37:05
28阅读
目录简介1.什么是卷积神经网络 (CNN)？2. 卷积神经网络的工作原理是什么？3. 卷积神经网络有什么优点和缺点？4. 卷积神经网络在哪些领域有应用？5. 如何训练卷积神经网络？6. 如何评估卷积神经网络的性能？7. 如何在卷积神经网络中进行特征提取？8. 如何在卷积神经网络中进行图像分类？9. 如何在卷积神经网络中进行目标检测？10. 如何在卷积神经网络中进行语义分割？总结 简介卷积神经网络
转载
2024-09-10 15:15:57
30阅读
在文本分类中，需要先对文本分词，原始的文本中可能由几十万个中文词条组成，维度非常高。另外，为了提高文本分类的准确性和效率，一般先剔除决策意义不大的词语，这就是特征词提取的目的。本文将简单介绍几种文本特征词提取算法。信息增益（IG）对于一个系统，其信息熵为\(H(S)=-\sum_{i}^{C}P_ilog_2(P_i)\).\(C\)表示类别个数，\(P_i\)表示第\(i\)的类别的概率。某个特
由于比赛的原因，接触了图像文字识别，即是对输入的图片，识别其中的文字。然而对于现实世界中随机的一张图片，首先需要文字检测，即检测出图片中文字的所在文字，然后再进行文字识别，由于比赛给出的数据不用考虑文字检测部分，所以此篇文章主要介绍文字识别算法CRNN。CRNN算法思想很简单，架构模型为CNN+RNN，CNN用于提取图片的特征，然后转换成特征序列，作为RNN的序列输入，RNN网络用于预测序列，RN
转载
2024-04-08 10:35:17
69阅读
！！！入门级选手的博客，请带着做英语短文改错的眼光来看 一、卷积神经网络CNN二、支持向量机SVM三、Adaboost（通过迭代弱分类器而产生最终的强分类器的算法)四、算法优缺点及其发展趋势（1）CNN最大优点是权值共享，减少了计算时间，CNN处理图像可以把原图直接输入网络，特征提取也简单，因为会简化处理，加快处理速度。 缺点：实现相对复杂，网络训练时间长而且由于其泛化性，要对处理的样
转载
2023-10-13 17:27:32
148阅读
CNNs可以自动从(通常是大规模)数据中学习特征，并把结果向同类型未知数据泛化。
选用卷积的原因:
局部感知:
简单来说，卷积核的大小一般小于输入图像的大小（如果等于则是全连接），因此卷积提取出的特征会更多地关注局部 ——
这很符合日常我们接触到的图像处理。而每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，
然后在更高层将局部
转载
2024-03-27 21:09:43
116阅读
transformer和LSTM最大的区别transformer和LSTM最大的区别就是LSTM的训练是迭代的，是一个接一下字的来，当前这个字过完LSTM单元，才可以进下一个字，而transformer的训练是并行了，就是所有字是全部同时训练的，这样就大大加快了计算效率，transformer使用了位置嵌入（positional encoding）来理解语言的顺序，使用自注意力机制和全连接层进行计
转载
2024-10-13 22:55:26
214阅读
最近一直在看卷积神经网络，想改进改进弄出点新东西来，看了好多论文，写了一篇综述，对深度学习中卷积神经网络有了一些新认识，和大家分享下。其实卷积神经网络并不是一项新兴的算法，早在上世纪八十年代就已经被提出来，但当时硬件运算能力有限，所以当时只用来识别支票上的手写体数字，并且应用于实际。2006年深度学习的泰斗在《科学》上发表一篇文章，论证了深度结构在特征提取问题上的潜在实力，从而掀起了深度结构研究的
转载
2023-10-08 08:17:15
15阅读
