tf框架的范围管理scope技术来优化参数设定，最终准确率为0.984这里主要引入较多参数来改进原有的cnn模型：使用激活函数去线性化使用隐藏层即加深层数以解决复杂问题使用学习率调整更新参数的频度使用滑动平均模型来调整模型结果# 导入必要的库
import tensorflow as tf
import os
from tensorflow.examples.tutorials.mnist im
转载
2024-04-14 22:23:34
111阅读
一、什么是胶囊网络1.1普通CNN的缺点：CNN在提取特征时只在乎有没有，不在乎他具体的状态是如何的。上面第一张图片是一个人像，CNN可以正常识别出来；第二张是一个五官错位的图片，CNN仍然将其识别成一张人脸。这是因为CNN是可以识别出人像所具有的具体特征，只要包含这些特征就将其判定为一张人脸。 1.2Hinton自己说过：最大池化层表现的如此优异是一个巨大的错误，是一场灾难。从图中不难
转载
2024-04-18 22:16:06
291阅读
目录KNN项目实战——改进约会网站的配对效果1、项目背景2、项目数据3、K-近邻算法的一般流程4、项目步骤及代码实现5、项目结果KNN项目实战——改进约会网站的配对效果1、项目背景： 海伦女士一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的人选，但她并不是喜欢每一个人。经过一番总结，她
CNNs可以自动从(通常是大规模)数据中学习特征，并把结果向同类型未知数据泛化。
选用卷积的原因:
局部感知:
简单来说，卷积核的大小一般小于输入图像的大小（如果等于则是全连接），因此卷积提取出的特征会更多地关注局部 ——
这很符合日常我们接触到的图像处理。而每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，
然后在更高层将局部
转载
2024-03-27 21:09:43
116阅读
循环神经网络 (RNN) CNN等传统神经网络的局限在于：将固定大小的向量作为输入（比如一张图片），然后输出一个固定大小的向量（比如不同分类的概率）。不仅如此，CNN还按照固定的计算步骤（比如模型中层的数量）来实现这样的输入输出。这样的神经网络没有持久性：假设你希望对电影中每一帧的事件类型进行分类，传统的神经网络就没有办法使用
目录1. Motivation2. SPPnet2.1 SPP层的原理2.2 SPPnet的区域映射原理3. 总结 论文: Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition. 1. MotivationR-CNN模型存在很多缺点和可改进的地方，其中的两个缺点如下：CNN网络后面接的FC层需要
卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有
转载
2024-10-25 12:56:26
84阅读
相关理论可以看这篇文章 Deep Learning using Linear Support Vector Machines，ICML 2013主要使用的是SVM的hinge loss形式的损失函数原始的SVM的损失：（公式图片截取自开头的论文）SVM的hinge loss形式的损失：（公式图片截取自开头的论文）这里解决的是二分类问题，多分类的话和softmax一样，简单说明如下：（公式
转载
2024-03-21 21:37:08
82阅读
LSTM 中实现attention：https://distill.pub/2016/augmented-rnns/， 文章链接中给出的第三方attention实现非常清晰！ 理解LSTM/RNN中的Attention机制Posted on 2017-07-03 Deep Learning | 1 Comment&nbs
神经网络架构平移不变性（translation invariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。多输入多输出通道的互相关运
转载
2024-05-29 11:37:50
140阅读
CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。注：水平所限，下面的见解或许有偏差，望大牛指正。另外只介绍其中具有代表性的模型，一些著名的模型由于原理相同将不作介绍，若有遗漏也欢迎指出。一、卷积只能在同一组进行
转载
2024-03-27 15:46:21
64阅读
第二部分 优化篇 文章目录第二部分 优化篇第5章 基于梯度下降法的最优化方法5.1 随机梯度下降法SGD5.2 基本动量法5.3 Nesterov动量法5.4 AdaGrad5.5 RMSProp5.6 Adam5.7 AmsGrad5.8 学习率退火5.9 参数初始化5.10 超参数调优 第5章 基于梯度下降法的最优化方法梯度下降法的基本思想：如果要找到某函数的最小值，最好的方法是沿着负梯度方向
在文本分类中，需要先对文本分词，原始的文本中可能由几十万个中文词条组成，维度非常高。另外，为了提高文本分类的准确性和效率，一般先剔除决策意义不大的词语，这就是特征词提取的目的。本文将简单介绍几种文本特征词提取算法。信息增益（IG）对于一个系统，其信息熵为\(H(S)=-\sum_{i}^{C}P_ilog_2(P_i)\).\(C\)表示类别个数，\(P_i\)表示第\(i\)的类别的概率。某个特
Sublime Text 3118-3120 英文菜单改进版看图竖向的红框表示菜单风格，横向的红框表示新添加的菜单，或者里面内容有改变的菜单group。 后记这一版，因为需要更改的地方相对少得多，所以只用了三个多小时（权衡键盘访问键还是很费时的）就完成了，相比以前中文版所用的时间，竟让我很有种马马虎虎就过来了的感觉。真是“除却巫山不是云”。对 Sublime Text 在“本地化”方面的缺陷，我在
转载
2024-09-06 14:37:05
28阅读
目录简介1.什么是卷积神经网络 (CNN)？2. 卷积神经网络的工作原理是什么？3. 卷积神经网络有什么优点和缺点？4. 卷积神经网络在哪些领域有应用？5. 如何训练卷积神经网络？6. 如何评估卷积神经网络的性能？7. 如何在卷积神经网络中进行特征提取？8. 如何在卷积神经网络中进行图像分类？9. 如何在卷积神经网络中进行目标检测？10. 如何在卷积神经网络中进行语义分割？总结 简介卷积神经网络
转载
2024-09-10 15:15:57
30阅读
一、优化算法 优化算法有很多中，其中最为简单常见的是SGD（stotastic gradient descent）算法，但该算法也有缺点，即对于高维网络的优化，由于高维的网络会存在很多鞍点，即梯度为零的点，如果学习率不大，就有可能会停留在鞍点而无法再优化，所以一种改进的方法是在随机梯度下降算法的基础上加上了动量（momentum）
CNN网络优化学习总结——从MobileNet到ShuffleNet摘要 关键词MobileNet，Xception，ResNeXt，ShuffleNet, MobileID前言自从2016年3月，谷歌用一场围棋比赛把人工智能(AI, Artificial Intelligence)正式推上了风口。深度学习突然间成为了整个IT行业的必备知识，不掌握也需要去了解。然而，在2014年我刚毕业的时候，这
由于比赛的原因，接触了图像文字识别，即是对输入的图片，识别其中的文字。然而对于现实世界中随机的一张图片，首先需要文字检测，即检测出图片中文字的所在文字，然后再进行文字识别，由于比赛给出的数据不用考虑文字检测部分，所以此篇文章主要介绍文字识别算法CRNN。CRNN算法思想很简单，架构模型为CNN+RNN，CNN用于提取图片的特征，然后转换成特征序列，作为RNN的序列输入，RNN网络用于预测序列，RN
转载
2024-04-08 10:35:17
69阅读
逻辑回归模型是经典的二分类模型，因其计算方式也可用于预测概率。在进行预测时主要用到了权重向量 、偏置 b对于样本特征 ，其先计算该样本的得分 ，而后使用sigmoid激活函数将 的值域变换到 [0, 1]，将该值作为概率，以 为分界线对样本进行二分类：而 均通过梯度下降法进行求解。求解时使用的损失函数为交叉熵，记
转载
2024-03-22 08:39:58
208阅读
！！！入门级选手的博客，请带着做英语短文改错的眼光来看 一、卷积神经网络CNN二、支持向量机SVM三、Adaboost（通过迭代弱分类器而产生最终的强分类器的算法)四、算法优缺点及其发展趋势（1）CNN最大优点是权值共享，减少了计算时间，CNN处理图像可以把原图直接输入网络，特征提取也简单，因为会简化处理，加快处理速度。 缺点：实现相对复杂，网络训练时间长而且由于其泛化性，要对处理的样
转载
2023-10-13 17:27:32
148阅读
