这里使用TensorFlow实现一个简单的卷积神经网络，使用的是MNIST数据集。网络结构为：数据输入层–卷积层1–池化层1–卷积层2–池化层2–全连接层1–全连接层2（输出层），这是一个简单但非常有代表性的卷积神经网络。import tensorflow as tf
import numpy as np
import input_data
mnist = input_data.read_dat
转载
2023-10-16 00:02:24
48阅读
深度学习之三 卷积神经网络1.问题引入。 普通的神经网络在处理图像时遇到的问题： 参数过多。 参数过多引来的问题有： ①.容易过拟合，导致模型的泛化能力非常差。 ②.收敛到较差的局部极值。 解决问题–卷积。2.卷积。 对于一个图像数据来说，它具有非常强的区域性。基于这样的图像性质，我们可以做一定的筛减，将全连接变成局部连接，从而降低它的参数量。 ①.局部连接 由于图像的特征和它的位置无关，我们强制
转载
2023-12-09 16:06:53
57阅读
激活函数：激活层的原理是在其他层的输出之后添加非线性激活函数，增加网络的非线性能力，提高神经网络拟合复杂函数的能力。激活函数的选择对神经网络的训练至关重要，常用的激活函数包括Sigmoid函数、Tanh函数、ReLU函数和LeakyReLU等。激活层模拟了生物神经系统的刺激过程，将非线性函数引入进来，从而更加有效地进行特征的表征。在卷积神经网络中的卷积层和全连接层，每一层的输出值在本质上都是输入神
转载
2024-01-02 14:03:35
613阅读
写在前面的话使用深度学习解决计算机视觉相关问题Python为主的互联网应用服务基于MIPS指令集的CPU微体系结构设计各类激活函数的介绍Sigmoid函数函数表达式它的函数模型如下图所示函数图像它的函数图像如下图所示适合使用该函数的场景将输出值限制到了0到1之间，对输出进行了归一化处理用于预测概率作为输出的模型梯度平滑，避免了跳跃的输出函数是可微的函数的缺点倾向于梯度消失函数使用指数运算，计算效率
转载
2023-11-19 22:09:34
43阅读
Convolutional Neural Networks (卷积神经网络)
一：ReLu激活函数 ReLu的全称是Rectified layer units，它是一层使用非饱和激活函数的神经元。神经网络通常使用sigmoid 和 tanh 作为非线性激活函数，它确实比早期的线性激活函数有好的多的效果。但在深度神经网络中，如果不使用pre-traning，会导致gradient
转载
2023-11-27 09:51:49
87阅读
卷积神经网络1.卷积神经网络算法概述 卷积神经网络（Convolutional Neural Network，CNN）最开始是为了解决图像识别问题被设计而来的，CNN使用图像的原始像素作为输入，训练时可以自动提取图像特征；卷积神经网络的三个基本要点是：局部连接，权值共享和降采样。其中局部连接和权值共享降低了参数量，减少了模型复杂度；而降采样则进一步降低了输出参数量，并赋予模型对轻度畸变的容忍性，提
转载
2023-06-16 19:07:58
91阅读
一：ReLu激活函数 ReLu的全称是Rectified layer units，它是一层使用非饱和激活函数的神经元。神经网络通常使用sigmoid 和 tanh 作为非线性激活函数，它确实比早期的线性激活函数有好的多的效果。但在深度神经网络中，如果不使用pre-traning，会导致gradient vanishing problem (梯度消失，无法收敛)。后来，两位神经学家从脑神经元接收信号
转载
2023-09-05 19:01:09
244阅读
如何理解卷积神经网络中的卷积及池化(pooling)1. 卷积 卷积层是用一个固定大小的矩形区去席卷原始数据，将原始数据分成一个个和卷积核大小相同的小块，然后将这些小块和卷积核相乘输出一个卷积值（注意这里是一个单独的值，不再是矩阵了）。卷积的本质就是用卷积核的参数来提取原始数据的特征，通过矩阵点乘的运算，提取出和卷积核特征一致的值，如果卷积层有多个卷积核，则神经网络会自动学习卷积核的参数值，使得每
转载
2024-01-10 19:57:08
35阅读
卷积神经网络笔记（2.激活函数）起源（感知机）梯度弥散现象现代模型常见激活函数（平滑连续激活函数）Sigmoid关于函数饱和的解释TanhReLU简介Leaky ReLU简介Softmax简介有关交叉熵应用 起源（感知机）1958 年，美国心理学家 Frank Rosenblatt 就提出了第一个可以自动学习权重的神经元模型，称为感知机。一个简单的一层网络，其中激活函数是阶跃函数（最早使用的激活
转载
2024-01-11 11:43:22
152阅读
目前所有神经网络和支撑向量机的基础都是1957年提出来的感知机。感知机（perceptron） 是二类分类的线性分类模型，
转载
2022-11-17 00:01:08
301阅读
德国心理学家艾宾浩斯(H.Ebbinghaus）研究发现，遗忘在学习之后立即开始，而且遗忘的进程并不是均匀的。最初遗忘速度很快，以后逐渐缓慢。他认为"保持和遗忘是时间的函数"，他用无意义音节（由若干音节字母组成、能够读出、但无内容意义即不是词的音节）作记忆材料，用节省法计算保持和遗忘的数量。[1] 并根据他的实验结果绘成描述遗忘进程的曲线，即著名的艾宾浩斯记忆遗忘曲线。学得的知识在一天
在生物意义上的神经元中，只有前面的树突传递的信号的加权和值大于某一个特定的阈值的时候，后面的神经元才会被激活。简单的说激活函数的意义在于判定每个神经元的输出 。放在人脸识别卷积神经网络中来思考，卷积层的激活函数的意义在于这一块区域的特征强度如果没有达到一定的标准，就输出0，表明这种特征提取方式(卷积核w)不能在该块区域提取到特征，或者说这块区域的这种特征很弱。由于输出0时，激活函数梯度几乎都为0，
转载
2023-09-21 14:31:19
116阅读
LRN全称(Local Response Normalization)。 参数：norm_region： 选择：相邻通道间归一化还是通道内空间区域归一化
原创
2022-08-26 10:45:20
3581阅读
前言用输入层，隐藏层，输出层组成了神经网络，把数据放入输入层，通过隐藏层，再到输出层，把训练的数据跟输出进行对比得出误差，把误差传回到隐藏层中训练各个层的参数。这是典型的神经网络的结果图：典型的神经网络用在了很多的场合中，比如分类上，也达到了很好的效果。但是如果输入层的参数太多，会出现怎样的一种情况？如下是用神经网络来识别手写数字：这是一个神经网络中常见的一个应用，如何用神经网络进行数字的识别？最
转载
2023-10-10 07:27:40
152阅读
神经网络的结构神经网络由输入层、隐藏层和输出层组成，输入输出层各有一个，隐藏层有很多层（形如下图） 输入端输入数据，相当于将数据的特征输入。此特征为在人类眼中数据的特征，而计算机并不能通过这些特征进行判断，因此计算机要通过一些算法将其转换为其可以应用来进行判断的形式，而这些算法，就是在一层一层的隐藏层中实现的。举一个例子：如上图中，将输入的三个特征组成的向量x（一个1*3向量），根据四组
转载
2023-10-10 07:27:47
371阅读
在卷积神经网络（Convolutional Neural Network，CNN）中，卷积层的神经元只与前一层的部分神经元节点相连，即它的神经元间的连接是非全连接的，且同一层中某些神经元之间的连接的权重 w 和偏移 b 是共享的（即相同的），这样大量地减少了需要训练参数的数量。 卷积神经网络CNN的结构一般包含这几个层：输入层：用于数据的输入卷积层：使用卷积
转载
2023-11-09 10:08:07
66阅读
系列博客是博主学习神经网络中相关的笔记和一些个人理解，仅为作者记录笔记之用，不免有很多细节不对之处。三个基本概念卷积神经网络（Convolutional Neural Network）采用三种基本概念：局部感受野（local receptive fields）,共享权值（shared weights）和池化（pooling，也有称为混合，或者subsample，下采样）。让我们逐个看下。局部感受野
转载
2023-11-10 12:23:03
10阅读
1 前言卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层）2 人工神经网络2.1 神经元 神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变
转载
2023-11-20 09:03:45
218阅读
原文要点梳理：1、最近几年卷积神经网络中，激活函数往往不选择sigmoid或tanh函数，而是选择relu函数：f(x) = max(0, x)。选择relu的原因：1）速度快。计算代价小2）减轻梯度消失问题：sigmoid函数的导数最大值为0.25，累乘之后越来越小。relu导数始终为1。因此relu可以支持更深的网络。3）稀疏性：大脑在日常工作中只有大约5%激活。sigmoid激活函数激活率为
转载
2023-12-27 19:58:06
182阅读
神经网络定义大量（结构简单、功能接近）的神经元节点按一定体系架构连接成的网状结构。作用分类模式识别连续值预测目标建立输入与输出的映射关系神经元模型定义每个神经元都是一个结构相似的独立单元，它接受前一层传来的数据，并将这些数据的加权输入非线性作用函数中，最后将非线性作用函数的输出结果传递给后一层。 非线性函数f称为激活函数。激活函数 上图为两种激活函数，分别为sigmoid函数跟tanh函数。 他们
转载
2023-11-12 17:35:06
114阅读
