2.1经典神经网络1、LeNet-5 首先看看LeNet-5的网络结构，假设你有一张32×32×1的图片，LeNet-5可以识别图中的手写数字，比如像这样手写数字7。LeNet-5是针对灰度图片训练的，所以图片的大小只有32×32×1。 如果我们从左往右看，随着网络越来越深，图像的高度和宽度在缩小，当时人们并不使用padding，或者总是使用valid卷积，这就是为什么每进行一次卷积，图像的高度和
基本的自编码器（Autoencoder）是一个含有输入、隐含、输出的三层神经网络，它的目的是尽可能复现输入输出的关系。一. 神经元神经网络的最小组成单元是神经元，神经元的结构如下：左边的x1,x2,x3是运算输入值，1代表截距（为什么要有截距：我们知道线性拟合的时候如果不含常数项即截距，那么无论怎么拟合数据都必将经过原点，这很有可能和实际数据不符，在神经网络里也是这个原因）。接着每个由输入到中间的
转载
2023-08-26 18:01:39
166阅读
1. 卷积层尺寸和计算量的原理CNN输入输出格式说明
输入矩阵格式：四个维度，依次为：样本数、图像高度、图像宽度、图像通道数(batch_size，height，width，depth)
输出矩阵格式：与输出矩阵的维度顺序和含义相同，但是后三个维度（图像高度、图像宽度、图像通道数）的尺寸发生变化。(batch_size, height, width, depth)
权重矩阵（卷积核）格式：同样
2、大话卷积神经网络CNN卷积层 卷积核(kernel)，尺寸f*f，深度d，如第一个卷积层的深度和图片通道数一样，三通道为3；往后的卷积层，尺寸自定义，深度和上一层的特征图的深度（个数）一样。 卷积输出的特征图尺寸（W, H）：为(N-f+2P)/S+1 N:待作卷积的尺寸（宽或高） f：卷积核尺寸 P:边界填充（单边）的层数 S:卷积核移动步长 有几个卷积核，就会产生几个特征图，堆叠在一起，所
一、卷积核的维数1、二维卷积核（2d）2D卷积操作如图1所示，为了解释的更清楚，分别展示了单通道和多通道的操作。且为了画图方便，假定只有1个filter，即输出图像只有一个chanel。 针对单通道，输入图像的channel为1，即输入大小为(1, height, weight)，卷积核尺寸为 (1, k_h, k_w)，卷积核在输入图像上的的空间维度（即(height, width)两维）上进行
转载
2023-10-09 20:31:20
9阅读
Retinanet 网络结构详解以及源代码讲解网络backbone使用ResNet【18， 34， 50， 101， 152】FPN层 首先输入的照片的大小为672x640， 然后经过一个池化层， 使用ResNet网络提取特征，得到四个不同尺度的特征图，layer1, layer2, layer3,layer4.源代码中的尺度融合是从layer2层开始。然后再经过尺度融合得到f3, f4, f5,
转载
2023-10-23 09:28:01
149阅读
######### Tensorflow常用函数 ########## 目录算数运算基本运算函数返回最值矩阵数学函数张量操作创建张量恒值张量张量降维序列随机张量数据格式转化模型搭建、训练、测试、预测常用函数sequential和class源代码sequentialclass模型续训、保存、加载、预测源代码模型训练模型预测 算数运算基本运算tf.add(x, y, name=None) # 求和
t
转载
2023-05-24 14:55:49
100阅读
这是卷积神经网络笔记第七篇，完整的笔记目录可以点击这里查看。 1. ConvNet中每个层中使用的公共超参数常见设置输入层（input layer）应该可以被2整除很多次。常用数字包括32（例如CIFAR-10）、64、96（例如STL-10）或224（例如Common ImageNet ConvNets）、384和512。
conv层应使用小的过滤器（例如3x3或最多5x5），使用S=1
转载
2023-10-12 12:59:16
2阅读
tensorflow所构建的体系是清楚明了的，所以我们只需要在其提供的默认图上添加各种op，然后执行相应的op即可下面的这个例子将从拟合一维函数的角度对tensorflow编程进行一个简单的介绍1.编程思路在区间[-5, 5]内随机生成若干个点，作为函数的自变量采样点序列x，然后手动生成这个自变量序列所对应的函数值序列y，这个序列要加上噪声。# 首先生成x坐标数据
x = np.float32(n
目录1.分类问题 2.多维特征的输入 2.1 高维输入的逻辑回归模型2.2 神经网络层的构建原理 3.以糖尿病数据集为例，由逻辑回归模型做分类 3.1 数据集的准备（导入数据）3.2 构建模型 3.3 计算损失和选择优化器 3.4 训练 3.5 激活函数一览4.代码4.1 视频学习代码4.2
并不是所有使用神经网络的尝试都能够成功，这有许多原因。一些问题可以通过改进训练数据、初始权重、设计良好的输出方案来解决。1.改进输入对于S激活函数，可以发现， 如果输入变大， 激活函数就会变得非常平坦。由于我们使用梯度学习新的权重， 因此一个平坦的激活函数会出问题。权重的改变取决于激活函数的梯度。 小梯度意味着限制神经网络学习的能力。 这就是所谓的饱和神经网络。 这意味着， 我们应该尽量保持小的输
AlexNet网络结构论文中的这个图比较晦涩，可以直接看下面的彩色图中的描述。 LeNet几乎奠定了当前深度卷积神经网络的基本搭建形式，AlexNet进一步探讨的是网络加深时，模型会出现什么情况。首先，更难训练。为了解决这个问题，他们使用了两个GPU进行训练。另外，处理计算复杂的提升，梯度下降算在深层神经网络中传递出现梯度弥散，他们提出使用ReLU代替原来使用Sigmoid函数，解决了这个问题。为
上一篇文章构建了一个简单的网络，可以看出来它对于手写数字的识别率还是可以高达91%。但我们尚未对神经网络处理的过程做出太多解释。 数据在网络中的传播有两种方式。一种是沿着输入到输出的路径，被称为前向传播。一种是从输出返回到输入，被成为反向传播(backprop)。 train_step = tf.train.GradientDes
转载
2023-10-09 21:18:11
117阅读
我们需要弄懂的第一步就是如何将数据输入到神经网络中。例如，在语音识别、人脸识别这些应用中，是如何将语音、人脸信息输入到神经网络中的呢？下面我拿识别明星的例子来给大家介绍如何将明星的图片数据输入到神经网络中。此例中，待输入的数据是一张图像。为了存储图像，计算机要存储三个独立的矩阵（矩阵可以理解成二维数组，后面的教程会给大家详细讲解），这三个矩阵分别与此图像的红色、绿色和蓝色相对应（世界上的所有颜色都
转载
2023-08-07 21:54:09
211阅读
一、神经网络案例神经网络就像一个人，它可以从外部获取输入信息并将其转换为内部结构，以便在不同的情况下做出正确的决定。神经网络也像一个掌握语言的机器，它能够接受输入，模仿人类的学习方式，从而学习和记忆特定的输入和输出之间的关系。例如，当一个人面对一棵大树时，他可以从外部视觉输入中获取信息，并基于这些信息来做出决定，例如攀爬树或不攀爬树。这就是神经网络所做的，它们可以收集外部信息，转换它们，并基于这些
一、神经网络基础 二、卷积神经网络卷积神经网络相比于一般的神经网络，除了基本的输入层和输出层外还有卷积层、池化层、全连接层。卷积神经网络基本结构如下。 （1）卷积层卷积层最主要的作用，是通过卷积核的形式从输入图像中提取特征，具体作用是对输入图像中特征进行局部感知，随后在高层将局部感知的特征信息整合起来得到全局特征信息。设定实验需要的卷积核大小和步长大小，卷积核会根据步长大小逐行逐列与整个
Neural Network 神经网络MLP多层感知机和它的基础 MLP（Multi-Layer Perceptron），即多层感知器，是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP可以被看做是一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。一种被称为反向传播算法的监督学习方法常被用来训练MLP。M
转载
2023-09-09 06:54:29
138阅读
“Does the Past Predict the Future?” ——《Economist》今天，我们来一起测试一下大名鼎鼎的深度神经网络DNN，依然使用我们常用的人工智能学
目录第二十四篇 可变长参数一、预备知识二、可变长形参1.可变长形参之*2.可变长形参之**三、可变长实参1.可变长实参之*2.可变长实参之**四、可变长参数的应用五、命名关键字形参六、总结第二十四篇 可变长参数一、预备知识1.可变长参数：指的是在调用函数时，传入的参数个数可以不固定**2.调用函数时，传值的方式无非两种，一种是位置实参，另一种是关键字实参，因此形参也必须得有两种解决方法，从此来分别
神经网络为什么能够无限逼近任意连续函数？ 下面通过一个分类例子一步一步的引出为什么神经网络能够无限逼近任意函数这个观点，并且给出直观感觉!我们首先有这个需求，需要将下面的数据点进行分类，将三角形与正方形正确的分开，如图所示：其实上图就是一个解决一个异或问题。下面我分别从线性模型，感知机以及神经网络逐步围绕这个例子来引出自己的观点。（以下的讲解都在二元函数下进行，便于可视化，高维空间类比）
