在设计神经网络时，当训练出的模型表现出欠拟合时，我们通常会尝试增加神经网络的层数或者某些层的神经元数目。这也被成为增加神经网络的容量（Capacity）。一直以来，我都认为这个容量指的是神经网络的大小，也就是神经元的个数。然而在读Deep Learning Book的第五章时，发现以前的理解是有问题的。这个容量其实应该是指一个神经网络的假设空间。假设空间假设空间（hypothesis space）
转载
2024-04-07 20:19:44
17阅读
拓扑函数用来确定神经元的排列形式，有六边形、网格形（矩形）、三角形及随机结构等，下面展开介绍。 1）gridtop函数 gridtop函数用于创建SOM神经网络中输出层的网格形拓扑结构，函数的调用格式如下： pos=gridtop(dim1,dim2,…,dimN) 其中，输入参数dim1,dim2,…,dimN表示拓扑结构的维数，参数大小表示拓扑结构的形状大小，即gridtop(2,3,4)表示
转载
2024-01-13 13:49:35
207阅读
目录 神经网络的简单介绍1.神经元2.层的运算3.神经网络4.激活函数5.通用逼近定理 神经网络是一个函数（用 f 表示），它试图近似另一个目标函数 g ,可以用一下公式来描述这种关系： x为输入数据；而 θ 是神经网络的参数（权重）
1.神经元神经网络的基本构件，既神经元（或单元）。单元是数字函数，其定义如下： y是输出单元（单值）；f
转载
2023-10-12 23:09:16
107阅读
pytorch可以自动求导梯度，不过要对需要求梯度的tensor设置为“requires grad = TRUE"。同时，pytorch可以对神经网络进行灵活训练，主要同通过Optimazer的设计来实现的。以下针对不同的应用场景需要对optimizer的使用进行总结。1. 多个神经网络联合训练应用场景（1）Autoencoder网络分为encoder与decoder两部分组成，中间加
转载
2024-03-06 08:28:23
30阅读
tensorflow tf.keras.utils.plot_model 画网络拓扑图# pip install graphviz
# pip install pydot
# 下载 graphviz，并添加到环境变量。 https://graphviz.gitlab.io/download/
import tensorflow as tf
import os
os.environ["PATH"]
转载
2023-06-20 09:57:26
97阅读
卷积神经网络(CNN)是一类深度神经网络。这是受人类大脑视觉皮层的启发。每当我们看到某些东西时，一系列的神经元皮层就会被激活，每层都会检测到一些特征，如线条，边缘(如垂直边缘，水平边缘)。 CNN广泛用于 图像识别 ， 图像分类，对象检测，人脸识别等。过度简化图：CNN的基本层： - C onvolution - Pooling - Flattening - Fully Connect
转载
2024-01-20 02:25:57
149阅读
1. 卷积（convolution）：用它来进行特征提取用一个 3x3 的滤波器去扫描一个 5x5 的像素矩阵，用滤波器中每一个元素与像素矩阵中感受野内的元素进行乘积运算，可得到了一个 3x3 的输出像素矩阵，这个输出的 3x3 像素矩阵能够较大程度的提取原始像素矩阵的图像特征，这也是卷积神经网络之所以有效的原因。以输出像素矩阵中第一个元素 4 为例，演示一下计算过程：1x1 + 1x0 + 1x
转载
2023-10-11 09:57:09
74阅读
题目描述人工神经网络（Artificial Neural Network）是一种新兴的具有自我学习能力的计算系统，在模式识别、函数逼近及贷款风险评估等诸多领域有广泛的应用。对神经网络的研究一直是当今的热门方向，兰兰同学在自学了一本神经网络的入门书籍后，提出了一个简化模型，他希望你能帮助他用程序检验这个神经网络模型的实用性。在兰兰的模型中，神经网络就是一张有向图，图中的节点称为神经元，而且两个神经元
转载
2024-01-10 17:40:15
59阅读
人工神经元网络的拓扑结构主要有哪几种？神经网络的拓扑结构包括网络层数、各层神经元数量以及各神经元之间相互连接的方式。人工神经网络的模型从其拓扑结构角度去看，可分为层次型和互连型。层次型模型是将神经网络分为输入层（InputLayer）、隐层（HiddenLayer）和输出层（OutputLayer），各层顺序连接。其中，输入层神经元负责接收来自外界的输入信息，并将其传递给隐层神经元。隐层负责神经网
转载
2023-10-13 11:14:40
156阅读
【问题描述】 人工神经网络（Artificial Neural Network）是一种新兴的具有自我学习能力的计算系统，在模式识别、函数逼近及贷款风险评估等诸多领域有广泛的应用。对神经网络的研究一直是当今的热门方向，兰兰同学在自学了一本神经网络的入门书籍后，提出了一个简化模型，他希望你能帮助他用程序检验这个神经网络模型的实用性。在兰兰的模型中，神经网络就是一张有向图，图中的节点称为神经元，而且两
转载
2023-12-17 19:48:02
225阅读
描述 Description 神经网络就是一张有向图，图中的节点称为神经元，而且两个神经元之间至多有一条边相连，下图是一个神经元的例子： 神经元〔编号为1） 图中，X1—X3是信息输入渠道，Y1－Y2是信息输出渠道，C1表示神经元目前的状态，Ui是阈值，可视为神经元的一个内在参数。 神经元按一定的顺序排列，构成整个神经网络。在兰兰的模型之中，神经网
转载
2023-11-22 17:22:09
241阅读
1.1 EEP-TPU 张量处理器架构介绍 神经网络编程模型的本质是计算图模型，如下图所示，计算图的输入/输出是张量 数据，计算图的类型代表操作类型。因此，直观的，最适合于神经网络编程模型的计 算体系结构，是 Graph/Tensor 计算体系，其中，处理器的功能由计算图类型决定， 而数据则是计算图的输入/输出张量。然而，计算图这一层级的粒度太粗，各类型间并没有太大的相关性，一个典型的 神经网络计
转载
2023-12-08 22:22:30
731阅读
发展源流： GMM -- ivector -- DNN背景介绍评价指标设置一个阈值，高于这个阈值的为True,低于则不接受用softmax输出一个概率Accuracy，则EER ~（1-ACC）/2。 e.g. Accuracy = 80% EER = (1-0.8)/2 = 10%实验结果越好，阈值选取越高，一般作为评价指标。EER是（一个分类器的）ROC曲线（接受者操作特性曲线）中错分正负样本
转载
2024-01-13 13:46:02
40阅读
1. 引言在看论文时，经常会看到计算CNN的parameters、FLOPs等评价指标，用来评价神经网络在推理运算上的速度与性能。本文将要来一一介绍这些指标以及相应的计算公式。 闲话少说，我们直接开始吧！2. 参数量2.1 原理Parameters为模型中所有需要学习的参数量，包括卷积层、全连接层等，同时也会反映出模型占用的內存大小，当参数量越大，所需的內存就越多。CNN中卷积层的参数由卷积核权重
转载
2023-10-06 23:00:32
608阅读
卷积神经网络（Keras）修改学习率：利用tensorflow的Keras模块我们可以建立我们自己定义的卷积神经网络模型，但是一般不会触碰到学习率这个问题，一般默认的学习率都是0.001激活层dropout大致步骤，使用方法：dropout 是神经网络用来防止过拟合的一种方法，很简单，但是很实用。基本思想是以一定概率放弃被激活的神经元，使得模型更健壮，相当于放弃一些特征，这使得模型不过分依赖于某些
转载
2024-08-10 10:53:50
16阅读
上篇主要讨论了决策树算法。首先从决策树的基本概念出发，引出决策树基于树形结构进行决策，进一步介绍了构造决策树的递归流程以及其递归终止条件，在递归的过程中，划分属性的选择起到了关键作用，因此紧接着讨论了三种评估属性划分效果的经典算法，介绍了剪枝策略来解决原生决策树容易产生的过拟合问题，最后简述了属性连续值/缺失值的处理方法。本篇将讨论现阶段十分热门的另一个经典监督学习算法–神经网络（neural n
转载
2023-09-30 10:38:31
187阅读
前景回顾： 【手把手TensorFlow】一、从开始使用TensorFlow到弄清楚“搭建神经网络套路” 【手把手TensorFlow】二、神经网络优化 【手把手TensorFlow】三、神经网络搭建完整框架+MNIST数据集实践【手把手TensorFlow】四、输入手写数字并输出识别结果全连接 NN：每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测的结果。 参数个数：∑
转载
2024-01-11 23:35:14
123阅读
Arm已经在其Cortex-M架构中添加了神经网络处理指令，针对物联网网络外部边缘的产品，例如可以识别少量语音而无需连接到云的设备，例如人声唤醒命令。 “M-Profile Vector Extensions”（MVE）已经在“Helium”品牌下宣布，与该公司的高端Cortex-A内核的Neon SIMD（单指令多数据）扩展非常类似。氦扩展还将处理数字信号处理，提供比现有DSP指令更高的性能，这
转载
2024-02-04 01:45:26
44阅读
神经网络学习小记录16——VGG16模型的复现详解学习前言什么是VGG16模型VGG网络部分实现代码图片预测 学习前言学一些比较知名的模型对身体有好处噢！什么是VGG16模型VGG是由Simonyan 和Zisserman在文献《Very Deep Convolutional Networks for Large Scale Image Recognition》中提出卷积神经网络模型，其名称来源
转载
2023-09-25 12:37:26
60阅读
1.1 前馈神经网络的结构示意图下图
下
图
所示
图1.
图
转载
2023-10-30 22:46:54
266阅读
