常用函数与运算 函数将张量限定在一定的范围内： array([[ 2.5, 2.5, 3. ], [ 4. , 4.5, 4.5]], dtype=float32) 对张量所有元素进行对数运算 array([[ 0. , 0.69314718, 1.09861231], [ 1.38629436,
原创
2021-08-27 09:30:39
164阅读
深层神经网络 以下是一个四层的三个隐层的神经网络，隐层中的单元数目是553 然后我们用l表示层数，用n[l]表示节点数据或者是单元数量，例如：n[1]=5，表示的就是第一个隐层，单元数等于5 我们对于各个第l层都会用a[l]表示l层中的激活函数，以后就会遇到a[l]是激活函数g(z[l]),激活函数 ...
转载
2021-07-21 15:39:00
180阅读
2评论
笔记：Andrew Ng's Deeping Learning视频 摘抄：https://xienaoban.github.io/posts/58457.html 本章介绍了优化算法，让神经网络运行的更快 1. 梯度优化算法 1.1 Mini-batch 梯度下降 将 \(X = [x^{(1)},
转载
2020-06-10 14:26:00
70阅读
2评论
1. Gradient Checking 你被要求搭建一个Deep Learning model来检测欺诈，每当有人付款，你想知道是否该支付可能是欺诈，例如该用户的账户可能已经被黑客掉。 但是，反向传播实现起来非常有挑战，并且有时有一些bug，因为这是一个mission-critical应用，你公司
转载
2020-06-10 12:22:00
195阅读
2评论
Regularization Deep Learning models have so much flexibility and capacity that overfitting can be a serious problem，if the training dataset is not big
转载
2020-06-09 17:55:00
358阅读
2评论
Initialization 如何选择初始化方式，不同的初始化会导致不同的结果 好的初始化方式： 加速梯度下降的收敛(Speed up the convergence of gradient descent) 增加梯度下降 收敛成 一个低错误训练(和 普遍化)的几率(Increase the odd
转载
2020-06-09 14:36:00
102阅读
2评论
浅层神经网络与深层神经网络
神经网络是一种受生物神经系统启发的机器学习模型，可以用于各种任务，如图像分类、语音识别和自然语言处理等。神经网络由多个神经元组成，这些神经元通过权重连接在一起，形成网络。这些权重可以通过训练来学习，使得神经网络能够对输入数据进行准确的预测。
浅层神经网络是最简单的神经网络形式，通常由一个输入层、一个隐藏层和一个输出层组成。每个神经元都与上一层和下一层的神经元相连。浅
原创
2023-09-15 22:57:10
354阅读
优化算法让神经网络运行的更快，有利于快速训练模型！ weight_decay：权重衰减项，防止过拟合的一个参数。
原创
2022-10-13 09:54:50
69阅读
cnn_layers.py实现卷积神经网络的前向后传播的函数。#-*- coding: utf-8 -*-
import numpy as np
from layers import *
from bn_layers import *
def conv_forward_naive(x, w, b, conv_param):
"""
卷积前向传播。
Input:
目录浅层神经网络神经网络的表示 计算神经网络的输出单个样本前向传播多个样本前向传播激活函数sigmoid函数与tanh函数Relu函数和Leaky Relu函数使用非线性激活函数原因神经网络的梯度下降（反向传播）随机初始化深层神经网络深层神经网络前向传播核对矩阵的维数搭建深层神经网络块参数和超参数浅层神经网络神经网络的表示 用上标[i]代表神经网络的第i层，用上标(i)代表第i
深度学习笔记（4） 浅层神经网络1. 神经网络概述2. 激活函数3. 激活函数的导数4. 神经网络的梯度下降5. 随机初始化 1. 神经网络概述神经网络看起来是如下: 有输入特征x1、x2、x3，它们被竖直地堆叠起来，包含了神经网络的输入,这叫做神经网络的输入层 然后这里有另外一层,他的数据无法在训练集中看到，称之为隐藏层 最后一层只由一个结点构成，它负责产生预测值,而这个只有一个结点的层被称为
转载
2023-08-27 21:43:32
83阅读
在人工智能领域，机器学习属于其中的一种方法，而神经网络是机器学习里的一种算法。神经网络一般有输入层->隐藏层->输出层，一般来说隐藏层大于2的神经网络就叫做深度神经网络，深度学习就是采用像深度神经网络这种深层架构的一种机器学习方法。 关于深层网络和浅层网络有什么优势？——深层网络的表达能力更强，更能省资源。神经网络在我看来是拟合一个函数的过程，一个仅有一个隐藏层的神经网络就能
转载
2023-07-04 14:12:48
42阅读
神经网络的代码，比一般的代码要难调试不少，和编译错误以及运行时程序崩溃相比，神经网络比较棘手的地方，往往在于程序运行正常，但是结果无法收敛，这个检查起来可要麻烦多了。下面是根据我平时调试神经网络的经验，总结的一些比较通用的调试技巧，后续会再写一篇文章，专门介绍一下theano如何进行调试，希望能对大家调试神经网络有所帮助。遇到Nan怎么办？Nan问题，我相信大部分人都遇到过，一般可能是下面几个原因
TensorFlow Tutorial Initialize variables Start your own session Train algorithms Implement a Neural Network 1. Exploring the Tensorflow Library To sta
转载
2020-06-12 19:23:00
224阅读
2评论
SqueezeNet的作者来自Berkeley和Stanford，论文的题目毫无学术气息，且有一股浓烈的网络爆文感。SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size. 论文的题目直接的表达了论文的结果，实现了与AlexNet相同精度，但只用了1/50的参数量。且模型的参数量最少...
原创
2021-08-26 11:59:59
521阅读
本节讨论深层神经网络，包括深层神经网络的结构、深层神经网络前向传播和反向传播过程、需要深层神经网络的原因、神经网络参与超参数、神经网络与人脑简单对比。
原创
2022-04-14 16:14:59
9828阅读
深层神经网络（ Deep L-layer neural network） 如下图所示，表示从logistic 回归到5层的神经网络，严格的说，logistic回归也是一个一层的神经网络，神经网络的深浅只是一种程度。 有一些函数，只有非常深的神经网络能学会，而更浅的模型则办不到。 对于给定的问题，先去
转载
2018-08-25 14:16:00
101阅读
为什么使用深层网络对于人脸识别等应用，神经网络的第一层从原始图片中提取人脸的轮廓和边缘，每个神经元学习到不同边缘的信息；网络的第二层将第一层学得的边缘信息组合起来，形成人脸的一些局部的特征，例如眼睛、嘴巴等；后面的几层逐步将上一层的特征组合起来
原创
2022-05-09 15:41:39
177阅读
SqueezeNext网络于2018粘月公开于arxiv，它号称是基于SqueezeNet进行改进的又一轻量级网络，但它之所以不叫SqueezeNet V2，个人认为究其原因还是因为SqueezeNext其实本质上和SqueezeNet关系不是很大。。。SqueezeNext文章中比较有特色的是论文从硬件角度来分析提升速度，当然本文中对这一部分不做分析。本文主要介绍SqueezeNext的网络设计...
原创
2021-08-26 11:59:57
395阅读
滑动平均(影子值)滑动平均(影子值)：记录了每个参数一段时间内过往值得平均，增加了模型得泛化性。针对所有参数
原创
2022-11-25 01:20:38
214阅读
