http://www.ai-start/ml2014/html/week5.html神经网络的学习(Neural Networks: Learning)代价函数首先引入一些便于稍后讨论的新标记方法：假设神经网络的训练样本有$m$个，每个包含一组输入$x$和一组输出信号$y$，$L$表示神经网络层数，$S_I$表示每层的neuron个数($S_l$表示输出层神经元个数)，$S_L$代表最后一
转载
2024-02-04 11:13:49
29阅读
神经网络基本原理一.神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j
转载
2023-08-29 20:14:06
21阅读
作者 | Anticoder神经网络构建好，训练不出好的效果怎么办？明明说好的拟合任意函数(一般连续) ，说好的足够多的数据(Occam's razor)，仔细设计的神经网络都可以得到比其他算法更好的准确率和泛化性呢(当然不是我说的)，怎么感觉不出来呢？很直观，因为神经网络可以随意设计，先验假设较少，参数多，超参数更多，那模型的自由度就非常高了，精心设计对于新手就变得较难了。这里讲一
转载
2023-10-13 10:54:03
64阅读
learnrate 太大容易跑飞，设置激活函数 可以一定程度上增加learnrate，不跑飞 self.saver = tf.train.Saver() 和 self.init_variable = tf.global_variables_initializer() self.sess.run(se
原创
2021-09-14 11:17:33
137阅读
1、神经网络优缺点，优点：（1）具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。（2）具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。（3）具有高速寻找优化解
转载
2023-08-07 21:45:19
215阅读
对Transformer模型的常见问题和理解基础问题什么是Transformer模型？Transformer是一种基于注意力机制（Attention Mechanism）的神经网络模型，由Google于######年提出。它在自然语言处理领域中取得了极大的成功，成为自然语言处理领域的一个重要里程碑。Transformer模型通过自注意力机制和编码器-解码器结构，能够在序列到序列（Seq###eq）
转载
2023-09-24 14:15:28
14阅读
本文会首先介绍神经网络机器翻译(Neural Machine Translation )技术的原理，再介绍如何使用 TensorFlow NMT 训练一个中英翻译引擎。 一、Encoder -- Decoder模型的原理Encoder-Decoder 模型是使用神经网络进行机器翻译的基本方法，一般也称作 Seq2Seq 模型 。原始的 N VS N RNN结构要求输入序列和输出序列等长，
转载
2023-10-11 22:25:22
49阅读
一、Regression1.定义网络模型：import torch
import torch.nn.functional as F # 激励函数都在这
class Net(torch.nn.Module): # 继承 torch 的 Module
def __init__(self, n_feature, n_hidden, n_output): # 传参数
转载
2023-10-25 21:11:28
670阅读
什么是梯度消失?如何加快梯度下降的速度累乘中一个梯度小于1，那么不断累乘，这个值会越来越小，梯度衰减很大，迅速接近0。在神经网络中是离输出层近的参数，梯度越大，远的参数，梯度越接近0。根本原因是sigmoid函数的缺陷。方法：1、好的初始化方法，逐层预训练，后向传播微调。2、换激活函数，用relu，leaky——relu。靠的是使梯度靠近1或等于1，避免了在累乘过程中，结果迅速衰减。避免梯度消失和
转载
2023-10-18 23:51:40
63阅读
LeNet卷积神经网络 背景含隐藏层的多层感知机模型对图像进行分类时，是将图像中的像素逐行展开，得到一个向量输入到全连接层中。这种方法有一些局限性：同一列的像素在最后的向量中相距较远；大尺寸图像输入到全连接层导致模型过大，开销过高 。卷积层可以解决以上两个问题： 卷积层保留输入的形状，图像在高和宽两个方向都可以被处理； 卷积层通过滑动窗口将卷积核与不同位置
转载
2023-08-21 22:58:45
127阅读
七、激活函数的使用 通过之前的学习我们都了解到了激活函数的作用，现在我们将会讲解一下激活函数在不同的神经网络中的应用： 1、首先是sigmoid 函数： a=11+e−z 它的图像可以表示为： 但是这个激活函数多使用在二分分类输出的神经网络，因为需要寻找1和0值，所以在一般的神经网络中我们很少使用这个激活函数。对应的导数为： g′(z)=a(1−a) 这为后面的计算节省了很多时间。 2
转载
2024-01-10 20:01:43
186阅读
卷积神经网络一、卷积神经网络与BP网络（传统前馈神经网络）相比具有以下特点：（1）、采取局部连接（稀疏连接），减少了所需参数； （2）、可直接处理二维数据，故常被用于图片处理操作； （3）、具有三个基本层——卷积层、池化层、全连接层：卷积层CNN算法常用于图片处理，其中卷积层是通过多个卷积核对输入的图片像素矩阵进行局部连接，通过权值共享与卷积的方式进行图片的特征提取得到特征映射数据。（所以卷积核又
转载
2023-09-15 15:36:43
439阅读
8 神经网络的学习8.1 神经网络的代价函数神经网络的训练样本有m个，每个包含一组输入x和一组输出信号y，L表示神经网络层数，表示每层的neuron个数（表示输出层神经元个数），代表最后一层中处理单元的个数。将神经网络的分类定义为两种情况：二类分类和多类分类。二类分类：=0，y=0 or 1表示哪一类；K类分类：=k，=1表示分到第i类；（k>2）在逻辑回归中，只有一个输出变量，又称标量（
转载
2023-11-28 12:15:53
96阅读
神经网络学习的梯度算法从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使到网络对于所输入的模式样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然 权系数就反映了同类输人模式样本的共同特征。换句话讲，权系数就是存储了的输人模式。由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。前面的感知器的传递函数是阶跃函数，所以，它可以用作分类器。前面一节所讲的感知器学习算法因其
转载
2023-07-13 15:15:13
89阅读
ResNet作为卷积神经网络的一个里程碑式的模型一直在各个领域被应用，因此学习这样一个模型架构很有必要。网上也有很多关于这个网络的介绍，也从中衍生了很多改进的模型（无论改动幅度大小）。因此，有必要就ResNet的变体进行总结。本篇文章涉及到的文章有：原始版本ResNet[1]、Wider ResNet[3]、ResNeXt[4]、DarkNet53[5]，这几篇是我看到变化相对明显；还有一些则是改
转载
2024-01-28 07:05:20
54阅读
1. 卷积神经网络的概念1.1 卷积神经网络卷积神经网络（Convolutional Neural Network，CNN）针对全连接网络的局限做出了修正，加入了卷积层（Convolution层）和池化层（Pooling层）。CNN被广泛应用于图像识别、语音识别等各种场合，在图像识别的比赛中，基于深度学习的方法几乎都以CNN为基础（比如，AlexNet、VGGNet、Google Inceptio
转载
2023-08-13 19:16:42
490阅读
Seq2Seq 模型 Encoder-Decoder Attention 机制 Self-Attention 自注意力机制 Transformer摘文不一定和目录相关，但是取自该链接1. Seq2Seq 模型详解https://baijiahao.baidu.com/s?id=1650496167914890612&wfr=spider&for=pcSeq2Seq 是一种循环神经网
转载
2023-10-30 23:00:20
95阅读
Python3.7和TensorFlow2.1六讲：神经网络计算：神经网络的计算过程，搭建第一个神经网络模型神经网络优化：神经网络的优化方法，掌握学习率、激活函数、损失函数和正则化的使用，用Python语言写出SGD、Momentum、Adagrad、RMSProp、Adam五种反向传播优化器神经网络八股：神经网络搭建八股，六步法写出手写数字识别训练模型网络八股扩展：神经网络八股扩展，增加自制数据
转载
2023-12-28 14:25:31
22阅读
文章目录1、神经网络的起源-Neural Networks2、神经网络模型的描述3、神经网络的应用3.1 逻辑与门(AND)3.2 逻辑或门(OR)3.3 逻辑非门(NOT)3.4 逻辑异或门(NOR)3.5 多元分类(Multi-class Classification)THE END 1、神经网络的起源-Neural Networks神经网络起源于人们想要模仿大脑的功能。在80和90年代，神
转载
2024-01-02 08:51:15
60阅读
简述模型介绍两种训练模式CBOW(Continuous Bag-of-Words Model)Skip-gram(Continuous Skip-gram Model)优缺点优化方法 简述百度百科：Word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序
转载
2023-11-27 18:53:38
85阅读
