整理而成的读书笔记，根据个人口味做了删减)在上一章的学习中，我们介绍了神经网络可以用梯度下降法来训练，但梯度的计算方法却没有给出。在本章中，我们将学习一种计算神经网络梯度的方法——后向传播算法（backpropagation）。backpropagation 算法起源于上个世纪 70 年代，但一直到 Hinton 等人在 1986 年发表的这篇著名论文后才开始受到关注。BP 算法使得神经网络的训练
转载
2023-12-28 22:34:09
76阅读
先从DNN深度神经网络开始学习，神经网络的学习包括以下几个知识点：1、神经网络的权重初始化2、批量归一化3、激活函数的选取4、神经网络的后向传播BP算法5、神经网络的各种快速优化器6、神经网络的正则化神经网络需要注意的是：梯度的消失问题、过拟合问题！！以上构成了神经网络的基本框架。 随后对卷积神经网络进行系统的学习。卷积神经网络不同于全连接的深度神经网络，而是采用卷积核的形
转载
2024-01-12 12:46:20
114阅读
美国能源部橡树岭国家实验室（下称ORNL）利用美国功能最强大的超级计算机，开发出一种人工智能系统，一天之内就能生成神经网络，而且比任何人类都做得更好。即使是最聪明的数据科学家也需要好几个月才能开发出深度学习软件。即使是Google的AutoML，也需要数周的时间才能设计出一个优秀的图像识别系统。利用超算，AI能在一天之内生成神经网络橡树岭国家实验室（ORNL）的超级计算机Titan，拥有超过18,
转载
2024-01-15 10:16:01
97阅读
卷积神经网络概述Hitton，被称为“AI教父”，他对人脑非常的好奇，学习生理学，解刨大脑以了解其工作方式，还学了心理学，最后，他决定使用计算机科学来模拟大脑的工作，并进入人工智能领域，开始了40余年的研究生涯。 因为背部受伤，Hitton站立工作了10多年。2006年，随着计算机算力的提升和大数据的积累，Hitton所研究的多层神经网络取得巨大进展，他将多层神经网络命名为深度学习。深度学习的快速
转载
2023-12-12 12:02:20
81阅读
果你一直关注数据科学/机器学习，你就不能错过深度学习和神经网络的热潮。互联网公司正在寻找这方面的人，而且从竞赛到开源项目，都有巨额奖金。 如果你对深度学习所提供的前景感到兴奋，但是还没有开始，在这里或许是你开始的第一步。 在这篇文章中，我将介绍TensorFlow。阅读本文后，你将能够理解神经网络的应用，并使用TensorFlow解决现实生活中的问题，本文中的代码是用Python编写的，Pyth
转载
2023-10-31 22:53:50
36阅读
深度神经网络是如何训练的？Coursera的Ng机器学习，UFLDL都看过。没记错的话Ng的机器学习里是直接给出公式了，虽然你可能知道如何求解，但是即使不知道完成作业也不是问题，只要照着公式写就行。反正我当时看的时候心里并没能比较清楚的明白。我觉得想了解深度学习UFLDL教程-Ufldl是不错的。有习题，做完的话确实会对深度学习有更加深刻的理解，但是总还不是很清晰。后来看了LiFeiFei的Sta
转载
2023-09-13 07:19:20
66阅读
前言 卷积神经网络发展非常迅速，应用非常广阔，所以近几年的卷积神经网络得到了长足的发展，下图为卷积神经网络近几年发展的大致轨迹。 1998年LeCun提出了 LeNet，可谓是开山鼻祖，系统地提出了卷积层、 池化层、全连接层等概念。2012年Alex等提出 AlexNet，提出 一些训练深度网络的重要方法或技巧，如 Dropout、ReLu、GPU、数据增强方法等，随后各种各样的深度卷积神经网
转载
2023-11-24 22:52:10
75阅读
训练一个深度神经网络以实现最佳的性能是一件具有挑战的任务。在本文中，我将会探索这项任务中最常见的问题及其解决方案。这些问题包括网络训练时间过长，梯度消失与爆炸以及网络初始化，我们在此统称为优化问题。而在训练网络中出现的另一类问题则称作正则化问题，对此，我已经在之前的文章中讨论过了Improving Deep Neural Networks 输入数据标准化当我们在训练神经网络时
转载
2024-01-24 14:51:15
156阅读
1.绪论 人工智能 (Artificial Intelligence)：是用机器去实现所有目前必须借助人类智慧才能实现的任务。其具体研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。 人工神经网络 (ANN)：是从微观结构与功能上模拟人脑神经系统而建立的一类模型，是模拟人的
转载
2023-10-29 07:58:56
58阅读
为什么要批量训练神经网络谷歌人工智能写作项目：小发猫神经网络中学习率、批处理样本数量、迭代次数有什么意义和影响？学习率是指每次训练过程中（迭代）变量改变（更新）的比率，例如x(t+1)=x(t)-a*delta其中a可以看出学习率，一般在0-1之间，相当于步长，而delta相当于方向AI爱发猫。批处理样本数量，标准的BP是单样本学习的方法，例如图片识别，第一个图是猫，然后输入图像，网络学习一次（变
转载
2023-10-31 21:49:46
123阅读
2018年马上就要过去了，回首这一年，收获还是蛮多的。所以特地把这些成长的点滴记录下来，以后回头的时候可以记得自己走过的路。2018年本科毕业，没有选择读研的我依然在AI这条路上艰难前行。这一年中，我对深度学习的模型、搭建模型的框架、编程语言和计算底层等有了新的认识。1.神经网络首先从神经网络（NN）开始说起。其实2016年暑假就开始接触机器学习，比如朴素贝叶斯、支持向量机和隐马尔科夫（HMM），
转载
2023-11-03 06:37:29
55阅读
说明：1、2维卷积层，卷积核数量为32，大小为3×3，激活函数为ReLU（卷积核数量为16的倍数） 2维卷积层，卷积核数量为64，大小为3×3，激活函数为ReLU 2、池化层，pool_size取2×2&nbs
转载
2023-12-26 20:57:03
85阅读
神经网络纯小白入门学习笔记一、概述二、神经网络的例子三、激活函数3.1 sigmoid函数3.2 阶跃函数的实现3.3 阶跃函数的图形3.4 sigmoid函数的实现3.5 sigmoid函数和阶跃函数的比较3.6 ReLU函数四、多维数组的运算4.1 多维数组的概述五、神经网络的设计5.1 神经网络的内积5.2 三层神经网络的实现5.2.1 符号确认5.2.2 各层神经元之间的实现5.2.3
转载
2023-08-30 16:36:49
157阅读
以前一直知道神经网络划分数据集时要分为训练集，测试集和验证集，但不知道并且一般以6：2：2的比例划分，到头来不知道这三者各是啥，以及他们的作用是什么。本片文档解释一下三者的作用。重点在于验证集和测试集的区别以及用处。1. 三者的功能简述在机器学习中，我们的模型一般包括以下几点：（1）模型设计；（2）模型架构（模型多少层，每层神经元个数）；（3）神经元内置参数；（4）模型训练的参数：超参数（模型外置
转载
2023-08-11 17:49:46
193阅读
作者： Alberto Quesada 译者： KK4SBB 责编：何永灿， 神经网络模型的每一类学习过程通常被归纳为一种训练算法。训练的算法有很多，它们的特点和性能各不相同。
问题的抽象 人们把神经网络的学习过程转化为求损失函数f的最小值问题。一般来说，损失函数包括误差项和正则项两部分。误差项衡量神经网络模型在训练数据集上的拟合程度，而正
转载
2024-03-06 05:30:40
83阅读
神经网络的学习学习：从训练数据中自动获取最优权重参数的过程指标：损失函数目的：以损失函数为基准，找到能使损失函数的值达到最小的权重参数机器学习的方案
从图像中提取特征量（可以从输入数据中准确提取本质数据的转换器）用机器学习技术学习特征量的模式CV领域常用的特征量包括SIFT，SURF和HOG深度学习有时也成为端到端机器学习（end-to-end machine learning),从原始数据中获得
转载
2023-12-07 19:29:51
85阅读
本文涉及到的是中国大学慕课《人工智能实践：Tensorflow笔记》第四讲第六节的内容，通过tensorflow实现神经网络参数的acc/loss可视化，从而查看网络的训练效果。准确率acc与损失值loss的保存在下面所示的代码中，model.fit执行网络的训练时，已经同步记录了acc和loss的信息，保存在history中。# 第五步，执行训练
history=model.fit( 训练集数据
转载
2023-10-27 17:00:52
94阅读
深度神经网络是如何训练的？Coursera的Ng机器学习，UFLDL都看过。没记错的话Ng的机器学习里是直接给出公式了，虽然你可能知道如何求解，但是即使不知道完成作业也不是问题，只要照着公式写就行。反正我当时看的时候心里并没能比较清楚的明白。我觉得想了解深度学习UFLDL教程-Ufldl是不错的。有习题，做完的话确实会对深度学习有更加深刻的理解，但是总还不是很清晰。后来看了LiFeiFei的Sta
转载
2024-01-16 22:13:43
80阅读
完整的 PyTorch 模型训练的过程：1、数据预处理：首先，需要加载和准备数据。这可以通过使用 torchvision 和 torch.utils.data 中的数据加载器来完成。同时要进行数据预处理，例如缩放、裁剪、旋转、填充等。2、构建模型：接下来，需要定义神经网络模型。PyTorch 提供了一个 nn 模块来快速构建神经网络。该模块包括各种层（例如全连接层、卷积层、池化层等），可以使用它们
转载
2023-08-21 11:37:58
272阅读
神经网络模型的训练过程其实质上就是神经网络参数的设置过程在神经网络优化算法中最常用的方法是反向传播算法，下图是反向传播算法流程图：从上图可知，反向传播算法实现了一个迭代的过程，在每次迭代的开始，先需要选取一小部分训练数据，这一小部分数据叫做一个batch。然后这一个batch会通过前向传播算法得到神经网络的预测结果。计算出当前神经网络的预测答案与正确答案之间的差距（有监督学习，在训练时有一个标注好
转载
2023-07-05 22:14:52
233阅读
