美国能源部橡树岭国家实验室（下称ORNL）利用美国功能最强大的超级计算机，开发出一种人工智能系统，一天之内就能生成神经网络，而且比任何人类都做得更好。即使是最聪明的数据科学家也需要好几个月才能开发出深度学习软件。即使是Google的AutoML，也需要数周的时间才能设计出一个优秀的图像识别系统。利用超算，AI能在一天之内生成神经网络橡树岭国家实验室（ORNL）的超级计算机Titan，拥有超过18,
转载
2024-01-15 10:16:01
97阅读
整理而成的读书笔记，根据个人口味做了删减)在上一章的学习中，我们介绍了神经网络可以用梯度下降法来训练，但梯度的计算方法却没有给出。在本章中，我们将学习一种计算神经网络梯度的方法——后向传播算法（backpropagation）。backpropagation 算法起源于上个世纪 70 年代，但一直到 Hinton 等人在 1986 年发表的这篇著名论文后才开始受到关注。BP 算法使得神经网络的训练
转载
2023-12-28 22:34:09
76阅读
卷积神经网络概述Hitton，被称为“AI教父”，他对人脑非常的好奇，学习生理学，解刨大脑以了解其工作方式，还学了心理学，最后，他决定使用计算机科学来模拟大脑的工作，并进入人工智能领域，开始了40余年的研究生涯。 因为背部受伤，Hitton站立工作了10多年。2006年，随着计算机算力的提升和大数据的积累，Hitton所研究的多层神经网络取得巨大进展，他将多层神经网络命名为深度学习。深度学习的快速
转载
2023-12-12 12:02:20
81阅读
前言 卷积神经网络发展非常迅速，应用非常广阔，所以近几年的卷积神经网络得到了长足的发展，下图为卷积神经网络近几年发展的大致轨迹。 1998年LeCun提出了 LeNet，可谓是开山鼻祖，系统地提出了卷积层、 池化层、全连接层等概念。2012年Alex等提出 AlexNet，提出 一些训练深度网络的重要方法或技巧，如 Dropout、ReLu、GPU、数据增强方法等，随后各种各样的深度卷积神经网
转载
2023-11-24 22:52:10
75阅读
训练一个深度神经网络以实现最佳的性能是一件具有挑战的任务。在本文中，我将会探索这项任务中最常见的问题及其解决方案。这些问题包括网络训练时间过长，梯度消失与爆炸以及网络初始化，我们在此统称为优化问题。而在训练网络中出现的另一类问题则称作正则化问题，对此，我已经在之前的文章中讨论过了Improving Deep Neural Networks 输入数据标准化当我们在训练神经网络时
转载
2024-01-24 14:51:15
156阅读
深度神经网络是如何训练的？Coursera的Ng机器学习，UFLDL都看过。没记错的话Ng的机器学习里是直接给出公式了，虽然你可能知道如何求解，但是即使不知道完成作业也不是问题，只要照着公式写就行。反正我当时看的时候心里并没能比较清楚的明白。我觉得想了解深度学习UFLDL教程-Ufldl是不错的。有习题，做完的话确实会对深度学习有更加深刻的理解，但是总还不是很清晰。后来看了LiFeiFei的Sta
转载
2023-09-13 07:19:20
66阅读
1.绪论 人工智能 (Artificial Intelligence)：是用机器去实现所有目前必须借助人类智慧才能实现的任务。其具体研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。 人工神经网络 (ANN)：是从微观结构与功能上模拟人脑神经系统而建立的一类模型，是模拟人的
转载
2023-10-29 07:58:56
58阅读
为什么要批量训练神经网络谷歌人工智能写作项目：小发猫神经网络中学习率、批处理样本数量、迭代次数有什么意义和影响？学习率是指每次训练过程中（迭代）变量改变（更新）的比率，例如x(t+1)=x(t)-a*delta其中a可以看出学习率，一般在0-1之间，相当于步长，而delta相当于方向AI爱发猫。批处理样本数量，标准的BP是单样本学习的方法，例如图片识别，第一个图是猫，然后输入图像，网络学习一次（变
转载
2023-10-31 21:49:46
123阅读
2018年马上就要过去了，回首这一年，收获还是蛮多的。所以特地把这些成长的点滴记录下来，以后回头的时候可以记得自己走过的路。2018年本科毕业，没有选择读研的我依然在AI这条路上艰难前行。这一年中，我对深度学习的模型、搭建模型的框架、编程语言和计算底层等有了新的认识。1.神经网络首先从神经网络（NN）开始说起。其实2016年暑假就开始接触机器学习，比如朴素贝叶斯、支持向量机和隐马尔科夫（HMM），
转载
2023-11-03 06:37:29
55阅读
说明：1、2维卷积层，卷积核数量为32，大小为3×3，激活函数为ReLU（卷积核数量为16的倍数） 2维卷积层，卷积核数量为64，大小为3×3，激活函数为ReLU 2、池化层，pool_size取2×2&nbs
转载
2023-12-26 20:57:03
85阅读
先从DNN深度神经网络开始学习，神经网络的学习包括以下几个知识点：1、神经网络的权重初始化2、批量归一化3、激活函数的选取4、神经网络的后向传播BP算法5、神经网络的各种快速优化器6、神经网络的正则化神经网络需要注意的是：梯度的消失问题、过拟合问题！！以上构成了神经网络的基本框架。 随后对卷积神经网络进行系统的学习。卷积神经网络不同于全连接的深度神经网络，而是采用卷积核的形
转载
2024-01-12 12:46:20
114阅读
深度神经网络是如何训练的？Coursera的Ng机器学习，UFLDL都看过。没记错的话Ng的机器学习里是直接给出公式了，虽然你可能知道如何求解，但是即使不知道完成作业也不是问题，只要照着公式写就行。反正我当时看的时候心里并没能比较清楚的明白。我觉得想了解深度学习UFLDL教程-Ufldl是不错的。有习题，做完的话确实会对深度学习有更加深刻的理解，但是总还不是很清晰。后来看了LiFeiFei的Sta
转载
2024-01-16 22:13:43
80阅读
神经网络模型的训练过程其实质上就是神经网络参数的设置过程在神经网络优化算法中最常用的方法是反向传播算法，下图是反向传播算法流程图：从上图可知，反向传播算法实现了一个迭代的过程，在每次迭代的开始，先需要选取一小部分训练数据，这一小部分数据叫做一个batch。然后这一个batch会通过前向传播算法得到神经网络的预测结果。计算出当前神经网络的预测答案与正确答案之间的差距（有监督学习，在训练时有一个标注好
转载
2023-07-05 22:14:52
233阅读
有一个训练了12个小时的神经网络，各方面看起来都不错：梯度缓慢下降、损失也在逐渐降低，但是预测结果却不好：输出全是0值（全都预测为背景），没有检测出任何标签。“到底是什么地方出错了？”——叫天天不应叫地地不灵╮(╯▽╰)╭ 对于上述情况，或者另一种垃圾输出的情况——预测值只是所有标签的平均值，再或者更差的情况，模型准确率非常低…我们应该从什么地方开始检查模型呢？如何使用这个指南网络训练效
转载
2024-03-08 21:33:29
31阅读
完整的 PyTorch 模型训练的过程：1、数据预处理：首先，需要加载和准备数据。这可以通过使用 torchvision 和 torch.utils.data 中的数据加载器来完成。同时要进行数据预处理，例如缩放、裁剪、旋转、填充等。2、构建模型：接下来，需要定义神经网络模型。PyTorch 提供了一个 nn 模块来快速构建神经网络。该模块包括各种层（例如全连接层、卷积层、池化层等），可以使用它们
转载
2023-08-21 11:37:58
272阅读
本文涉及到的是中国大学慕课《人工智能实践：Tensorflow笔记》第四讲第六节的内容，通过tensorflow实现神经网络参数的acc/loss可视化，从而查看网络的训练效果。准确率acc与损失值loss的保存在下面所示的代码中，model.fit执行网络的训练时，已经同步记录了acc和loss的信息，保存在history中。# 第五步，执行训练
history=model.fit( 训练集数据
转载
2023-10-27 17:00:52
94阅读
神经网络构建好，训练不出好的效果怎么办？明明说好的拟合任意函数(一般连续)(为什么？可以参考http://neuralnetworksanddeeplearning.com/)，说好的足够多的数据(https://en.wikipedia.org/wiki/Occam's_razor)，仔细设计的神经网络都可以得到比其他算法更好的准确率和泛化性
转载
2023-11-08 00:30:54
64阅读
1、先别着急写代码训练神经网络前，别管代码，先从预处理数据集开始。我们先花几个小时的时间，了解数据的分布并找出其中的规律。
Andrej有一次在整理数据时发现了重复的样本，还有一次发现了图像和标签中的错误。所以先看一眼数据能避免我们走很多弯路。
转载
2023-07-31 16:44:18
74阅读
简单来说，预训练模型(pre-trained model)是前人为了解决类似问题所创造出来的模型。你在解决问题的时候，不用从零开始训练一个新模型，可以从在类似问题中训练过的模型入手。比如说，如果你想做一辆自动驾驶汽车，可以花数年时间从零开始构建一个性能优良的图像识别算法，也可以从Google在ImageNet数据集上训练得到的inception model(一个预训练模型)起步，来识别图像。一个预
转载
2024-01-17 08:01:21
47阅读
作者： Alberto Quesada 译者： KK4SBB 责编：何永灿， 神经网络模型的每一类学习过程通常被归纳为一种训练算法。训练的算法有很多，它们的特点和性能各不相同。
问题的抽象 人们把神经网络的学习过程转化为求损失函数f的最小值问题。一般来说，损失函数包括误差项和正则项两部分。误差项衡量神经网络模型在训练数据集上的拟合程度，而正
转载
2024-03-06 05:30:40
83阅读
