在上一篇《如何通过直方图判断照片的曝光》中，我试图以用户对照片的评分作为评判标准，找出照片直方图与其曝光好坏之间的关系，然而结果并不理想。一方面，曝光水平与最终的评分（点赞用户数量）之间未必相关；另一方面，直方图是对图像整体亮度水平的统计结果，这一粗略的统计损失了很多图像信息（构图、内容）等。此外，上一次收集了评分大于50的1w 张照片，结果发现评分的分布存在较大偏差（实际上有75%以上的照片评分
转载
2023-11-06 23:34:16
68阅读
深度学习已经为人工智能领域带来了巨大的发展进步。但是，必须说明训练深度学习模型需要显著大量的计算。在一台具有一个现代 GPU 的单台机器上完成一次基于 ImageNet 等基准数据集的训练可能要耗费多达一周的时间，研究者已经观察到在多台机器上的分布式训练能极大减少训练时间。近期的研究已经通过使用 2048 个 GPU 的集群将 ImageNet 训练时间降低至了 4 分钟。这篇论文总结了
转载
2023-11-01 12:50:36
137阅读
# 1.神经网络的学习前提和步骤前提神经网络存在合适的权重和偏置。步骤一（挑选mini-batch）从训练数据中随机选出一部分数据，这部分数据称为mini-batch。 我们的目标是减少mini-batch这部分数据的损失函数的值。步骤二（计算梯度）为了减小mini-batch这部分数据的损失函数的值，需要求出有关各个权重参数的梯度。步骤三（更新参数）将权重参数沿梯度方向进行微小更新。步骤四（重复
转载
2024-01-13 06:54:07
159阅读
随着深度学习的多项进步，复杂的网络(例如大型transformer 网络，更广更深的Resnet等)已经发展起来，从而需要了更大的内存空间。 经常，在训练这些网络时，深度学习从业人员需要使用多个GPU来有效地训练它们。 在本文中，我将向您介绍如何使用PyTorch在GPU集群上设置分布式神经网络训练。 通常，分布式训练会在有一下两种情况。1. 在GPU之间拆分模型：如果模型太大而无法容
转载
2023-12-02 13:11:56
43阅读
卷积神经网络的分布式训练（一）ResNet该专题是我本科毕设的各个知识点介绍和分析，以及一些实验结果展示。本科毕业了，研究生开学，又进入了一个新的学习阶段，那么趁着有时间就总结一下这个课题，分享给大家~ 如果你觉得对你有帮助，给我点赞吧！小女子能力有限，也欢迎大家批评指正。 目录卷积神经网络的分布式训练（一）ResNet一、ResNet 介绍基本原理层次种类二、网络模型结构设计1、预处理模块2、基
转载
2023-12-10 09:39:12
40阅读
基础知识碎片~神经网络训练——分布式训练（一）由于本人研究方向需要提高结果精度，需要分布训练和混合精度两种方法训练来训练自己的网络，所以在此纪录下个人的理解，话不多说，开始学习吧~? ✔ 分布式理解：深度学习常见的训练方式分为三种： （1）单机单卡（单GPU） 这种训练方式一般就是在自己笔记本上，穷学生专属，就如我?♀️，就是一台机器，上面一块GPU，最简单的训练方式。 （2）单机多卡（多GPU并
转载
2023-08-20 22:41:55
110阅读
神经网络模型训练简记（三）内容简述三、机器视觉网络模型分类及简介3.3语义分割3.3.1FCN3.3.2SegNet3.3.3U-Net3.3.4DecoupledNet3.3.5ENet3.3.6PSPNet3.3.7RefineNet3.3.8G-FRNet3.3.9BiSeNet3.3.10HRNet3.3.11Fast-SCNN3.3.12DeepLab系列3.3.12.1DeepLab
转载
2024-01-09 22:44:05
85阅读
回顾在之前的神经网络的学习过程一篇中，我们介绍了如何获取批量数据、损失函数、梯度以及梯度下降法，本篇将通过这些来实现神经网络的学习。神经网络的学习步骤1、mini-batch从训练数据中随机选出一部分数据，这部分数据称为mini-batch。学习的目标就是减小mini-batch的损失函数的值2、计算梯度减小mini-batch的损失函数的值，需要求出各个权重参数的梯度。梯度表示损失函数的值减小最
转载
2023-12-25 18:38:58
55阅读
2.1 二元分类 (Binary Classification)
这周我们将学习神经网络的基础知识，其中需要注意的是，当实现一个神经网络的时候，我们需要知道一些非常重要的技术和技巧。例如有一个包含 个样本的训练集，你很可能习惯于用一个for循环来遍历训练集中的每个样本，但是当实现一个神经网络的时候，我们通常不直接使用for循环来遍历整个训练集，所以在这周的课程中你将学会如何处理训练集。另外在神经
转载
2024-01-02 15:28:54
129阅读
1、先别着急写代码训练神经网络前，别管代码，先从预处理数据集开始。我们先花几个小时的时间，了解数据的分布并找出其中的规律。
Andrej有一次在整理数据时发现了重复的样本，还有一次发现了图像和标签中的错误。所以先看一眼数据能避免我们走很多弯路。
转载
2023-07-31 16:44:18
72阅读
神经网络构建好，训练不出好的效果怎么办？明明说好的拟合任意函数(一般连续)(为什么？可以参考http://neuralnetworksanddeeplearning.com/)，说好的足够多的数据(https://en.wikipedia.org/wiki/Occam's_razor)，仔细设计的神经网络都可以得到比其他算法更好的准确率和泛化性
转载
2023-11-08 00:30:54
64阅读
简单来说，预训练模型(pre-trained model)是前人为了解决类似问题所创造出来的模型。你在解决问题的时候，不用从零开始训练一个新模型，可以从在类似问题中训练过的模型入手。比如说，如果你想做一辆自动驾驶汽车，可以花数年时间从零开始构建一个性能优良的图像识别算法，也可以从Google在ImageNet数据集上训练得到的inception model(一个预训练模型)起步，来识别图像。一个预
转载
2024-01-17 08:01:21
47阅读
神经网络的学习学习：从训练数据中自动获取最优权重参数的过程指标：损失函数目的：以损失函数为基准，找到能使损失函数的值达到最小的权重参数机器学习的方案
从图像中提取特征量（可以从输入数据中准确提取本质数据的转换器）用机器学习技术学习特征量的模式CV领域常用的特征量包括SIFT，SURF和HOG深度学习有时也成为端到端机器学习（end-to-end machine learning),从原始数据中获得
转载
2023-12-07 19:29:51
85阅读
作者： Alberto Quesada 译者： KK4SBB 责编：何永灿， 神经网络模型的每一类学习过程通常被归纳为一种训练算法。训练的算法有很多，它们的特点和性能各不相同。
问题的抽象 人们把神经网络的学习过程转化为求损失函数f的最小值问题。一般来说，损失函数包括误差项和正则项两部分。误差项衡量神经网络模型在训练数据集上的拟合程度，而正
转载
2024-03-06 05:30:40
83阅读
以前一直知道神经网络划分数据集时要分为训练集，测试集和验证集，但不知道并且一般以6：2：2的比例划分，到头来不知道这三者各是啥，以及他们的作用是什么。本片文档解释一下三者的作用。重点在于验证集和测试集的区别以及用处。1. 三者的功能简述在机器学习中，我们的模型一般包括以下几点：（1）模型设计；（2）模型架构（模型多少层，每层神经元个数）；（3）神经元内置参数；（4）模型训练的参数：超参数（模型外置
转载
2023-08-11 17:49:46
193阅读
神经网络纯小白入门学习笔记一、概述二、神经网络的例子三、激活函数3.1 sigmoid函数3.2 阶跃函数的实现3.3 阶跃函数的图形3.4 sigmoid函数的实现3.5 sigmoid函数和阶跃函数的比较3.6 ReLU函数四、多维数组的运算4.1 多维数组的概述五、神经网络的设计5.1 神经网络的内积5.2 三层神经网络的实现5.2.1 符号确认5.2.2 各层神经元之间的实现5.2.3
转载
2023-08-30 16:36:49
157阅读
深度神经网络是如何训练的？Coursera的Ng机器学习，UFLDL都看过。没记错的话Ng的机器学习里是直接给出公式了，虽然你可能知道如何求解，但是即使不知道完成作业也不是问题，只要照着公式写就行。反正我当时看的时候心里并没能比较清楚的明白。我觉得想了解深度学习UFLDL教程-Ufldl是不错的。有习题，做完的话确实会对深度学习有更加深刻的理解，但是总还不是很清晰。后来看了LiFeiFei的Sta
转载
2024-01-16 22:13:43
80阅读
本文涉及到的是中国大学慕课《人工智能实践：Tensorflow笔记》第四讲第六节的内容，通过tensorflow实现神经网络参数的acc/loss可视化，从而查看网络的训练效果。准确率acc与损失值loss的保存在下面所示的代码中，model.fit执行网络的训练时，已经同步记录了acc和loss的信息，保存在history中。# 第五步，执行训练
history=model.fit( 训练集数据
转载
2023-10-27 17:00:52
94阅读
完整的 PyTorch 模型训练的过程：1、数据预处理：首先，需要加载和准备数据。这可以通过使用 torchvision 和 torch.utils.data 中的数据加载器来完成。同时要进行数据预处理，例如缩放、裁剪、旋转、填充等。2、构建模型：接下来，需要定义神经网络模型。PyTorch 提供了一个 nn 模块来快速构建神经网络。该模块包括各种层（例如全连接层、卷积层、池化层等），可以使用它们
转载
2023-08-21 11:37:58
272阅读
神经网络模型的训练过程其实质上就是神经网络参数的设置过程在神经网络优化算法中最常用的方法是反向传播算法，下图是反向传播算法流程图：从上图可知，反向传播算法实现了一个迭代的过程，在每次迭代的开始，先需要选取一小部分训练数据，这一小部分数据叫做一个batch。然后这一个batch会通过前向传播算法得到神经网络的预测结果。计算出当前神经网络的预测答案与正确答案之间的差距（有监督学习，在训练时有一个标注好
转载
2023-07-05 22:14:52
233阅读
