PyTorch 预训练模型，保存，读取和更新模型参数以及多 GPU 训练模型转载 极市平台 9月10日目录1. PyTorch 预训练模型2.保存模型参数3.读取模型参数4. 冻结部分模型参数，进行 fine-tuning方法一：方法二：5. 模型训练与测试的设置训练时，应调用 model.train() ；测试时，应调用 model.eval()，以及 with torch.no_grad()
转载
2024-08-05 14:48:40
31阅读
# Python DOE参数优化模型实现指南
在进行参数优化时，设计实验（DOE，Design of Experiments）能够帮助我们高效地探索参数空间。本文将带领您一步一步实现一个简单的Python DOE参数优化模型。我们将探讨整个流程，并提供具体的代码示例。
## 整体流程
为了更清晰地理解整个流程，下面我们把步骤总结成表格并用流程图展示。
| 步骤 | 描述 |
|------
原创
2024-09-05 06:00:21
646阅读
优化问题是量化中经常会碰到的，之前写的风险平价/均值方差模型最终都需要解带约束的最优化问题，本文总结用python做最优化的若干函数用法。首先说明，本文仅把python看作一种工具，说明如何用python求解优化问题，不过多考虑由于模型方法导致的精度、速度、适用性等问题，具体问题还需要具体分析，选择适当的方法，或者自己手写。python中最常用的做最优化的模块是scipy.optimize，这里只
转载
2023-07-03 22:08:11
226阅读
第3章实现快速SVM上一章内容已接触了在线学习，与批量学习相比，读者可能已经对其简单性、有效性和可扩展性感到惊讶。尽管每次只学习单个示例，SGD依然能得到很好的估计结果，就好像使用批处理算法处理存储在核心存储器中的所有数据一样，唯一的要求就是数据流确实是随机的(数据中无趋势)，并且学习器也针对问题进行了很好调整(学习率通常是需要固定的关键参数)。无论如何，仔细检查这些成果，相对于批线性模型，计算结
转载
2024-06-13 17:01:52
36阅读
回归是前述监督学习方法的延续。 监督学习指的是有目标变量或预测目标的机器学习方法。回归与分类的不同，就在于其目标变量是连续数值型8.1 用线性回归找到最佳拟合直线线性回归优缺点： 优点：结果易于理解，计算上不复杂 缺点：对非线性数据拟合不好回归的目的是预测数值型的目标值。 最直接的方法是依据输入写出一个目标值的计算公式。这就是所谓的回归方程(regression equation).方程中的常数为
导读：深度学习自从2006年以后已经 "火" 了十多年了，目前大家看到的，最普遍的应用成果是在计算机视觉、语音识别和自然语言处理 ( NLP )。最近工业界也在努力地扩展它的应用场景，比如游戏、内容推荐和广告匹配等等。深度模型架构分三种：❶ 前向反馈网络：MLP，CNN❷ 后向反馈网络：stacked sparse coding, deconvolutional nets
1、粒子群算法简介粒子群优化算法(Particle Swarm Optimization——PSO）， 由James Kennedy（社会心理学博士）和Russell Eberhart（电子工程学博士，于1995年提出的一种基于种群的随机优化算法。鸟被抽象为没有质量和体积的微粒(点)，并延伸到N维空间，粒子I 在N维空间的位置表示为矢量Xi＝(x1，x2，…，xn)，飞行速度表示为矢量Vi＝(v1
四、回归模型的评估及超参数调优 目录四、回归模型的评估及超参数调优来源1 模型调参1.1 参数(parameters)和超参数(hyperparameters)1.2 调参（超参）方法1.2.1 手工调参1.2.2 网格搜索(GridSearchCV)1.2.3 随机搜索(RandomSearchCV)1.2.4. 贝叶斯搜索2 实例2.1 网格搜索+通道2.2 随机搜索+通道2.3 贝叶斯参考资
转载
2024-04-01 13:56:03
101阅读
在CNN模型的构建中，涉及到特别多的超参数，比如：学习率、训练次数、batchsize、各个卷积层的卷积核大小与卷积核数量（feature map数），全连接层的节点数等。直接选择的话，很难选到一组满意的参数，因此采用优化算法进行超参数优化，相比于多次尝试，优化算法会遵循自己的一套策略进行优化选择。 &n
转载
2024-06-24 06:28:44
333阅读
一、优化器PyTorch常用的优化方法都封装在torch. optim里面，其设计很灵活，可以扩展为自定义的优化方法。所有的优化方法都是继承了基类optim.Optimizer,并实现了自己的优化步骤。最常用的优化算法就是梯度下降法及其各种变种，后续章节我们将介绍各种算法的原理，这类优化算法通过使用参数的梯度值更新参数。说明使用优化器的一-般步骤为: (1) 建立优化器实例 导入optim模块，实
转载
2023-09-17 13:39:16
125阅读
ining_data = datasets.FashionMNIST( root="data", train=True, down
原创
2022-03-30 10:00:32
975阅读
本文主要讨论在优化模型求解中用到的高级优化算法，这些算法基于常见的优化算法思想，采用一些非常巧妙的技巧，而使得算法到达更快的收敛等特点。这些高级优化算法也只限定于特定的模型求解，下面将对其进行简单总结。1. Surrogate方法首先我们考虑一些简单的优化问题minx12∥x−x0∥22+λ∥x∥1，事实上我们只需要对x向量中的每一个元素进行展开求解即可，它的优化解的表达式如下： x∗=Sλ(x0
本章继续沿用Fernando Doglio写的《Python性能分析与优化》的知识体系，主要是根据细节优化方面再结合自身的实际应用进行介绍，其重点为ctypes的使用。 文章目录函数返回值缓存/函数查询表默认参数的用法列表综合表达式生成器ctypesctypes的使用字符串连接列表内字符串合并变量内插法其他Python优化技巧去掉不必要的程序 函数返回值缓存/函数查询表默认参数的用法默认参数（de
转载
2023-10-12 20:38:26
85阅读
掌握回归模型的参数评估及超参数调优对模型超参数进行调优(调参)：对模型得优化不止局限于对模型算法的优化，比如：岭回归对线性回归的优化是通过在线性回归的损失函数中加入L2正则化项从而牺牲无偏性降低方差。但是，大家是否想过这样的问题：在L2正则化中参数 ? 应该选择多少？是0.01、0.1、还是1？到目前为止，我们只能凭经验或者瞎猜，能不能找到一种方法找到最优的参数 ? ？事实上，找到最佳参数的问题本
随着人工智能技术的快速发展，神经网络作为其核心组成部分，已经在各个领域取得了显著的成果。而神经网络的性能优劣，往往取决于其训练数据集和训练模型的选择与设计。本文将围绕这一主题，对神经网络训练数据集和神经网络训练模型进行详细阐述。神经网络训练数据集神经网络训练数据集是神经网络模型训练的基础，其质量直接影响到模型的性能。因此，选择合适的训练数据集至关重要。下面将从数据采集、数据预处理和数据标注三个方面
原创
2023-10-24 11:45:05
145阅读
一、线性回归一般的，线性回归模型表示为\[h_{\theta}(x)=\theta_0+\theta_1x_1+...+\theta_nx_n=\sum_{i=0}^{n}\theta_ix_i=\theta^Tx
\]上式中令\(x_0=1\),这样\(x\)实际上是\(n+1\)维，\(x=[1,x_1,x_2,…,x_n]^T\).当我们知道训练数据集后怎样得到参数\(\theta\)的值呢
转载
2024-05-20 22:15:45
89阅读
在机器学习和深度学习的世界中，模型与训练模型、参数（parameter）与超参数（hyperparameter）是非常重要的概念。这些概念对于理解这些技术的核心概念和运行方式至关重要。本文将详细讨论这些概念及其在机器学习和深度学习中的应用。一、模型与训练模型模型是用来描述世界中某一现象或事物的数学模型，它是一种简化现实世界的方式。在机器学习和深度学习中，模型通常是由一组参数组成的，这组参数可以学习
原创
2023-11-14 11:53:20
659阅读
模型融合 一般来说，通过融合多个不同的模型，可能提升机器学习的性能，这一方法在各种机器学习比赛中广泛应用， 常见的集成学习&模型融合方法包括：简单的Voting/Averaging(分别对于分类和回归问题)、Stacking、Boosting和Bagging。1 Voting模型融合其实也没有想象的那么高大上，从最简单的Voting说起，这也可以说是一种模型融合。假设对于一个二分
原创
2023-05-17 15:56:11
214阅读
深度学习模型的超参数优化是提升模型性能的关键因素。然而，许多开发者在优化超参数时，常常面临挑战，比如选择合适的超参数范围、优化算法以及验证测试的有效性等。本文将详细记录一个深度学习模型超参数优化的过程，包括问题背景、错误现象、根因分析、解决方案、验证测试和预防优化等方面，帮助读者系统地理解并掌握超参数优化的方法和技巧。
## 问题背景
在图像分类应用中，我们使用深度学习模型进行手写数字识别。项
# 优化模型的Python实现指南
优化模型是机器学习和深度学习中非常重要的一个步骤。对于一个刚入行的小白来说，优化模型可能显得有些复杂，但只要按照一定的流程进行，就会变得清晰明了。下面是实现优化模型的步骤和具体代码示例。
## 流程步骤
我们可以将优化模型的整个过程分为以下几个步骤：
| 步骤 | 描述 |
|------|---
原创
2024-09-04 03:55:49
32阅读
