梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的（state-of-the-art）机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。Sebastian Ruder曾在去年发表博文 《梯度下降优化算法综述》（An overview of gradient descent
机器学习——模型优化模型压缩方法squeezeNet的Fire Module有什么特点？ 模型压缩方法低秩近似 神经网络的基本运算卷积，实则就是矩阵运算，低秩近似的技术是通过一系列小规模矩阵将权重矩阵重构出来，以此降低运算量和存储开销。目前有两种常用的方法：一是Toeplitz矩阵（指矩阵中每条自左上至右下的斜线上的元素相同）直接重构权重矩阵，二是奇异值分解（SVD），将权重矩阵分解为若干个小矩
转载
2024-08-27 22:24:08
36阅读
下午可以闲一会儿，可以继续这个专题的写作了。 前面写的几篇文章受到了不少批评和质疑，谢谢大家的批评，也谢谢大家的建议，我会尽量把文章写得详细一些。有特色一些，呵呵。步入正题： 页面优化是我们前五篇文章的一个总结和提高，我会把前面文章没有写详细的地方再次列举出来
目录前言一、参数的更新1. SGD的缺点2. Momentum3. AdaGrad4. Adam5. 基于MNIST数据集地更新方法比较二、权重的初始值1. 权重初始值不能设为0总结前言本节介绍权重参数的优化方法，即寻找最优权重参数的最优化方法。一、参数的更新1. SGD的缺点如果函数的形状飞军向，比如呈延伸状，搜索的路径会非常低效。究其根本原因是梯度的方向并没有指向最小值的方向。 2.
转载
2023-11-26 11:04:58
317阅读
贝叶斯优化算法高斯分布/正态分布高斯分布 正态分布（Normal Distribution），又名高斯分布（Gaussian Distribution）。若随机变量X服从一个位置参数为，尺度参数为的正态分布，记为。其概率密度函数（PDF，Probability Density Function）为： 高斯分布的数学期望为位置参数，决定了分布的位置；其方差的开方或标准差为尺度参数，决定了分布的幅度。
第三章 简单的优化模型本章介绍简单的优化模型，归结为微积分中的函数极值问题，直接用微分法求解。建立优化模型的步骤：做出若干合理简化的假设首先确定优化的目标、寻求决策和决策受到的限制运用数学工具（变量、常数、函数）解决最后运用微分法求出最优决策以下选出几个实例学习1.存贮模型1.1不允许缺货的存贮模型问题： 配件厂生产若干种部件，每次生产因更换设备要付生产准备费（与生产数量无关），部件生产大于需求时
转载
2024-08-15 17:18:06
20阅读
由于互联网的发展越来越快，网络推广也成为企业之间的一种竞争方式，网站SEO优化工作也变得越来越难，很多企业网站做优化却始终提不上网站权重和排名，这不仅仅是因为他们对于SEO优化的了解并不是很全面，更是在实际优化的过程中，遇到许多无法解决的问题。那么网站权重要如何稳步提升呢?一、选择良好的服务器想要保障网站的打开速度以及做好网站网络安全等，都需要有一个优质的服务器做后盾。 避免网站被攻
转载
2024-04-11 21:58:10
16阅读
日常生活中的很多问题都可以建模为多目标优化问题，如典型的路径规划问题，您既想能够较快地到达目的地，又想能够减少路费成本。多目标优化算法在一次运行的过程中可以产生一组Pareto最优解，是解决这类问题的强大的框架。1. 算法思路常见的多目标进化算法可以分为以下三类：修改传统的Pareto支配关系，以增强到Pareto前沿的选择压力；将传统的Pareto支配关系和其他收敛性相关的指标相结合，例如NSG
本文将模拟退火（SA）算法应用于投资组合优化问题。模拟退火（SA）是一种通用的概率和元启发式搜索算法，可用于找到以具有多个最优的大搜索空间为特征的优化问题的可接受解决方案。投资组合优化涉及在资产之间分配资本，以最大化风险调整回报。基本模拟退火算法该算法的灵感来自冶金退火中的随机过程，其中材料被反复加热和冷却。这样做是为了增加材料晶体的尺寸并减少其缺陷。这些材料特性取决于材料中通过加热...
原创
2021-05-20 22:07:09
567阅读
本文将模拟退火（SA）算法应用于投资组合优化问题。模拟退火（SA）是一种通用的概率和元启发式搜索算法，可用于找到以具有多个最优的大搜索空间为特征的优化问题的可接受解决方案。投资组合优化涉及在资产之间分配资本，以最大化风险调整回报。基本模拟退火算法该算法的灵感来自冶金退火中的随机过程，其中材料被反复加热和冷却。这样做是为了增加材料晶体的尺寸并减少其缺陷。这些材料特性取决于材料中通过加热...
原创
2021-05-20 22:07:08
537阅读
一、 模型的优化算法1.1 基于梯度下降的方法1.1.1样本量批量梯度下降BGD（Batch Gradient Dencent）随机梯度下降SGD（Stochastic Gradient Descent）mini-batch GD1.1.2. 学习率的更新方法动量法momentum（引入了动量项）Nesterov accelerated gradient（NAG,预测下一时刻的位置）二阶方法，调整
摘自《机器之心》一、动态超参数：该超参数为正则化项和权重，而非与网络拓扑相关的超参数。因为该类参数更改后需要大量的再训练，优势不明显。方法：梯度下降中，每完整更新参数一次后，调整正则化项和权重。1.1 Dropout设置 dropout：通过防止特征检测器的共适性来减少过拟合。但在训练初期，共适性可能是网络的最优自组织的开端，如果在该阶段抑制则可能导致训练过程加长。方法：增加一个drop
转载
2024-04-19 11:47:55
28阅读
解决过拟合和欠拟合的思路过拟合获取更多的数据量有时数据量大并没有帮助通常数据量越大，学习模型训练得越好，但是即使这样，也应该做一些初步实验（使用学习曲线）来确保数据量越大，训练越好。(如果一开始就用大量的数据来训练模型，将会耗费大量的时间：收集数据，训练模型) 增大正则化系数 减少特征量（不太推荐）细心的从已有的特征量中选出一个子集可以手工选择，也可以用一些降维( dimens
转载
2024-08-21 20:22:19
103阅读
前言之前我们在讲线性回归的时候用的是单层神经网络模型，也就是没有隐藏层，输入层直接全连接到输出层，也没有激活函数，是一种比较简单的模型，当时我们用随机梯度下降来处理损失函数使得权重值趋向于最优，回忆一下那个公式吧： 这个模型只有一组权重值，用这个公式其实就可以优化出最优权重了。 但我们后面介绍了多层神经网络模型的深度学习算法，我们当时说权重值优化也是用这个公式实现解决的，但我们思考一个问题，比方说
转载
2024-03-20 10:55:59
198阅读
优 化 问 题 无 约 束 优 化 问 题 简单组合优化问题 组合优化 组合优化又称为离散优化，它的目标是从组合问题的可行解集中求出最优解，通常可描述为：令Ω＝{s1，s2，…，sn}为所有状态构成的解空间，C(si)为状态si对应的目标函数值，要求寻找最优解s*，使得对于所有的si∈Ω，有C(s*)＝minC(si)。组合优化往往涉及排序、分类、筛选等问题，它是运筹学的一个重要分支。 典型的组合
转载
2023-10-19 22:08:50
131阅读
优化算法数学建模问题总共分为四类： 1. 分类问题 2. 优化问题 3. 评价问题 4. 预测问题一、粒子群算法（PSO）算法对于Hepper的模拟鸟群(鱼群)的模型进行修正，同遗传算法类似，也是一种基于群体叠代的，但并没有遗传算法用的交叉以及变异，而是粒子在解空间追随最优的粒子进行搜索。 PSO的优势在于简单，容易实现，无需梯度信息，参数少，特别是其天然的实数编码特点特别适合于处理实优化问题
转载
2023-09-16 12:57:23
193阅读
实现的粒子群优化(PSO)算法求解组合权重问题。算法可以用于优化多个指标的权重组合，以最大化或最小化某个目标函数。% 粒子群优化算法求解组合权重问题
clear; close all; clc;
%% 问题定义
% 假设我们有N个指标需要确定权重，权重之和为1
nVars = 5; % 变量数量（权重数量）
lb = 0; % 权重下限
ub = 1;
OSPF（开放最短路径优先）协议是一种广泛应用于局域网和互联网中的动态路由协议，通过计算路由器之间的最短路径来实现数据包的传输。在OSPF协议中，每个路由器都有一个权重值，用来决定数据包传输的优先级。优化OSPF协议中的权重值可以提高网络的性能和稳定性。
在华为路由器中，可以通过调整OSPF协议的权重值来实现路由的优化和负载均衡。通过合理调整权重值，可以实现网络流量的优化和路由的快速切换，提高网
原创
2024-03-05 09:39:10
187阅读
物理优化和逻辑优化是数据库查询优化的两个方面。物理优化：物理优化是指优化查询的物理执行计划，即如何访问磁盘、缓存以及如何进行排序等操作，以便最大化查询性能。物理优化涉及到磁盘 I/O、内存使用、排序算法等方面，通常由数据库自动完成，不需要用户干预。逻辑优化：逻辑优化是指优化查询的逻辑结构，即如何重写查询语句、如何使用索引、如何处理关联查询等操作，以便提高查询的效率。逻辑优化通常涉及到规则优化、代价
转载
2024-09-25 07:04:37
41阅读
系统参数优化系统参数优化说明默认的Linux内核参数考虑的是最通用场景，不符合用于支持高并发访问的Web服务器的定义，根据业务特点来进 行调整，当Nginx作为静态web内容服务器、反向代理或者提供压缩服务器的服务器时，内核参数的调整都是不同 的，此处针对最通用的、使Nginx支持更多并发请求的TCP网络参数做简单的配置,修改/etc/sysctl.conf来更 改内核参数。系统参数优化实例net
