《算法导论》第15章专门介绍动态规划算法，本文结合装配线调度和矩阵链乘法理解动态规划算法的一些基本问题（15.1 – 15.3）。适合采用动态规划方法的最优化问题包含两个要素：最优子结构和重叠子问题。最优子结构如果问题的一个最优解中包含子问题的最优解，则该问题具有最优子结构。要判断问题是否具有最优子结构，那么就需要描述问题的最优解。对这两个例子而言：1. 调度线问题中，我们要求得通过装配站j的最快
用最小二乘法拟合线性回归模型时存在一些问题，如： ①预测变量数>样本数时，最小二乘法的系数估计不唯一； ②多元回归中，常常存在一个或多个预测变量与响应变量无关的情况，这些变量与模型无关但增加了模型的复杂度等。 解决：特征选择（feature selection）或变量选择（variable selection） 目前看到的一些方法有： 子集选择：最优子集选择（best subset s
转载
2024-05-08 12:46:58
322阅读
1.BIRCH算法概念 BIRCH（Balanced Iterative Reducing and Clustering Using Hierarchies）全称是：利用层次方法的平衡迭代规约和聚类。BIRCH算法是1996年由Tian Zhang提出来的，参考文献1。首先，BIRCH是一种聚类算法，它最大的特点是能利用有限的内存资源完成对大数据集的高质量的聚类，同时通过单遍扫描数据集能最小化I/
公元2020年5月7日，距离算法考试还有2天。一、知识归纳1.回溯法的定义回溯法也称为试探法，首先暂时放弃关于问题规模大小的限制，并将问题的候选解按某种顺序逐一枚举和检验。 【回溯】当发现当前候选解不可能是解时，就选择下一个候选解； 【向前试探】倘若当前候选解除了还不满足问题规模要求外，满足所有其他要求时，继续扩大当前候选解的规模，并继续试探。 【找到解】如果当前候选解满足包括问题规
转载
2024-08-11 15:35:22
61阅读
Lasso Regression标签（空格分隔）： 监督学习在数据挖掘和机器学习算法的模型建立之初，为了尽量的减少因缺少重要变量而出现的模型偏差问题，我们通常会尽可能的多的选择自变量。但是在实际建模的过程中，通常又需要寻找 对响应变量具有解释能力的自变量子集，以提高模型的解释能力与预测精度，这个过程称为特征选择。还是考虑《线性回归》中的一般线性回归模型y=wTx，使用最小二乘估计(OLS)可以得到
一、 贪心策略的定义 【定义1】 贪心策略是指从问题的初始状态出发，通过若干次的贪心选择而得出最优值(或较优解)的一种解题方法。 其实，从"贪心策略"一词我们便可以看出，贪心策略总是做出在当前看来是最优的选择，也就是说贪心策略并不是从整体上加以考虑，它所做出的选择只是在某种意义上的局部最优解，而许多问题自身的特性决定了该题运用贪心策略可以得到最优解或较优解。 
转载
2024-09-02 09:14:37
115阅读
本章内容□sigmod函数和logistic回归分类器□最优化理论初步□梯度下降最优化算法□数据中的缺失项处理最优化算法。仔细想想就会发现，其实我们日常生活中遇到过很多最优化问题，比如如何在最短时间内从入点到达氏点？如何投人最少工作量却获得最大的效益？如何设计发动机使得油耗最少而功率最大？可风，最优化的作用十分强大。接下来，我们介绍几个最优化算法，并利用它们训练出一个非线性函数用于分类。读者不熟悉
项目模板#Python机器学习项目的模板
#1.定义问题
#a)导入类库
#b)导入数据集
#2.理解数据
#a)描述性统计
#b)数据可视化
#3.数据准备
#a)数据清洗
#b)特征选择
#c)数据转换
#4.评估算法
#a)分离数据集
#b)定义模型评估标准
#c)算法审查
#d)算法比较
#5.优化模型
#a)算法调参
#b)集成算法
#6.结果部署
#a)预测评估数据集
#b
最小二乘线性回归模型表示参数求解解析法：根据函数在极值满⾜参数的梯度为 0 的特点进⾏求解。当样本数量较少时使⽤此法速度较快，但可能遇到矩阵不可逆的情况。数值优化法（梯度下降法）：利⽤梯度下降法等⽅法迭代求解。当样本数量较多时使⽤此法比较合适，但优化算法是否收敛以及收敛速度不确定。同时当描述样本的特征之间存在明显的相关性时，会导致某些预测变量以及与其相关程度强的预测变量，具有较⼤的系数估计值，但因
转载
2024-08-23 07:54:22
21阅读
线性回归模型比较常见的特征选择方法有两种，分别是最优子集和逐步回归。此外还有正则化，降维等方法。 1，最优子集（Best Subset Selection）：从零号模型（null model）M0开始，这个模型只有截距项而没有任何自变量。然后用不同的特征组合进行拟合，从中分别挑选出一个最好的模型（RSS最小或R2最大），也就是包含1个特征的模型M1，包含2个特征的模型M2，直至包含p个特
转载
2023-07-21 13:49:06
341阅读
树回归优点：可以对复杂和非线性的数据建模。
缺点：结果不易理解。
适用数据类型：数值型和标称型数据。连续和离散型特征的树的构建在树的构建过程中，需要解决多种类型数据的存储问题，可以使用一部字典来存储树的数据结构，该字典将包含以下4个元素：
（1）待切分的特征
（2）待切分的特征值
（3）右子树。当不再需要切分的时候，也可以是单个值
（4）左子树。与右子树类似
树包含左键和右键，可以存储另一棵子树或
记录自己平常解决的问题1.回归分析算法1.1 常见的回归算法2.二手车交易价格预测2.1评价标准2.2数据处理步骤2.2.1数据分布2.2.2查看预测值的具体频数2.2.3偏度和峰度（与正态分布进行比较）2.2.4减少MAE的方式2.2.5XGBOOST和LGBMClassifier经验参数2.3模型融合2.3.1回归任务中的加权融合2.3.2分类任务中的Voting2.4采用nerual ne
拟阵的最优子集问题的贪心算法
前置知识可以参见：拟阵的相关知识，图拟阵问题描述： 输入：拟阵 M=(S, I)，M的加权函数W 输出：对于加权函数W，M的最优子集算法描述： 1. 确定贪心思想
转载
2023-12-28 12:08:10
69阅读
# Python 最优子集的实现指南
大家好，今天我们将一起探讨如何用 Python 实现“最优子集”的问题。最优子集通常是在给定的数据集（如列表或数组）中找到一个最佳组合，使得某个目标函数最大化或最小化。我们将以“0-1背包问题”为例，来实现这个功能。
## 整体流程
为了简化，我们可以将解决这个问题的流程分为以下几个步骤：
| 步骤 | 描述
原创
2024-09-04 05:53:38
103阅读
横坐标是变量，纵坐标是Adjusted R2，可见除截距项以外，只选定Population和Illiteracy这两个变量，可以使线性模型有最大的Adjusted R2。全子集回归比逐步回归范围更广，模型优化效果更好，但是一旦变量数多了之后，全子集回归迭代的次数就很多，就会很慢。事实上，变量的选择不是机械式地只看那几个统计指标，更主要的是根据数据的实际意义，从业务角度上来选择合适的变量。线性模型变
转载
2024-02-28 10:41:17
88阅读
特征子集选择属于特征工程的一部分，主要是因为在多个特征中，可能存在数个与响应变量无关的情况，而引入过多的特征，一方面大大增加了计算量，其次也会影响模型的评估，所以我们才需要选择与响应变量相关的变量形成特征子集。第一种方法是最优子集选择（best subset selection），假如目前由p个特征，那么我们每次选择k个特征，从数量为k的所有可能的特征组合中得到最好的那个，这里的最好指RSS（残差
转载
2024-06-14 16:31:40
156阅读
用Python解决优化难题 优化任务的一般表述 优化的目标是从广泛的可能的解中找到问题的最佳解。这里是一个典型的源头优化任务。假设一家航运公司使用船队向客户运送货物。每天公司必须将货物分配到各船，然后为每艘船选择运送货物的路线。每种可能的货物和航线目的都有自己的价值，基于船队的总移动距离，以及可能的其他因素。问题是要选择价值最低的货物和路线的分布。和所有的优化任务一样，这个任务也有以下内容。目标是
转载
2023-09-11 13:07:13
71阅读
在面对实际的“python 最优子集选择”问题时，我们常常需要寻找满足特定条件的元素集合，使得某一目标函数达到最大化或最小化。这一问题在数据分析、多目标优化等领域表现尤为重要。
> **权威定义**：
> 最优子集选择问题是一种组合优化问题，其目标是在满足一定约束条件的情况下，从给定的集合中选择出一个子集，使得该子集的某一目标函数的值最大或最小。
```mermaid
quadrantChar
每一个贪心算法之下，几乎总有一个更加繁琐的动态规划算法。——CLRS如果问题的最优解包含两个（或更多）子问题的最优解，且子问题多有重叠，我们考虑使用动态规划算法。 而如果问题经过贪心选择后，只剩下一个子问题，且具有优化子结构，那么可以使用贪心算法。贪心选择性：每一步贪心选出来的一定是原问题的最优解的一部分最优子结构：每一步贪心选完后会留下子问题，子问题的最优解和贪心选出来的解可以凑成原问题的最优解
转载
2024-09-05 10:13:11
42阅读
还是回到上次谈到的线性回归问题，我们知道，回归分析模型可以用
来表示。对应到第
个样本，可得
，其中，
是第
个样本的因变量值，
是自变量值，
则是真实值
和预估值
之间的差异值，也称为误差项值。对于这个模型，我们目标就是要求出
