参数方法，假定概率分布，只来估计少量参数。半参数方法，对数据分组，每组采用一种概率分布的假设，最后使用混合概率分布。非参数方法，不需要知道数据的概率分布，只需要假设：相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳、量变到质变的，因此无论是密度、判别式还是回归函数都应当缓慢地变化。在这样的非参数估计（non-paramitric estimation）中，局部实例对于密度的影响就显得颇
转载
2023-11-15 19:21:36
117阅读
Predictive Data Mining ModelsKnowledge ManagementBasic Forcasting Toolsregression modelsTime Serie Error Metrics未完成 Knowledge Management1.收集恰当的数据(处理噪声) 2.存储数据、管理数据 3.数据挖掘：生成报告确保可操作性，为了其他特殊研究提供数据Basic
转载
2024-10-11 11:10:10
29阅读
局部多项式回归局部多项式回归是非参数回归的一种方法，主要是由于估计方法的加权是基于整个样本点，而且往往在边界上的估计效果并不理想。局部线性回归解决上述问题的办法就是用一个变动的函数取代局部固定的权重。局部线性回归就是在待估计点的领域内用一个线性函数,来取代的平均，是局部参数，首先回顾一下Nadaraya-Watson估计： 其中.接下来我们考虑一个估计量来使得目标函数(误差平方和)达到最小,很明显
转载
2024-06-04 10:00:17
65阅读
还是数学建模中的一个小问题，具体概念分析在百度上的大佬说的已经足够详细，在此不再赘述。链接: 多元回归分析.我主要根据实例讲解如何通过spss进行建模，并进行模型参数的分析和验证。打开spss（如果遇到打不开的情况，可能是由于SPSS加载excel表格时，如果excel表格中的数字没有设置保留位数，就会自动在各位四舍五入。在excel中预先设置小数位数，然后用SPSS加载即可。），点击【分析】——
转载
2023-10-05 11:01:09
249阅读
在数据科学和机器学习的领域，Python 非参数回归模型是一种强大的工具，允许我们在不知道具体数据分布的情况下进行预测。这种回归方式不依赖于任何预设的模型形式，能够灵活地适应数据的真实结构，适合处理非线性关系。在这篇文章中，我们将逐步解析如何有效地利用 Python 非参数回归模型，并解决可能遇到的各种问题。
## 背景定位
非参数回归的业务影响可以说是相当显著的。以市场营销领域为例，企业在调
课程大纲 欠拟合的概念（非正式）：数据中某些非常明显的模式没有成功的被拟合出来。如图所示，更适合这组数据的应该是而不是一条直线。  
参数回归是我们最长用的模型。与参数回归相对的非参数回归，这种模型对变量分布等假定并不是很严等，因此可以说扩展了参数回归的应用范围。但是非参数回归的局限性在于，在存在较多的解释变量时，很容易出现所谓的“维度灾难”，像方差的急剧增大等现象。 这类模型包括实例回归，局部加权回归（LOESS）
# 多元非参数回归在Python中的实现
在数据分析与统计中，回归分析是解释变量与响应变量之间关系的一种重要方法。在某些情况下，数据呈现出的分布和关系可能不符合线性模型的假设，而多元非参数回归提供了解决这些问题的有效工具。本文将引导你实现多元非参数回归，具体步骤如下：
## 流程概览
首先，我们可以将整个流程拆分为以下几个步骤：
| 步骤 | 任务
原创
2024-10-15 07:13:45
190阅读
昨天讲了线性回归，今天接着来讲讲它的兄弟-----多元回归与非线性回归多元回归：自变量有不止一个，最后来预测一个结果非线性回归：函数就不是简单的都是一次项，引入了高阶项使函数更能完美拟合得到准确率更高的预测值首先引入一个学生的身高体重数据集来回顾昨天的一元线性回归训练集序号身高(m)体重(kg)10.861220.961531.122041.353551.554861.635171.715981.
转载
2024-03-26 14:25:39
163阅读
softmax又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 下图展示了softmax的计算方法： &nb
回归模型分为线性回归模型和非线性回归模型。这里讨论线性回归模型，这一模型参数化之后为：d=w转置x+e其中d称为期望响应，x称为回归量，w称为参数向量，e称为期望误差，w的维数与回归量x的共同维数称为模型阶。注：线性回归模型如图p42对线性回归参数向量选择的过程进行量化，进而得到4个密度函数。1、观测密度，给定参数向量w，由回归量x对环境响应d的“观测”。2、先验，先验于环境观测量的参数向量w的信
转载
2024-05-21 22:58:58
39阅读
总体分布未知，或者知之甚少时，利用已知样本数据对总体分布形态做出推断的方法，即是非参数检验。非参数检验主要利用样本数据之间的大小比较和大小顺序，对两个或者多个样本所属的总体分布是否相同进行建议，而不会对总体分布的参数，例如平均数，标准差进行统计推断。非参数检验的原理都是一样的：将样本数据进行各种转换，例如排序求秩，求秩和，求均值，求概率等等，将之转换为符合正态分布或者卡方分布等的统计量数据，最后对
转载
2024-03-25 05:19:51
159阅读
本文主要介绍了线性回归模型和最小二乘估计。
目录Chapter 3：回归参数的估计(1)3.1 最小二乘估计3.2 最小二乘估计的性质Chapter 3：回归参数的估计(1)3.1 最小二乘估计用 \(y\) 表示因变量，\(x_1,x_2,\cdots,x_p\) 表示对 \(y\) 有影响的 \(p\)总体回归模型：假设 \(y\) 和 \(x_1,
转载
2023-11-30 17:46:24
47阅读
要评估模型的效果，就需要将模型预测结果f(X)和真实标注Y进行比较，评估指标定义为f(X)和Y的函数：score = metric(f(X),Y)。模型的好坏是相对的，在对比不同的模型效果时，使用不同评估指标往往会导致不同的结论。 通常离线评估使用的是机器学习评估指标，在线评估使用的是业务指标。如果离线指标和在线指标不同，则可能会出现离线指标变好而在线指标变差的现象。所以，在一个新的问题开始的初
转载
2024-04-22 14:43:10
167阅读
前言在之前的关于回归问题的讨论中，笔者主要给出了一般原始的线性回归模型（主要以最小二乘法形式进行的）以及其它两种主流的线性回归模型的补充内容，它们主要是为了解决样本之间存在线性相关性的问题，包括岭回归和LASSO回归。一般而言，对于多分类问题，我们希望能将样本的采样值约束在一定范围之内，最为常用的如[0,1]之间，这就产生了所谓归一化的需求，就是本文讨论的目标。在下面的章节中，我们着重于此类方法，
你可能听说过核密度估计(KDE：kernel density estimation)或非参数回归（non-parametric regression）。你甚至可能在不知不觉的
原创
2024-05-19 22:05:25
96阅读
对数几率回归模型是处理分类问题的算法，常用于垃圾邮件分类，天气预测等，很多文献也将其称为“逻辑回归”。本文也将称为逻辑回归。一. 逻辑回归由来下面是一个简单的线性回归模型。 我们知道“线性回归"试图学得一个线性模型以尽可能得准确预测实际值得输出标志。但要是做分类模型，则需要找一个单调可微函数将分类任务的真实标记与线性回归得预测值联系起来。对于一个二分类问题，将其输出标记为（
转载
2023-10-06 23:00:50
116阅读
什么时候取对数一、伍德里奇的取对数规则:为了解决（1）减弱数据的异方差性（2）如果变量本身不符合正态分布，取 了对数后可能渐近服从正态分布（3）模型形式的需要，让模型具有经济学意义。采用四种规则：（1）与市场价值相关的，例如，价格、销售额、工资等都可以取对数；（2）以年度量的变量，如受教育年限、工作经历等通常不取对数；（3）比例变量，如失业率、参与率等，两者均可；（4）变量取值必须是非负数，如果包
转载
2023-11-25 12:08:16
487阅读
一、适用范围 一个因变量有多个自变量导致二、建模及改进步骤首先画出每一个变量与因变量之间的散点图，寻找简单的关系，比如：线性（y=β0+β1x+ε）、二次函数（y=β0+β1x+β2x2ε）、指数增长模型（y=β1（1-e-β2x）、Michalis-Menten模型（y=f（x,β）=β1x/(β2+x)）(该类方法可以取倒数，进行线性化处理)用matlab的regress命令进行回归得到回归
转载
2023-09-24 14:06:54
331阅读
“分位数自回归”，它是对时间序列领域的重要扩展。本教程的数据是_痛苦指数_（查看文末了解数据获取方式），它是一个月频率时间序列，总和：（失业率 + 通货膨胀率）构成所谓的“苦难指数”。 “什么是_痛苦指数_?就是_失业率_与_通货膨胀率_之和”。该指数认为，失业与通货膨胀给人们带来的痛苦是相同的，_失业率_上升1%与_通胀率_上升1%对人们_构成_同样程度的“痛苦”。相关视频加载数据首先
转载
2024-04-29 19:03:27
45阅读
