局部多项式回归局部多项式回归是非参数回归的一种方法，主要是由于估计方法的加权是基于整个样本点，而且往往在边界上的估计效果并不理想。局部线性回归解决上述问题的办法就是用一个变动的函数取代局部固定的权重。局部线性回归就是在待估计点的领域内用一个线性函数,来取代的平均，是局部参数，首先回顾一下Nadaraya-Watson估计： 其中.接下来我们考虑一个估计量来使得目标函数(误差平方和)达到最小,很明显
转载
2024-06-04 10:00:17
65阅读
参数方法，假定概率分布，只来估计少量参数。半参数方法，对数据分组，每组采用一种概率分布的假设，最后使用混合概率分布。非参数方法，不需要知道数据的概率分布，只需要假设：相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳、量变到质变的，因此无论是密度、判别式还是回归函数都应当缓慢地变化。在这样的非参数估计（non-paramitric estimation）中，局部实例对于密度的影响就显得颇
转载
2023-11-15 19:21:36
117阅读
课程大纲 欠拟合的概念（非正式）：数据中某些非常明显的模式没有成功的被拟合出来。如图所示，更适合这组数据的应该是而不是一条直线。  
Predictive Data Mining ModelsKnowledge ManagementBasic Forcasting Toolsregression modelsTime Serie Error Metrics未完成 Knowledge Management1.收集恰当的数据(处理噪声) 2.存储数据、管理数据 3.数据挖掘：生成报告确保可操作性，为了其他特殊研究提供数据Basic
转载
2024-10-11 11:10:10
29阅读
还是数学建模中的一个小问题，具体概念分析在百度上的大佬说的已经足够详细，在此不再赘述。链接: 多元回归分析.我主要根据实例讲解如何通过spss进行建模，并进行模型参数的分析和验证。打开spss（如果遇到打不开的情况，可能是由于SPSS加载excel表格时，如果excel表格中的数字没有设置保留位数，就会自动在各位四舍五入。在excel中预先设置小数位数，然后用SPSS加载即可。），点击【分析】——
转载
2023-10-05 11:01:09
249阅读
在数据科学和机器学习的领域，Python 非参数回归模型是一种强大的工具，允许我们在不知道具体数据分布的情况下进行预测。这种回归方式不依赖于任何预设的模型形式，能够灵活地适应数据的真实结构，适合处理非线性关系。在这篇文章中，我们将逐步解析如何有效地利用 Python 非参数回归模型，并解决可能遇到的各种问题。
## 背景定位
非参数回归的业务影响可以说是相当显著的。以市场营销领域为例，企业在调
# 多元非参数回归在Python中的实现
在数据分析与统计中，回归分析是解释变量与响应变量之间关系的一种重要方法。在某些情况下，数据呈现出的分布和关系可能不符合线性模型的假设，而多元非参数回归提供了解决这些问题的有效工具。本文将引导你实现多元非参数回归，具体步骤如下：
## 流程概览
首先，我们可以将整个流程拆分为以下几个步骤：
| 步骤 | 任务
原创
2024-10-15 07:13:45
190阅读
参数回归是我们最长用的模型。与参数回归相对的非参数回归，这种模型对变量分布等假定并不是很严等，因此可以说扩展了参数回归的应用范围。但是非参数回归的局限性在于，在存在较多的解释变量时，很容易出现所谓的“维度灾难”，像方差的急剧增大等现象。 这类模型包括实例回归，局部加权回归（LOESS）
你可能听说过核密度估计(KDE：kernel density estimation)或非参数回归（non-parametric regression）。你甚至可能在不知不觉的
原创
2024-05-19 22:05:25
94阅读
昨天讲了线性回归，今天接着来讲讲它的兄弟-----多元回归与非线性回归多元回归：自变量有不止一个，最后来预测一个结果非线性回归：函数就不是简单的都是一次项，引入了高阶项使函数更能完美拟合得到准确率更高的预测值首先引入一个学生的身高体重数据集来回顾昨天的一元线性回归训练集序号身高(m)体重(kg)10.861220.961531.122041.353551.554861.635171.715981.
转载
2024-03-26 14:25:39
163阅读
参数与超参数 模型参数模型参数是模型内部的配置变量，其值可以根据数据进行估计。它们的值定义了可使用的模型模型在进行预测时需要它们。它们是从数据估计或获悉的。它们通常不由编程者手动设置。它们通常被保存为学习模型的一部分。参数是机器学习算法的关键。它们通常由过去的训练数据中总结得出。超参数它们通常用于帮助估计模型参数。它们通常由人工指定。它们通常可以使用启发式设置。它们经常被调整为给定的
咸鱼了半个多月了，要干点正经事了。最近在帮老师用神经网络做多变量非线性的回归问题，没有什么心得，但是也要写个博文当个日记。该回归问题是四个输入，一个输出。自己并不清楚这几个变量有什么关系，因为是跟遥感相关的，就瞎做呗。数据预处理的选择刚开始选取了最大最小值的预处理方法，调了很久的模型但是最后模型的输出基本不变。换了z-score的预处理方法，模型的输出才趋于正常。损失函数的选择对于回归问题，常用的
转载
2023-07-27 22:21:56
101阅读
处理数据不平衡是在机器学习任务中常遇到的问题，特别是在分类任务中，某些类别的样本数量远远超过其他类别的样本数量。以下是一些常用的解决数据不平衡问题的方法：重采样（Resampling）：过采样（Oversampling）：增加少数类别的样本数量，可以通过复制样本或生成合成样本的方式实现。常用的技术包括随机过采样、SMOTE（Synthetic Minority Over-sampling Tech
这是吐槽： 本科土木，由于各种经验公式的困扰，突发奇想想用神经网络去训练非线性的数据。然后从网络上查找资料，发现BP神经网络对非线性数据有良好的处理效果。从百度上copy的一句话：其突出优点就是具有很强的非线性映射能力和柔性的网络结构。 总之比人工猜测用公式回归会强很多，如果有同学跟我一样的情况也可以尝试这种非线性回归。对神经网络入门困难的同学，这个也是比mnist手写数字识别更为基础的教程。由于
转载
2023-10-27 08:50:49
129阅读
我们介绍的线性模型的求解，但有很多模型是非线性的，比如： 这里表示有两个输入，一个输出。现在我们已经不能采用y=ax+b的形式去定义一个函数了，我们只能知道输入变量的数量，但不知道某个变量存在几次方的分量，所以我们采用一个神经网络去定义一个函数。 我们假设只有一个输入、一个输出，神经网络模型结构类似上图，其中蓝色的路径仍为线性模型，红色路径
转载
2023-07-03 11:01:53
173阅读
总目录：SPSS学习整理 SPSS实现多个配对样本非参数检验目的适用情景数据处理数据1数据2数据3SPSS操作操作1操作2操作3SPSS输出结果分析结果1结果2结果3知识点 目的检验多个配对样本之间是否具有相同分布适用情景这次好像比较复杂，SPSS有三种检验方式 第一种检验适用于重复测量同一样本的数据。 第二种可以判断评分者评分标准是否一致，W系数（范围0~1）越接近1，评分标准越一致。 第三种是
转载
2024-04-11 06:36:37
135阅读
总体分布未知，或者知之甚少时，利用已知样本数据对总体分布形态做出推断的方法，即是非参数检验。非参数检验主要利用样本数据之间的大小比较和大小顺序，对两个或者多个样本所属的总体分布是否相同进行建议，而不会对总体分布的参数，例如平均数，标准差进行统计推断。非参数检验的原理都是一样的：将样本数据进行各种转换，例如排序求秩，求秩和，求均值，求概率等等，将之转换为符合正态分布或者卡方分布等的统计量数据，最后对
转载
2024-03-25 05:19:51
159阅读
在数学，尤其是概率论和相关领域中，归一化指数函数，或称Softmax函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。该函数多于多分类问题中。中文名归一化指数函数外文名Normalized exponential function领 域人工智能
回归模型分为线性回归模型和非线性回归模型。这里讨论线性回归模型，这一模型参数化之后为：d=w转置x+e其中d称为期望响应，x称为回归量，w称为参数向量，e称为期望误差，w的维数与回归量x的共同维数称为模型阶。注：线性回归模型如图p42对线性回归参数向量选择的过程进行量化，进而得到4个密度函数。1、观测密度，给定参数向量w，由回归量x对环境响应d的“观测”。2、先验，先验于环境观测量的参数向量w的信
转载
2024-05-21 22:58:58
39阅读
softmax又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 下图展示了softmax的计算方法： &nb
