第8章介绍的线性回归包含了一些强大的方法，但这些方法创建的模型需要拟合所有的样本点（局部加权线性回归除外）。当数据拥有众多特征并且特征之间关系十分复杂时，构建全局模型的想法就显得太难了，也略显笨拙。而且， 实际生活中很多问题都是非线性的，不可能使用全局线性模型来拟合任何数据。 一种可行的方法是将数据集切分成很多分易建模的数据，然后利用第8章的线性回归技术来建模。如果首次切分后仍然难以拟合线性模型就
概念：回归分析（Regression Analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。其中，被用来预测的变量叫做自变量，被预测的变量叫做因变量。如果包含两个以上的自变量，则称为多元回归分析。比方说有一个公司，每月的广告费用和销售额，如下表所示：如果我们把
转载
2024-05-14 16:11:32
211阅读
回归回归分析是一种数学模型。当因变量和自变量为线性关系时，它是一种特殊的线性模型。最简单的情形是一元线性回归，由大体上有线性关系的一个自变量和一个因变量组成，模型是：X是自变量，Y是因变量，ε是随机误差。通常假定随机误差的均值为0，方差为σ2（σ2﹥0，σ^2与X的值无关）。若进一步假定随机误差遵从正态分布，就叫做正态线性模型。一般的，若有k个自变量和1个因变量，则因变量的值分为两部分：一部分由自
转载
2024-05-14 20:33:35
457阅读
首先了解一下正则性（regularity），正则性衡量了函数光滑的程度，正则性越高，函数越光滑。（光滑衡量了函数的可导性，如果一个函数是光滑函数，则该函数无穷可导，即任意n阶可导）。 正则化是为了解决过拟合问题。在Andrew Ng的机器学习视频中有提到（详见）。解决过拟合的两种方法： 方法一：尽
● L1和L2正则化的区别参考回答：L1是模型各个参数的绝对值之和,L2为各个参数平方和的开方值。L1更趋向于产生少量的特征,其它特征为0,最优的参数值很大概率出现在坐标轴上,从而导致产生稀疏的权重矩阵,而L2会选择更多的矩阵,但是这些矩阵趋向于0。● 问题：Loss Function有哪些，怎么用？参考回答：平方损失（预测问题）、交叉熵（分类问题）、hinge损失（SVM支持向量机）、
转载
2024-06-07 09:07:19
33阅读
前面我们介绍了许多数学工具，从这篇文章开始进入实际应用阶段。绝大多数的工程和系统都是一阶或二阶微分方程，因此我们只要解出这个微分方程就能完全掌握这个系统的状态。直接从时域解或者使用拉普拉斯变换从频域解都是可行的。让我们从相对简单的一阶系统开始。首先，什么是一阶系统？很简单，即只有一次导数的微分方程系统即一阶系统。举个简单的例子，手电筒。假设手电筒的电池所含电荷量为q，电容为C，电筒打开时电流为I，
转载
2024-06-06 14:17:00
152阅读
一般说法，逻辑是有效推理的形式。逻辑学可追溯至亚里士多德（Aristotle，公元前384～前322，古希腊的哲学家、科学家、逻辑学家、教育家），他创立的三段论标志着古典逻辑阶段的形成。我们通过例子来说明。所有吃草且会奔跑的都是动物马是吃草且会奔跑所以，马是动物在这个例子中，替换“马”为“牛”，或者系统替换“吃草且会奔跑”“动物”“马”三者，都不影响推论的有效，词项：“所有”“是”“所以”构成了这
转载
2023-10-21 19:48:52
85阅读
引言上节我们介绍了很多线性回归模型，如何用线性模型做分类任务呢？是不是可以将线性回归模型的预测值和到分类任务的标记联系起来呢？逻辑斯提回归对于一个二分类任务，输出标记y为{0,1}，而线性回归模型产生的预测值z为全体实数，我们想把z转换成0/1值。我们首先想到是“单位阶跃函数”。 利用线性回归模型产生预测值z，经过单位阶跃函数做变换，如果z<=0，就归为负类，若z>0就归为正
转载
2024-09-06 10:01:01
96阅读
构建随机森林分类器随机森林它实际上是一个包含多个决策树的分类器，每一个子分类器都是一颗CART分类回归树，所以随机森林既可以做分类，又可以做回归。当它做分类的时候，输出的结果是每一个子分类器的分类结果中最多的那个。你可以理解是每一个分类器都做投票，取投票最多的那个结果。当它做回归的时候，输出结果是每棵CART树的回归结果的平均值GridSearchCV工具的使用在做好分类算法的时候，我们需要经常调
转载
2024-10-24 19:57:42
48阅读
PID调节器： 在过程控制中，按偏差的比例（P）、积分（I）和微分（D）进行控制的PID控制器（亦称PID调节器）是应用最为广泛的一种自动控制器。它具有原理简单，易于实现，适用面广，控制参数相互独立，参数的选定比较简单等优点；而且在理论上可以证明，对于过程控制的典型对象──“一阶滞后+纯滞后”与“二阶滞后+纯滞后”的控制对象，PID控制器是一种最优控制。（摘自百度）视频讲解：添加链接描述1 比例调
转载
2024-08-07 13:07:46
79阅读
（1）前言（2）最小二乘的推导（3）最小二乘求解线性（4）曲线拟合的应用 （1）前言 关于最小二乘的应用，最早在高斯时代就被天才高斯用来求解，偏离轨道的行星，在别人还在用望远镜寻找的时候，高斯又是神奇般的轻而易举的算出了偏离轨道的行星准确位置。现在学习它，我是想在图像分类中和数据处理分类中会用到他做拟合、预测。（2）最小二乘的推导 最小二乘的线性回归方程系数即极值点坐标可
Logistic Regression(逻辑回归)属于监督学习算法, 它是一种概率估计, 通过最优化算法(如梯度上升算法)来确定最佳回归系数, 根据回归系数建立分类边界线, 对训练集进行分类. 优点 计算代价不高, 易于理解和实现 缺点 容易欠拟合, 分类精度可能不高 适用数据类型 数值型, 标称型基础概念1.回归在数学上来说是给定一
转载
2024-05-06 15:29:42
87阅读
# 深度学习一阶谓词形式
## 引言
深度学习已经在诸多领域取得了显著的进展，比如计算机视觉、自然语言处理等。然而，随着技术的发展，仅仅依靠大量数据进行训练已经渐渐无法满足复杂应用的需求，因此引入逻辑推理，特别是一阶谓词形式的引入，能够有效提升模型的表达能力和推理能力。
## 一阶谓词逻辑简介
一阶谓词逻辑是一种数学逻辑，用于推理和表示知识。它的基本元素包括：
- **谓词**：描述对象
支持向量机通俗导论（理解SVM的三层境界） 作者：
July、pluskid ；
致谢：白石、J
erryLead
前言support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清楚，尽管网上已经有朋友写得不错了(见文末参考链接)，但在描述数学公
注：对于最重要的两类回归模型，之前总结了逻辑回归模型，这里总结一下"线性回归"模型。 0. 概述线性回归应该是我们听过次数最多的机器学习算法了。在一般的统计学教科书中，最后都会提到这种方法。因此该算法也算是架起了数理统计与机器学习之间的桥梁。线性回归虽然常见，但是却并不简单。该算法中几乎包含了所有有监督机器学习算法的重要知识点，比如数据的表示、参数的训练、模型的评价、利用正则化防止过拟合
logistics回归虽然名字叫回归，但其实是一种分类算法，有很多优点，1、判别式算法，直接对数据进行建模，不需要考虑数据的分布，也就是不需要考虑Y的先验这个问题。2、实现简单，目标函数是可导的凸函数，方便求最优解。 以下我们以二分类为例介绍这一个算法。一说到二分类问题，我们自然会联想到分段函数（或称阶跃函数），设定一个阈值，大于阈值为正例，小于阈值为负例，图像如下： 可以很明显的发现一个问题，我
转载
2024-04-16 18:18:56
59阅读
一维前缀和'''
输入一个长度为 n的整数序列。
接下来再输入 m个询问，每个询问输入一对 l , r
对于每个询问，输出原序列中从第 l 个数到第 r 个数的和。
输入格式
第一行包含两个整数 n 和 m。
第二行包含 n个整数，表示整数数列。
接下来 m行，每行包含两个整数 l和 r，表示一个询问的区间范围。
输出格式
共 m行，每行输出一个询问的结果。
数据范围
1 ≤ l ≤ r ≤
转载
2024-03-07 14:00:15
38阅读
1、【回归】—【线性】2、添加自变量、因变量3、选择【统计】，勾选【德滨·沃森】，然后点继续、确定4、得到德滨·沃森的值，即DW=0.7715、【转换】—【计算变量】6、添加目标变量、数字表达式，然后确定注：7、同样方法计算因变量的目标变量8、【分析】—【线性】9、添加自变量x2、因变量y2，注意：还需要在【选项】中将【在方程中包括常量】取消勾选10、点继续、确定后，得到的结果便是回归方程的系数，
转载
2023-07-18 16:52:31
344阅读
书接上文接着上次的笔记，在原本自回归模型基础上加入了深度学习，即由神经网络参数化的自回归模型，算是真正意义上的“深度”生成模型了。从使用MLP建模的有限记忆自回归到使用LSTM和RNN的长距记忆自回归，最后再到作者书中提到的借用因果卷积，解决卷积神经网络面对长距依赖关系的短板，从而构建的基于卷积神经网络的自回归模型。今天这篇笔记，开始学习和研究作者对于自回归模型实践部分的内容（作者代码）。之前都是
转载
2024-07-29 16:33:49
59阅读
在做一个指南针的程序时，发现数据抖动的很厉害。去和芯片厂商的咨询，被告知是sensor安放的位置的问题，当前的原始数据和哪吒的风火轮一样，极为不规则，像火苗到处乱窜，只有改板子才能解决。反复试验发现：sensor上方的电池和周围的flash，memory，cpu，speaker等影响太大导致数据不稳定。已经快到客户量产的期限了，改板子已经不可能了，只能从软件上作弥补，如果不能修正，项目被delay
转载
2023-10-31 16:29:32
73阅读
