文章目录
- 零、本节目标
- 一、线性回归的基本思想
- 例题
- 二、线性判别函数基本概念
- 表达式
- 决策规则
- 三、Fisher线性判别分析方法(没怎么说)
- 简述Fisher准则函数
- Fisher线性判别
- 四、感知器基本原理(没怎么说)
- 梯度下降算法(老师没强调)
- 算法原理
- 五、最优分类超平面(重点强调了模型,考了)
- 六、线性支持向量机(没怎么说)
- 补充:线性分类器的三种最优准则(没怎么说)
零、本节目标
一、线性回归的基本思想
用训练样本集估计模型中的参数,使模型在最小平方误差意义下能够最好地拟合训练样本。
例题
二、线性判别函数基本概念
表达式
决策规则
方程 g(x)=0 定义了一个决策面,它把归类于ω1类的点和归类于ω2的点分隔开。当g(x)为线性函数时,这个决策面是超平面。
三、Fisher线性判别分析方法(没怎么说)
简述Fisher准则函数
Fisher线性判别
可以考虑把d维空间的样本投影到一条直线上,形成一维空间,即把维数压缩到一维,这在数学上容易办到。然而,即使样本在d维空间里形成若干紧凑的互相分得开的集群,如果把它们投影到一条任意的直线上,也可能使得几类样本混在一起而变得无法识别。 但是在一般情况下, 总可以找到某个方向, 使得在这个方向的直线上,样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线,这就是Fisher算法所要解决的基本问题。
四、感知器基本原理(没怎么说)
梯度下降算法(老师没强调)
算法原理
- 定义代价函数
- 选择起始点
- 计算梯度
- 按学习率前进
- 重复第三步直至找到函数最小值
五、最优分类超平面(重点强调了模型,考了)
- 超平面的判断
- 优化函数
- 求解不重要
六、线性支持向量机(没怎么说)
补充:线性分类器的三种最优准则(没怎么说)