机器学习复习笔记-华中科技大学

第二门有挂科风险的考试
上午刚考完
这门课程考核方式第一次改为考试
所以没有复习资料
还有一点记忆赶紧记录一下
明年重修的时候就有复习材料了
1月6日 孙院士和张院士补充了部分判断题

简答
1. 朴素贝叶斯和感知机基本思想与异同
2. 简述SVM
3.分类和回归的异同
4.硬约束的SVM和软约束的SVM在数据是线性可分的情形下结果有何异同

---

判断

MLE和MAP都是把θ当成随机变量
在逻辑回归模型里牛顿法一定会得到全局最优解
True Bayes…
AdaGard每一个feature都有独立的学习率
在训练集有小于10%的错误率 在测试集一定不会有100%的错误率
KNN在高维数据的低维流形下不能得到正确的结果

。。。其他的暂时想不起来了

---

计算&证明

1.使用最大似然估计最大的参数a
$Y = aX + \epsilon$
$\epsilon \sim N(0,\sigma^2)$
$P(Y|X，a)=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(Y-aX)^{2}}{2\sigma^{2}})$
数据$D=\{(x_{1},y_{1}), (x_{2},y_{2}), (x_{3},y_{3}), ..., (x_{n},y_{n}) \}$相互独立

2.使用3-NN算法求解
在5X5的网格中标出
$标记为0=\{ (0,2)，...\}一共五个坐标$
$标记为1=\{ (3,2)，...\}一共五个坐标$
1在网格中标出数据
2写出3-NN算法的具体过程
3标出不同标签的分类边界

3求一个一个感知机的分类超平面，并且预测$y_{t}$
$x_{1}=(1,1,0,1)^{T},y_{1}=+1$
$x_{2}=(0,0,1,1)^{T},y_{2}=+1$
$x_{3}=(1,1,0,0)^{T},y_{3}=-1$
$x_{4}=(0,0,0,1)^{T},y_{4}=-1$
$x_{t}=(0,1,0,1)^{T},y_{t}=?$
具体的数据可能有错误