3.2线性回归
f(x)=wTx+b
对离散属性的处理：属性间存在序关系->转化为连续值，入身高的高矮可转化为{1,0}；无序关系->转化为k维向量，如瓜类的取值西瓜、南瓜、黄瓜可转化为(1,0,0),(0,1,0),(0,0,1)
①一元线性回归
f(xi)=wxi+b
线性回归方程参数w,b的确定：用最小二乘法求解，即使均方误差
最小。也可用极大似然估计，结果一样
原理：E(w,b)是关于w和b的凸函数，当它关于w,b的导数为零时，得到w,b的最优解
补充：极大似然估计：
一文搞懂极大似然估计 - 知乎
凸函数的定义和性质：
凸函数与凹函数 - 知乎
凸函数的判断：对实数集上的函数，可通过二阶导数判别，若二阶导数在区间上非负，则称为凸函数，若恒大于0，则称为严格凸函数
多元函数的一阶导数和二阶导数：
②多元线性回归
与一元线性回归类似，将w和x都替换为向量，然后用最小二乘法求解
step1：将
转化为
step2：求解
凸函数证明：
令导数为0，求解，当
为满秩矩阵或正定矩阵时：
3.3对数几率回归
二分类问题：可用ln(y/(1-y))=wTx+b，将其转化为线性模型，其中y/(1-y）称为几率，ln(y/(1-y))称为对数几率
优点：无需事先假设数据分布，不仅能预测除“类别”，二是得到近似概率预测
理解牛顿法 - 知乎
3.4线性判别分析LDA
思想：给定训练样例集，设法将样例投影到一条直线上，使得同样样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新样例本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别
拉格朗日乘子法：
广义特征值：
广义瑞丽商：
3.5多分类学习
基本思路：拆解，即将多分类任务拆为若干个二分类任务求解
经典拆分策略：OvO，OvR，MvM
3.6类别不平衡问题
常用做法：欠采样，过采样，阈值移动
注：
《概率率与数理统计》学习参考：张宇考研数学，陈希孺教材
正定矩阵和半正定矩阵
浅谈「正定矩阵」和「半正定矩阵」 - 知乎
