lightgbm 特征权重 特征向量与权重的关系_重数


特征值和特征向量的概念


lightgbm 特征权重 特征向量与权重的关系_特征向量_02


lightgbm 特征权重 特征向量与权重的关系_特征向量_03


由特征向量的性质我们知道,它满足加法封闭性和数乘封闭性。于是构成了n维空间的子空间。


lightgbm 特征权重 特征向量与权重的关系_特征值与特征向量_04


求特征值就有可能遇到重根的情况,我们下面具体讨论一下。


lightgbm 特征权重 特征向量与权重的关系_特征值_05


lightgbm 特征权重 特征向量与权重的关系_lightgbm 特征权重_06


lightgbm 特征权重 特征向量与权重的关系_lightgbm 特征权重_07


这里的代数重数实际上就是指的特征值有几重根。而几何重数是指该特征值所对应的特征向量

所构成的空间的维数。几何重数永远小于等于代数重数。如果代数重数是1,那么几何重数跟代

数重数一定是相等的。如果代数重数大于1,那么代数重数可能等于几何重数,也有可能大于几何

重数,这个尝试着求属于特征值的特征向量才能知道。

在上一节课,我们已经复习过了矩阵可对角化的条件。下面我们在矩阵可对角化的基础之上引入Jordan标准形的概念。


lightgbm 特征权重 特征向量与权重的关系_特征值与特征向量_08


其中,


等分别构成了Jordan块。


后来,我发现这个写的不够通俗,我再改一下,借鉴一下徐诚浩编著.高等数学(二):线性代数与概率统计对于Jordan标准形的定义。

对任意n阶矩阵A,必存在n阶可逆矩阵P,使


lightgbm 特征权重 特征向量与权重的关系_重数_09


其中每一个对角块都是Jordan块,


lightgbm 特征权重 特征向量与权重的关系_lightgbm 特征权重_10

声明一下,这个图有点问题,对角线下面没有元素


阶方阵,J中所有


都是矩阵A的特征值。若不计Jordan块


的排序,J是由A唯一确定的,也就是说,A是Jordan块标准形。(这个斜着的一列1也可以写到主对角线下面,但不能既写上面又写下面)


每个n阶的复数矩阵A都与一个Jordan形矩阵相似,这个Jordan形矩阵除去其中Jordan块的排列次序是被矩阵A唯一确定的,它成为矩阵A的Jordan标准型。

该定理是矩阵论的基本定理之一,我们一定要牢牢地记住。


lightgbm 特征权重 特征向量与权重的关系_特征值_11


lightgbm 特征权重 特征向量与权重的关系_lightgbm 特征权重_12


通这个定理我们想要说明的一点是,形成Jordan标准形的矩阵A不不一定要求必须是可对角化的矩阵,只要求A矩阵可逆就行了。A矩阵可逆的充要条件是A不具有零特征值,A的特征值之和等于A的迹。

特征值与特征向量的几何性质

关于线性空间的变换和线性变换,我们曾在第二节进行过详细的描述,这里就不再赘述了。我们直接讨论特征值和特征向量以及与矩阵之间的关系。


lightgbm 特征权重 特征向量与权重的关系_特征值与特征向量_13


lightgbm 特征权重 特征向量与权重的关系_重数_14


lightgbm 特征权重 特征向量与权重的关系_特征值_15


lightgbm 特征权重 特征向量与权重的关系_特征向量_16



则求变换的特征值就转换为矩阵的特征值。


定理:若

是线性变换T的


重特征值,则




这条定理所要表达的意思就是特征值几何重数小于等于代数重数,当Jordan块为1阶的时候取到等号。

定理:设n阶方阵A的谱是

...

,则A可对角化的充要条件是

=


这条定理所说的意思就是A可对角化的充要条件是每个特征值的几何重数等于代数重数。

广义特征值


lightgbm 特征权重 特征向量与权重的关系_特征值_17


显然我们由定义就可以看出来,当B=E的时候,上式就化为A的一般特征值问题,因此广义特征值问题是一般特征值问题的推广。


lightgbm 特征权重 特征向量与权重的关系_特征值与特征向量_18


通过这种方法,广义特征值也可以化为一般特征值,但要求B必须可逆。

另外,在许多实际应用过程中,A和B常常都是Hermite矩阵,虽然


是Hermite矩阵,但是


一般不是Hermite矩阵,对于这个问题,我们一般这样操作:


lightgbm 特征权重 特征向量与权重的关系_lightgbm 特征权重_19


lightgbm 特征权重 特征向量与权重的关系_重数_20


这个证明书上有,我就偷个懒,不写啦。