定义:

內积(点积):如果

二次线性回归交叉熵损失函数_线性代数


二次线性回归交叉熵损失函数_对称矩阵_02


二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_03


二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_04

矩阵定义它们的点积

二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_05

,我们将其记为一个不加括号的实数(类比两向量相乘)

向量的长度:类比向量的模,即为向量的长度

向量

二次线性回归交叉熵损失函数_线性代数


二次线性回归交叉熵损失函数_对称矩阵_02

之间的距离

二次线性回归交叉熵损失函数_特征值_08


正交向量:如果

二次线性回归交叉熵损失函数_对称矩阵_09

,则两个向量

二次线性回归交叉熵损失函数_线性代数


二次线性回归交叉熵损失函数_对称矩阵_02

是正交的

正交补:与子空间W正交的向量

二次线性回归交叉熵损失函数_对称矩阵_12

的全体组成的集合成称为W的正交补,记作

二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_13


正交集

二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_03

中的向量集合

二次线性回归交叉熵损失函数_线性代数_15

称为正交向量集,如果集合中的任意两个不同向量都正交

单位正交集:如果一个正交集是由单位向量构成,称为单位正交集

正交投影:类似于一个矢量在一个方向上的分量,记为

二次线性回归交叉熵损失函数_线性代数-二次型_16


正交矩阵:一个正交矩阵

二次线性回归交叉熵损失函数_线性代数-二次型_17

是一个可逆的方阵,且满足

二次线性回归交叉熵损失函数_线性代数_18


正交对角化:如果存在一个正交矩阵

二次线性回归交叉熵损失函数_线性代数-二次型_19

(满足

二次线性回归交叉熵损失函数_特征值_20

)和一个对角矩阵

二次线性回归交叉熵损失函数_特征值_21

使得:

二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_22

那么

二次线性回归交叉熵损失函数_特征值_23

称为可正交对角化

二次型

二次线性回归交叉熵损失函数_对称矩阵_24

上的一个二次型是一个定义在

二次线性回归交叉熵损失函数_对称矩阵_24

上的函数,它在向量

二次线性回归交叉熵损失函数_线性代数_26

处的值可由表达式

二次线性回归交叉熵损失函数_线性代数_27

计算,此处

二次线性回归交叉熵损失函数_特征值_23

是一个

二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_29

对称矩阵,且矩阵

二次线性回归交叉熵损失函数_特征值_23

称为关于二次型的矩阵定理:

两个向量

二次线性回归交叉熵损失函数_线性代数


二次线性回归交叉熵损失函数_对称矩阵_02

是正交的充要条件是

二次线性回归交叉熵损失函数_线性代数-二次型_33


假设

二次线性回归交叉熵损失函数_特征值_23


二次线性回归交叉熵损失函数_线性代数-二次型_35

矩阵,那么

二次线性回归交叉熵损失函数_特征值_23

的行向量空间的正交补空间是

二次线性回归交叉熵损失函数_特征值_23

的零空间,且

二次线性回归交叉熵损失函数_特征值_23

的列向量空间的正交补是

二次线性回归交叉熵损失函数_特征值_39

的零空间

二次线性回归交叉熵损失函数_特征值_40


二次线性回归交叉熵损失函数_线性代数_41


一个

二次线性回归交叉熵损失函数_线性代数-二次型_35

矩阵

二次线性回归交叉熵损失函数_线性代数-二次型_17

具有单位正交列向量的充要条件是

二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_44

一个

二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_29

矩阵

二次线性回归交叉熵损失函数_特征值_23

可正交对角化的充要条件是

二次线性回归交叉熵损失函数_特征值_23

是对称矩阵


二次线性回归交叉熵损失函数_特征值_23

是一个

二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_29

对称矩阵,那么存在一个正交变量变换

二次线性回归交叉熵损失函数_对称矩阵_50

,它将二次型

二次线性回归交叉熵损失函数_线性代数_51

变换为不含交叉项的二次型

二次线性回归交叉熵损失函数_对称矩阵_52

,矩阵

二次线性回归交叉熵损失函数_线性代数-二次型_19

的列称为二次型

二次线性回归交叉熵损失函数_线性代数_51

主轴


二次线性回归交叉熵损失函数_特征值_23

是一个

二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_29

对称矩阵,那么一个二次型是:

正定的:对所有的

二次线性回归交叉熵损失函数_线性代数_57


二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_58

,当且仅当

二次线性回归交叉熵损失函数_特征值_23

的所有特征值是正数

负定的:对所有的

二次线性回归交叉熵损失函数_线性代数_57

,

二次线性回归交叉熵损失函数_对称矩阵_61

,当且仅当

二次线性回归交叉熵损失函数_特征值_23

的所有特征值是负数

不定的:对所有的

二次线性回归交叉熵损失函数_线性代数_57

,

二次线性回归交叉熵损失函数_特征值_64

既有正值也有负值,当且仅当

二次线性回归交叉熵损失函数_特征值_23

的特征值既有正数,也有负数

格拉姆——施密特正交化的意义:
首先选取一个向量作为基中的一个向量,以后的每一步都是选定的向量减去在已选定向量上的投影,因此,每一次算出来的向量与原来所有向量都是正交的,最后将其单位化,即可得到单位正交基

主轴的意义:

二次线性回归交叉熵损失函数_二次线性回归交叉熵损失函数_66

中所有满足

二次线性回归交叉熵损失函数_对称矩阵_67

(c是一个常数)的所有x的集合对应一个椭圆(圆)、双曲线、两条相交直线、单个点或不含任意点,如果

二次线性回归交叉熵损失函数_特征值_23

是一个对角矩阵,那么x的集合是标准位置,如果

二次线性回归交叉熵损失函数_特征值_23

不是对称矩阵,那么x的集合就是标准位置的旋转,找到主轴(由

二次线性回归交叉熵损失函数_特征值_23

的特征向量决定)等同于找到一个新的坐标系统,在该系统下其图形是标准位置的图形!

二次线性回归交叉熵损失函数_特征值_71

线性代数的主要内容到此基本结束,如果感兴趣的话,当然还有更多的扩展内容,例如矩阵的LU分解,QR分解,SVD分解等等,考虑到考研中并不涉及到这部分,而且时间有限,只能割爱

祝愿大家能够在线性代数中得到更多的快乐

二次线性回归交叉熵损失函数_对称矩阵_72