v1,v2,…,vn 是内积空间的一组向量,Gram 矩阵定义为: Gij=⟨vi,vj⟩,显然其是对称矩阵。
其实对于一个XN⋅d(N 个样本,d 个属性)的样本矩阵而言,X⋅X′ 即为 Gram 矩阵;
1. 基本性质
- 半正定(positive semidefinite)
2. 应用
- 如果 v1,v2,…,vn 分别是随机向量,则 Gram 矩阵是协方差矩阵;
3. 在 ML 中的应用
对于感知机模型(perceptron)的对偶形式:
- 输入:线性可分的数据集 T={(x1,y1),(x2,y2),…,(xN,yN)},其中 xi∈Rn,yi∈{−1,+1} ,学习率为 η,
输出:α,b,感知机模型为 f(x)=sgn(∑j=1Nαjyjxj⋅x+b),显然 α 是长度为 N 的向量;
-
算法:
- (1) α←0,b←0
- (2) 在训练集中选取数据 (xi,yi)
- (3) 如果 yi(∑j=1Nαjyjxj⋅x+b)≤0,
- αi←αi+η
- b←+ηyi
- (4) 转至(2), 直至没有误分类数据;