1. 基本等式
-
定义式:
xTAx=∑i,jxixjAij -
化简
(wTx−wTm)2=wT(x−m)(x−m)Tw=wTAw简单证明如下:
(wTx−wTm)2=(wTx)(wTx)+(wTm)(wTm)−2wTxwTm=wTxxTw−2wTxmTw+wTmmTw=wT(x−m)(x−m)Tw=wTAw
2. 性质
-
xTWy=yTWx
代码证明
x = np.random.rand(3) W = np.random.rand(3, 4) y = np.random.rand(4) x.dot(W.dot(y)) y.dot((W.T).dot(x)) # 两者是相等的;
理论证明:
xTWy====∣∣∣∑ixiWi1∑ixiWi2⋯∑ixiWin∣∣∣⋅y∑jyj(∑ixiWij)∑ijxiWijyj=∑ijyj(W′)jixiyTWx显然有,Aij=(A′)ji
3. 二次型是标量
就像行列式是标量一样;
比如对于主成分分析 PCA 的推导而言,S 为数据的协方差矩阵,则有:
4. 梯度计算
求 ∇xJ。应用求导数的链式法则,J=f(x)THf(x),所以有: