线性代数
矩阵和向量积
- numpy.dot(a, b[, out])计算两个矩阵的乘积,如果是一维数组则是它们的内积
特征值和特征向量
- numpy.linalg.eig(a) 计算方阵的特征值和特征向量。
- numpy.linalg.eigvals(a) 计算方阵的特征值。
- 例: 求方阵的特征值和特征向量
import numpy as np
# 创建一个对角矩阵!
x = np.diag((1, 2, 3))
print(x)
print(np.linalg.eigvals(x))
a, b = np.linalg.eig(x)
# 特征值保存在a中,特征向量保存在b中
print(a)
print(b)
# 检验特征值与特征向量是否正确
for i in range(3):
if np.allclose(a[i] * b[:, i], np.dot(x, b[:, i])):
print('Right')
else:
print('Error')
[[1 0 0]
[0 2 0]
[0 0 3]]
[1. 2. 3.]
[1. 2. 3.]
[[1. 0. 0.]
[0. 1. 0.]
[0. 0. 1.]]
Right
Right
Right
矩阵分解
奇异值分解
- svd的原理类似于主成分分析,但是主成分分析只能针对方阵,而svd可以针对所有矩阵进行
- 过滤了一些噪声,加快运算
- 我这里不详细 怎么计算的,我讲一下大概u是 的特征向量,v是 的特征向量, 是特征值的排序后开根号
- u, s, v = numpy.linalg.svd(a, full_matrices=True, compute_uv=True, hermitian=False)奇异值分解
- a 是一个形如(M,N)矩阵
- full_matrices的取值是为False或者True,默认值为True,这时u的大小为(M,M),v的大小为(N,N)。否则u的大小为(M,K),v的大小为(K,N) ,K=min(M,N)。
- compute_uv的取值是为False或者True,默认值为True,表示计算u,s,v。为False的时候只计算s。
- 总共有三个返回值u,s,v,u大小为(M,M),s大小为(M,N),v大小为(N,N),a = usv。
- 其中s是对矩阵a的奇异值分解。s除了对角元素不为0,其他元素都为0,并且对角元素从大到小排列。s中有n个奇异值,一般排在后面的比较接近0,所以仅保留比较大的r个奇异值。 注:Numpy中返回的v是通常所谓奇异值分解a=usv'中v的转置。
- 举例子:
import numpy as np
A = np.array([[1, 1], [1, -2], [2, 1]])
print(A)
# [[ 1 1]
# [ 1 -2]
# [ 2 1]]
u, s, vh = np.linalg.svd(A, full_matrices=False)
print(u.shape) # (3, 2)
print(u)
# [[-5.34522484e-01 -1.11022302e-16]
# [ 2.67261242e-01 -9.48683298e-01]
# [-8.01783726e-01 -3.16227766e-01]]
print(s.shape) # (2,)
print(np.diag(s))
# [[2.64575131 0. ]
# [0. 2.23606798]]
print(vh.shape) # (2, 2)
print(vh)
# [[-0.70710678 -0.70710678]
# [-0.70710678 0.70710678]]
a = np.dot(u, np.diag(s))
a = np.dot(a, vh)
print(a)
# [[ 1. 1.]
# [ 1. -2.]
# [ 2. 1.]]
QR分解
- q,r = numpy.linalg.qr(a, mode='reduced')计算矩阵a的QR分解。
- a是一个(M, N)的待分解矩阵。
- mode = reduced:返回(M, N)的列向量两两正交的矩阵q,和(N, N)的三角阵r(Reduced QR分解)。
- mode = complete:返回(M, M)的正交矩阵q,和(M, N)的三角阵r(Full QR分解)。
- 对于n阶方阵A,若存在正交矩阵Q和上三角矩阵R,使得A = QR,则该式称为矩阵A的完全QR分解或正交三角分解
- 对于非方阵的mn(m≥n)阶矩阵A也可能存在QR分解的,A = QR。这时Q为mn阶的半正交矩阵,R为n*n阶上三角矩阵。这时的QR分解不是完整的(方阵),因此称为约化QR分解(对于列满秩矩阵A必存在约化QR分解)。
Cholesky分解
- L = numpy.linalg.cholesky(a) 返回正定矩阵a的 Cholesky 分解a = L*L.T,其中L是下三角
范数
矩阵范数
- numpy.linalg.norm(x, ord=None, axis=None, keepdims=False) 计算向量或者矩阵的范数。
方阵的行列式
- numpy.linalg.det(a) 计算行列式
- 举例子
x = np.array([[1, 2], [3, 4]])
print(x)
# [[1 2]
# [3 4]]
print(np.linalg.det(x))
# -2.0000000000000004
矩阵的秩
- numpy.linalg.matrix_rank(M, tol=None, hermitian=False) 返回矩阵的秩。
矩阵的迹
- numpy.trace(a, offset=0, axis1=0, axis2=1, dtype=None, out=None) 方阵的迹就是主对角元素之和。
## 解方程
### 逆矩阵(inverse matrix)
- numpy.linalg.inv(a) 计算矩阵a的逆矩阵(矩阵可逆的充要条件:det(a) != 0,或者a满秩)
import numpy as np
A = np.array([[1, -2, 1], [0, 2, -1], [1, 1, -2]])
print(A)
# [[ 1 -2 1]
# [ 0 2 -1]
# [ 1 1 -2]]
# 求A的行列式,不为零则存在逆矩阵
A_det = np.linalg.det(A)
print(A_det)
# -2.9999999999999996
A_inverse = np.linalg.inv(A) # 求A的逆矩阵
print(A_inverse)
# [[ 1.00000000e+00 1.00000000e+00 -1.11022302e-16]
# [ 3.33333333e-01 1.00000000e+00 -3.33333333e-01]
# [ 6.66666667e-01 1.00000000e+00 -6.66666667e-01]]
x = np.allclose(np.dot(A, A_inverse), np.eye(3))
print(x) # True
x = np.allclose(np.dot(A_inverse, A), np.eye(3))
print(x) # True
A_companion = A_inverse * A_det # 求A的伴随矩阵
print(A_companion)
# [[-3.00000000e+00 -3.00000000e+00 3.33066907e-16]
# [-1.00000000e+00 -3.00000000e+00 1.00000000e+00]
# [-2.00000000e+00 -3.00000000e+00 2.00000000e+00]]
求解线性方程组
矩阵的逆
- numpy.linalg.inv(a) 计算矩阵a的逆矩阵(矩阵可逆的充要条件:det(a) != 0,或者a满秩)
方程求解
- numpy.linalg.solve(a, b) 求解线性方程组或矩阵方程。
- 解决的方程形式是:aX=b
- 【例】求解线性矩阵方程
# x + 2y + z = 7
# 2x - y + 3z = 7
# 3x + y + 2z =18
import numpy as np
A = np.array([[1, 2, 1], [2, -1, 3], [3, 1, 2]])
b = np.array([7, 7, 18])
x = np.linalg.solve(A, b)
print(x) # [ 7. 1. -2.]
x = np.linalg.inv(A).dot(b)
print(x) # [ 7. 1. -2.]
y = np.allclose(np.dot(A, x), b)
print(y) # True
练习
求两个数组之间的欧式距离
a = np.array([1, 2, 3, 4, 5])
b = np.array([4, 5, 6, 7, 8])
print(np.linalg.norm(a-b))
6.708203932499369
计算矩阵的行列式和矩阵的逆
x = np.diag([5,5,5,5,5])
print(np.linalg.det(x))
print(np.linalg.inv(x))
3124.999999999999
[[ 0.2 0. 0. 0. 0. ]
[ 0. 0.2 0. 0. 0. ]
[ 0. 0. 0.2 0. 0. ]
[-0. -0. -0. 0.2 -0. ]
[ 0. 0. 0. 0. 0.2]]
求方程
import numpy as np
A=np.array([[1, -2, 1],[0 ,2 ,-8],[-4, 5 ,9]])
b=np.array([0,8,-9])
print(np.linalg.solve(A,b))
[29. 16. 3.]
特征值特征向量
A=np.array([[4,-1,1],[-1,3,-2],[1,-2,3]])
x,y = np.linalg.eig(A)
print(x)
print(y)
[3. 6. 1.]
[[-8.16496581e-01 -5.77350269e-01 3.89855447e-17]
[-4.08248290e-01 5.77350269e-01 7.07106781e-01]
[ 4.08248290e-01 -5.77350269e-01 7.07106781e-01]]