读书笔记：矩阵

《动手学深度学习》——线性代数

数学

矩阵

矩阵是一个按照长方阵列排列的复数或实数集合。向量将标量从零阶推广到一阶，矩阵将向量从一阶推广到二阶。

数学中，通常用粗体、大写字母来表示（例如，X、Y和Z）

数学表示法使用$A ∈ R^{m×n}$ 来表示矩阵$A$，其由$m$行和$n$列的实值标量组成。我们可以将任意矩阵$A ∈ R^{m×n}$视 为一个表格，其中每个元素aij属于第i行第j列:

$\mathbf{A}=\begin{bmatrix}a_{11}&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}&\cdots&a_{2n}\\\vdots&\vdots&\ddots&\vdots\\a_{m1}&a_{m2}&\cdots&a_{mn}\end{bmatrix} \mathbf{A}^\top=\begin{bmatrix}a_{11}&a_{21}&\dots&a_{m1}\\a_{12}&a_{22}&\dots&a_{m2}\\\vdots&\vdots&\ddots&\vdots\\a_{1n}&a_{2n}&\dots&a_{mn}\end{bmatrix}$

对于任意 $A ∈ R^{m×n}$，$A$的形状是$（m,n）$或$m × n$。

访问元素

我们可以通过行索引$（i）$和列索引$（j）$来访问矩阵中的标量元素aij，例如$[A]_{ij}$。为了表示起来简单，

只有在必要时才会将逗号插入到单独的索引中，例如$a_{2,3}$

运算

转置（transpose）

当我们交换矩阵的行和列时，结果称为矩阵的转置（transpose）。

通常用$a^⊤$来表示矩阵的转置，如果$B = A^⊤$， 则对于任意i和j，都有$b_{ij} = a_{ji}$。

哈达玛积(Hadamard积)

两个矩阵的按元素乘法称为Hadamard积（Hadamard product）（数学符号⊙）。

$\mathbf{A}\odot\mathbf{B}=\begin{bmatrix}a_{11}b_{11}&a_{12}b_{12}&\dots&a_{1n}b_{1n}\\a_{21}b_{21}&a_{22}b_{22}&\dots&a_{2n}b_{2n}\\\vdots&\vdots&\ddots&\vdots\\a_{m1}b_{m1}&a_{m2}b_{m2}&\dots&a_{mn}b_{mn}\end{bmatrix}.$

矩阵向量积

矩阵乘积

$A=\left[\begin{array}{lll} a_{1,1} & a_{1,2} & a_{1,3} \\a_{2,1} & a_{2,2} & a_{2,3}\end{array}\right]$

$B=\begin{bmatrix}b_{1,1}&b_{1,2}\\b_{2,1}&b_{2,2}\\b_{3,1}&b_{3,2}\end{bmatrix}$

$C=AB=\begin{bmatrix}a_{1,1}b_{1,1}+a_{1,2}b_{2,1}+a_{1,3}b_{3,1},&a_{1,1}b_{1,2}+a_{1,2}b_{2,2}+a_{1,3}b_{3,2}\\\\\\a_{2,1}b_{1,1}+a_{2,2}b_{2,1}+a_{2,3}b_{3,1},&a_{2,1}b_{1,2}+a_{2,2}b_{2,2}+a_{2,3}b_{3,2}\end{bmatrix}$

特殊矩阵

方阵

当矩阵具有相同数量的行和列时，其形状将变为正方形；因此，它被称为方阵（square matrix）

对称矩阵（symmetric matrix）

作为方阵的一种特殊类型，对称矩阵。A等于其转置：$A = A^⊤$。

编程

矩阵在代码中表示为具有两个轴的张量。

矩阵

A = torch.arange(20).reshape(5, 4)
B = torch.tensor([[1, 2, 3], [2, 0, 4], [3, 4, 5]])
A, B

输出

(tensor([[ 0,  1,  2,  3],
         [ 4,  5,  6,  7],
         [ 8,  9, 10, 11],
         [12, 13, 14, 15],
         [16, 17, 18, 19]]),
 tensor([[1, 2, 3],
         [2, 0, 4],
         [3, 4, 5]]))

转置

B.T

输出

tensor([[1, 2, 3],
        [2, 0, 4],
        [3, 4, 5]])