引言

预备知识

向量是一维的,矩阵是二维的,而张量(tensor)是多维的,向量和矩阵都是数学意义上张量的子集。

线性代数

标量

就是普通的数,只有数值的意义。

向量

向量将标量从零阶推广到一维。

可以视为标量组成的列表。

向量的长度称为向量的维度。

但需要注意的是张量的维度用来表示张量具有的轴数。

矩阵

矩阵将标量从一位推广到二维。

就是有两个轴的张量。

在深度学习中,将每个数据样本作为矩阵中的行向量更为常见。

张量

具有更多轴的数据结构就是张量。

向量是一阶张量,矩阵是二阶张量。

张量算法的基本性质

两个矩阵按照元素相乘就是哈达玛积(Hadamard product),也就是说矩阵 A 中的 n 行 m 列元素与矩阵 B 中的 n 行 m 列元素相乘。

其他与线性代数相同。

降维

求和,求平均值就可以实现降维。

当然也可以调用函数实现非降维求和。

点积