引言
预备知识
向量是一维的,矩阵是二维的,而张量(tensor)是多维的,向量和矩阵都是数学意义上张量的子集。
线性代数
标量
就是普通的数,只有数值的意义。
向量
向量将标量从零阶推广到一维。
可以视为标量组成的列表。
向量的长度称为向量的维度。
但需要注意的是张量的维度用来表示张量具有的轴数。
矩阵
矩阵将标量从一位推广到二维。
就是有两个轴的张量。
在深度学习中,将每个数据样本作为矩阵中的行向量更为常见。
张量
具有更多轴的数据结构就是张量。
向量是一阶张量,矩阵是二阶张量。
张量算法的基本性质
两个矩阵按照元素相乘就是哈达玛积(Hadamard product),也就是说矩阵 A 中的 n 行 m 列元素与矩阵 B 中的 n 行 m 列元素相乘。
其他与线性代数相同。
降维
求和,求平均值就可以实现降维。
当然也可以调用函数实现非降维求和。