Hadamard乘积， $s \odot t$

反向传播算法基本上使用一些常用的线性代数运算——如向量加法，向量乘矩阵等等。但有一个运算不是那么常用。假设$s$和$t$是两个有相同维度的向量。然后我们用$s \odot t$表示两个向量元素间的乘积。例如：

$\begin{eqnarray} \left[\begin{array}{c} 1 \\ 2 \end{array}\right] \odot \left[\begin{array}{c} 3 \\ 4\end{array} \right] = \left[ \begin{array}{c} 1 * 3 \\ 2 * 4 \end{array} \right] = \left[ \begin{array}{c} 3 \\ 8 \end{array} \right]. \tag{28} \end{eqnarray}$

这种元素间的乘法有时被称为Hadamard乘积或Schur乘积。我们将称其为Hadamard乘积。优秀的矩阵库通常都提供Hadamard乘积的快速实现，在实现反向传播的时候非常便利。