Leaky ReLU 有利于压低负数对结局的影响。
输入向量
h
i
h_i
hi?乘上权重矩阵W得到对应的向量
h
i
?
h_i^*
hi??,并将
h
i
?
h_i^*
hi??计算出对应的
a
i
a_i
ai?,从而得到最终对结果向量的贡献。
所以有
h
=
∑
i
h
i
?
?
a
i
h = \sum_i{h_i^{*}*a_i}
h=∑i?hi???ai?