transformers

什么是 Transformers? 这看起来很恐怖,不是吗?如果我告诉您所有这些都可以归结为一个公式,是不是就简单一些了? Attention(Q, K, V) = ∑ᵢ (Similarity (Q, Kᵢ) * Vᵢ) 是的, 上图的复杂体系结构所做的一切,都是为了确保此公式正常运行。那么这些Q,K和V是什么?这些不同类型的注意力是什么?让我们深入研究!我们将采用自下而上的方法。...

通俗的来讲，transformer其实就是一个特征提取器，输入数据经过transformer提取特征然后输出出来就可以了。通过transformer可以将一些特征不突出的信息通过提取，生成有突出点的信息。 transformer的结构总体封起来就是一个大盒子，这个大盒子分成两个功能块，一部分叫做encoder，另一部分叫做decoder。 其实encoder功能块就是抽取特征的...