Architecture Transformer

Position-wise Feed-Forward

Réseau neuronal appliqué de manière identique et indépendante à chaque position de la séquence. Transforme les représentations après le mécanisme d'attention en introduisant de la non-linéarité.

← Retour