Attention Sparse

Sparsemax

Fonction d'activation alternative à softmax produisant des distributions de probabilités sparses avec zéros explicites, idéale pour l'attention sélective.

← Tillbaka