Cross-Attention

Cross-Attention Memory Complexity

Complexité en mémoire O(n²) pour sequences de longueur n et m, constituant le principal goulot d'étranglement des transformeurs.

← Tillbaka