Słownik AI

📖

pojęcia

Axial Positional Encoding

Méthode d'encodage positionnel décomposant la position bidimensionnelle en encodages unidimensionnels pour les axes. Permet une meilleure généralisation sur des longueurs de séquence non vues pendant l'entraînement.

📖

pojęcia

Chunk-based Processing

Stratégie divisant les longues séquences en segments plus petits traités séquentiellement ou en parallèle avec des mécanismes de communication entre chunks. Permet de contourner les limitations de mémoire des architectures transformer standard.

📖

pojęcia

Hierarchical Transformers

Architecture multi-échelle combinant des transformeurs locaux pour les segments et un transformeur global pour les représentations de segment. Permet de capturer à la fois les détails fins et les dépendances à longue portée efficacement.