KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
Axial Positional Encoding
Méthode d'encodage positionnel décomposant la position bidimensionnelle en encodages unidimensionnels pour les axes. Permet une meilleure généralisation sur des longueurs de séquence non vues pendant l'entraînement.
Chunk-based Processing
Stratégie divisant les longues séquences en segments plus petits traités séquentiellement ou en parallèle avec des mécanismes de communication entre chunks. Permet de contourner les limitations de mémoire des architectures transformer standard.
Hierarchical Transformers
Architecture multi-échelle combinant des transformeurs locaux pour les segments et un transformeur global pour les représentations de segment. Permet de capturer à la fois les détails fins et les dépendances à longue portée efficacement.