YZ Sözlüğü
Yapay Zekanın tam sözlüğü
Transformer Autoencoder
Architecture d'autoencoder utilisant des blocs transformer pour encoder et décoder des données en capturant les dépendances à longue distance. Cette approche combine la capacité de reconstruction des autoencoders avec le mécanisme d'attention des transformers.
Masked Autoencoder
Variante d'autoencoder où des parties des données d'entrée sont masquées et doivent être prédites par le modèle. Inspiré de BERT, cette approche encourage l'apprentissage de représentations robustes et contextuelles.
Vision Transformer Autoencoder
Autoencoder spécialisé pour les données images utilisant une architecture transformer avec des patchs d'images comme tokens d'entrée. Capable de capturer les dépendances spatiales à longue distance dans les données visuelles.
Latent Space Representation
Espace compressé de dimensions réduites où les données sont encodées par l'autoencoder, capturant les caractéristiques essentielles. Les autoencoders transformer génèrent des représentations riches et sémantiques dans cet espace.
Pre-training Task
Objectif d'apprentissage spécifique utilisé pour pré-entraîner les autoencoders transformer sur de grandes quantités de données non étiquetées. Généralement basé sur la reconstruction ou la prédiction de tokens masqués.