AI Glossary

📖

terms

Pyramid Vision Transformer

Architecture hiérarchique de transformeur qui génère des feature maps à différentes échelles similaires aux CNN traditionnels. Combine les avantages des transformeurs avec la structure pyramidale pour les tâches de détection et segmentation.

📖

terms

MAE (Masked Autoencoder)

Approche de pré-entraînement self-supervised où des patches aléatoires de l'image sont masqués et le modèle doit les reconstruire. Permet d'apprendre des représentations riches sans nécessiter de labels supervisés.

📖

terms

Token Dropping

Technique d'optimisation qui supprime dynamiquement des tokens redondants ou peu informatifs pendant l'inférence. Réduit le coût computationnel tout en maintenant les performances du modèle.