एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
ALBERT
Version allégée de BERT réduisant significativement les paramètres grâce au partage des embeddings et à la factorisation matricielle des couches. Maintient des performances compétitives tout en étant plus efficace en termes de mémoire.
ELECTRA
Architecture de pré-entraînement efficiente remplaçant le masked language modeling par le remplacement de tokens corrompus. Utilise un discriminateur qui identifie les tokens remplacés, permettant un entraînement plus rapide et plus performant.
ERNIE
Modèle chinois intégrant des connaissances structurées et hiérarchiques dans l'architecture Transformer base. Masque simultanément les mots, entités et phrases pour capturer des sémantiques multi-niveaux.
BART
Architecture Transformer bidirectionnelle et autorégressive combinant les avantages de BERT et GPT. Utilise un encodeur-décodeur avec corruption de texte pour le pré-entraînement, excellent pour les tâches de génération.
Funnel Transformers
Architecture hiérarchique réduisant progressivement la longueur des séquences à travers les couches tout en préservant l'information importante. Économise significativement la mémoire computationnelle pour les longues séquences.
DeBERTa
Amélioration de BERT intégrant le décodage amélioré avec attention au contenu et position décomposés. Utilise un mécanisme d'attention disentangled et un masquage de taille amélioré pour de meilleures performances.
TinyBERT
Version ultra-compacte de BERT réduisant les paramètres jusqu'à 7.5 fois tout en maintenant des performances élevées. Applique la distillation bidirectionnelle et une attention multi-niveaux pour la compression.
CamemBERT
Version française de BERT pré-entraînée sur 138GB de texte français. Maintient l'architecture BERT originale mais est spécialisée pour la compréhension et le traitement du français.
FlauBERT
Modèle de langage français basé sur Transformer avec un pré-entraînement progressif utilisant des corpus de plus en plus grands. Intègre des spécificités linguistiques du français pour des performances optimales.
XLM-RoBERTa
Version multilingue de RoBERTa pré-entraînée sur 100 langues utilisant Common Crawl massive dataset. Surpasse XLM et mBERT grâce à un pré-entraînement amélioré et une meilleure gestion des langues à faibles ressources.
Sentence-BERT
Modification de BERT optimisée pour l'encodage de phrases entières en vecteurs sémantiques. Utilise les réseaux siameses et triples pour produire des embeddings pertinents pour la similarité sémantique.
VideoBERT
Extension multimodale de BERT apprenant les représentations vidéo-texte jointes. Effectue le pré-entraînement sur des tokens visuels et linguistiques pour la compréhension vidéo.
Controlled BERT
Variante de BERT permettant de contrôler les attributs de style lors de la génération de texte. Intègre des contrôleurs dans l'architecture pour moduler les caractéristiques linguistiques souhaitées.