Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
RoBERTa (A Robustly Optimized BERT Pretraining Approach)
Version optimisée de BERT qui modifie les hyperparamètres d'entraînement et supprime la tâche de prédiction de la phrase suivante (Next Sentence Prediction), résultant en de meilleures performances sur de nombreuses tâches NLU.
Tâche Aval (Downstream Task)
Tâche d'apprentissage automatique spécifique (comme la NER, la classification de texte, etc.) pour laquelle un modèle pré-entraîné est adapté via le fine-tuning.
Tête de Classification (Classification Head)
Couche finale ajoutée à un modèle pré-entraîné lors du fine-tuning, spécifiquement conçue pour mapper les représentations contextuelles aux sorties d'une tâche de classification ou d'étiquetage de séquences.
Étiquetage de Séquences (Sequence Labeling)
Type de tâche NLP où chaque token d'une séquence d'entrée se voit attribuer une étiquette, comme dans la NER où les tokens sont étiquetés comme faisant partie d'une entité ou non.
Schéma d'Étiquetage BIO
Convention d'étiquetage pour la NER où chaque token est marqué comme Beginning (début d'une entité), Inside (à l'intérieur d'une entité) ou Outside (en dehors d'une entité), pour gérer les entités multi-tokens.
Masquage de Langage (Masked Language Modeling)
Objectif de pré-entraînement utilisé pour les modèles comme BERT, où un certain pourcentage de tokens d'entrée est masqué et le modèle apprend à les prédire en se basant sur le contexte.
Hugging Face Transformers
Bibliothèque open-source qui fournit des milliers de modèles pré-entraînés (BERT, RoBERTa, etc.) pour le traitement du langage naturel, facilitant leur utilisation et leur fine-tuning.
Score F1 (F1-Score)
Métrique d'évaluation qui représente la moyenne harmonique de la précision (precision) et du rappel (recall), offrant un équilibre entre les deux pour mesurer la performance d'un modèle de classification.