Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Curiosity-Driven RL
Approche d'apprentissage par renforcement où l'agent génère des récompenses intrinsèques basées sur sa curiosité pour encourager l'exploration d'environnements complexes avec des récompenses extrinsèques rares.
Intrinsic Motivation
Mécanisme psychologique computationnel qui pousse un agent à agir pour satisfaire des besoins internes comme la curiosité, plutôt que pour des récompenses externes spécifiques à la tâche.
Prediction Error
Mesure de la différence entre les prédictions d'un modèle de l'environnement et les observations réelles, utilisée comme signal de curiosité pour encourager l'exploration des états inattendus.
Intrinsic Curiosity Module (ICM)
Architecture neurale composée de modèles de dynamique directe et inverse qui génère des récompenses intrinsèques basées sur l'incertitude de prédiction pour guider l'exploration.
Random Network Distillation (RND)
Méthode d'exploration où un réseau neuronal fixe et aléatoire est utilisé comme cible pour un réseau prédicteur, l'erreur de prédiction servant de récompense intrinsèque pour les états novateurs.
Count-Based Exploration
Stratégie d'exploration qui attribue des bonus de curiosité inversement proportionnels à la fréquence de visiteation des états, encourageant ainsi la découverte de régions moins explorées.
Pseudo-counts
Estimation approximative des fréquences de visiteation d'états dans des espaces continus ou de grande dimension, utilisée pour implémenter des bonus de curiosité basés sur le comptage.
Empowerment
Mesure informationnelle quantifiant le contrôle qu'un agent exerce sur son environnement, maximisée pour encourager des comportements exploratoires augmentant l'influence de l'agent.
Information Gain
Quantité d'information nouvelle acquise par l'agent sur l'environnement, utilisée comme signal intrinsèque pour diriger l'exploration vers les régions les plus informatives.
Episodic Curiosity
Approche de curiosité basée sur la mémoire à court terme où l'agent est motivé à visiter des états différents de ceux récemment observés dans l'épisode courant.
Variational Information Maximization Exploration (VIME)
Méthode d'exploration qui maximise l'information mutuelle entre les paramètres du modèle et les observations futures, utilisant des approches bayésiennes pour quantifier l'incertitude.
State Visitation Count
Compteur du nombre de fois qu'un état particulier a été visité, utilisé pour calculer des bonus d'exploration qui favorisent la découverte d'états rares ou inexplorés.
Curiosity-Driven Exploration
Paradigme d'exploration où l'agent est guidé par des récompenses intrinsèques basées sur la nouveauté ou la surprise, plutôt que par des stratégies d'exploration aléatoires prédéfinies.
Lifelong Curiosity
Capacité d'un agent à maintenir une motivation exploratoire sur de longues périodes, adaptant continuellement ses comportements pour découvrir de nouvelles connaissances dans des environnements changeants.
Novelty Detection
Processus d'identification d'observations ou d'états significativement différents des expériences passées, servant de base pour générer des signaux de curiosité.
Go-Explore
Algorithme d'exploration qui mémorise explicitement les états visités avec les trajectoires correspondantes, puis explore systématiquement depuis ces points d'ancrage pour découvrir de nouvelles régions.