Глоссарий ИИ
Полный словарь искусственного интеллекта
Curiosity-Driven RL
Approche d'apprentissage par renforcement où l'agent génère des récompenses intrinsèques basées sur sa curiosité pour encourager l'exploration d'environnements complexes avec des récompenses extrinsèques rares.
Intrinsic Motivation
Mécanisme psychologique computationnel qui pousse un agent à agir pour satisfaire des besoins internes comme la curiosité, plutôt que pour des récompenses externes spécifiques à la tâche.
Prediction Error
Mesure de la différence entre les prédictions d'un modèle de l'environnement et les observations réelles, utilisée comme signal de curiosité pour encourager l'exploration des états inattendus.
Intrinsic Curiosity Module (ICM)
Architecture neurale composée de modèles de dynamique directe et inverse qui génère des récompenses intrinsèques basées sur l'incertitude de prédiction pour guider l'exploration.
Random Network Distillation (RND)
Méthode d'exploration où un réseau neuronal fixe et aléatoire est utilisé comme cible pour un réseau prédicteur, l'erreur de prédiction servant de récompense intrinsèque pour les états novateurs.
Count-Based Exploration
Stratégie d'exploration qui attribue des bonus de curiosité inversement proportionnels à la fréquence de visiteation des états, encourageant ainsi la découverte de régions moins explorées.
Pseudo-counts
Estimation approximative des fréquences de visiteation d'états dans des espaces continus ou de grande dimension, utilisée pour implémenter des bonus de curiosité basés sur le comptage.
Empowerment
Mesure informationnelle quantifiant le contrôle qu'un agent exerce sur son environnement, maximisée pour encourager des comportements exploratoires augmentant l'influence de l'agent.
Information Gain
Количество новой информации, полученной агентом об окружении, используемое как внутренний сигнал для направления исследования к наиболее информативным областям.
Episodic Curiosity
Подход любопытства, основанный на кратковременной памяти, где агент мотивирован посещать состояния, отличные от тех, что были недавно наблюдаемы в текущем эпизоде.
Variational Information Maximization Exploration (VIME)
Метод исследования, который максимизирует взаимную информацию между параметрами модели и будущими наблюдениями, используя байесовские подходы для количественной оценки неопределенности.
State Visitation Count
Счётчик количества раз, когда конкретное состояние было посещено, используемый для вычисления бонусов исследования, которые способствуют обнаружению редких или неисследованных состояний.
Curiosity-Driven Exploration
Парадигма исследования, где агент направляется внутренними вознаграждениями, основанными на новизне или удивлении, а не предопределенными случайными стратегиями исследования.
Lifelong Curiosity
Способность агента поддерживать исследовательскую мотивацию в течение длительных периодов, постоянно адаптируя свое поведение для открытия новых знаний в изменяющихся средах.
Novelty Detection
Процесс идентификации наблюдений или состояний, значительно отличающихся от прошлого опыта, служащий основой для генерации сигналов любопытства.
Go-Explore
Алгоритм исследования, который явно запоминает посещенные состояния с соответствующими траекториями, а затем систематически исследует от этих опорных точек для обнаружения новых областей.