एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
Modèle de Dynamique
Un modèle appris par l'agent qui prédit l'évolution de l'environnement, c'est-à-dire le prochain état ou la prochaine observation étant donné l'état actuel et l'action entreprise. La qualité de ce modèle est centrale pour l'apprentissage par curiosité model-based.
Module de Curiosité Intrinsèque (ICM)
Une architecture de réseau de neurones spécifique qui combine un module de prédiction de l'état suivant dans un espace de caractéristiques et un module inverse pour prédire l'action. L'erreur de prédiction du module avant est utilisée comme récompense intrinsèque.
Exploration par Curiosité
Une stratégie d'exploration où un agent est motivé à visiter des états de l'environnement qui maximisent son apprentissage, mesuré par des signaux internes comme l'erreur de prédiction. L'agent cherche activement ce qu'il ne sait pas.
Problème de la Télévision Aléatoire
Un défi majeur en apprentissage par curiosité où un agent peut être obsédé par des sources d'entropie imprévisibles mais inutiles, comme un écran de statique télévisuel. Cela conduit à une récompense intrinsèque élevée sans apprentissage significatif sur la dynamique de l'environnement.
Espace des États Latents
Une représentation compressée et abstraite de l'environnement, apprise par un réseau de neurones, dans laquelle le modèle de dynamique apprend à prédire. Travailler dans cet espace réduit la complexité et aide à se concentrer sur les caractéristiques pertinentes pour la prédiction.
Façonnage de la Récompense Intrinsèque
Le processus de conception et de pondération du signal de récompense intrinsèque, souvent en le combinant avec la récompense extrinsèque de la tâche. Un bon façonnage est crucial pour équilibrer exploration et exploitation.
Apprentissage du Modèle
Le processus par lequel un agent de MBRL améliore son modèle de dynamique en interagissant avec l'environnement. Ce processus est itératif : le modèle est utilisé pour explorer, et les nouvelles données collectées servent à affiner le modèle.
Surprise Modale
Un concept désignant une situation où l'expérience de l'agent contredit les attentes de son modèle interne du monde. Dans les systèmes model-based, la surprise est directement mesurée par l'erreur de prédiction du modèle.
भविष्यवाणी नेटवर्क
गतिशीलता मॉडल का तंत्रिका घटक जो अगले लेटेंट स्थिति की भविष्यवाणी उत्पन्न करने के लिए जिम्मेदार है। इसका प्रदर्शन, जो हानि फलन द्वारा मूल्यांकन किया जाता है, सीधे जिज्ञासा संकेत को निर्धारित करता है।
अंतःस्थ प्रबलन सीखने का ढांचा
प्रबलन सीखने के लिए एक सामान्य संरचना जहां एजेंट की उद्देश्य फलन एक बाह्य पुरस्कार (कार्य से संबंधित) और एक अंतःस्थ पुरस्कार (अन्वेषण से संबंधित) का भारित योग है।
वैरिएशनल इंफॉर्मेशन मैक्सिमाइजेशन (VIME) द्वारा अन्वेषण
एक औपचारिक विधि जो वातावरण मॉडल के मापदंडों पर प्राप्त जानकारी को अधिकतम करने के लिए वैरिएशनल अनुमान का उपयोग करती है। यह सैद्धांतिक रूप से अच्छी तरह से स्थापित जिज्ञासा माप प्रदान करती है जो कुछ चुनौतियों से बचाता है।
जिज्ञासा सीमा
एक तंत्र या सैद्धांतिक बाधा जिसका उद्देश्य एजेंट की जिज्ञासा को सीमित करना है ताकि उसे वातावरण के उन पहलुओं की ओर निर्देशित किया जा सके जो अज्ञात और नियंत्रणीय/सीखने योग्य दोनों हैं। यह यादृच्छिक टेलीविजन समस्या को कम करने में मदद करता है।