Glosario IA
El diccionario completo de la Inteligencia Artificial
Apprentissage par Renforcement Inverse à partir de Préférences
Variante de l'IRL qui déduit la fonction de récompense en analysant les préférences humaines exprimées par des comparaisons entre différentes trajectoires ou comportements.
Comparaisons de Trajectoires
Processus d'évaluation où un humain compare deux ou plusieurs séquences d'actions pour exprimer une préférence, servant de signal d'apprentissage pour l'agent.
Fonction de Récompense Inférée
Fonction mathématique déduite algorithmiquement à partir des préférences humaines, quantifiant la désirabilité relative des états ou actions dans l'environnement.
Modèle de Préférence Bradley-Terry
Modèle probabiliste paramétrique qui prédit la probabilité qu'une trajectoire soit préférée à une autre en fonction de leurs scores de récompense respectifs.
Algorithme EM pour IRL
Algorithme d'Expectation-Maximisation adapté à l'IRL qui estime alternativement la fonction de récompense et la politique optimale à partir des préférences observées.
Apprentissage par Renforcement avec Retour Humain
Paradigme d'apprentissage où un agent améliore sa politique en utilisant des signaux de rétroaction qualitatifs fournis par des humains plutôt que des récompenses numériques explicites.
Trajectoire de Politique
Séquence complète d'états, actions et récompenses générée par l'exécution d'une politique donnée dans un environnement d'apprentissage par renforcement.
Élicitation de Préférences
Processus systématique de collecte des préférences humaines à travers des comparaisons structurées, essentiel pour entraîner les modèles d'IRL à partir de préférences.
Optimisation de la Politique par Préférences
Méthode d'amélioration itérative de la politique d'un agent en utilisant directement les préférences humaines comme signal d'optimisation plutôt que les récompenses.
Apprentissage par Comparaison Paire
Technique d'apprentissage où le modèle est entraîné sur des paires d'exemples avec indication de préférence, plutôt que sur des étiquettes absolues.
Modèle de Récompense à partir des Préférences
Architecture neuronale entraînée à mapper les états et actions vers des scores de récompense cohérents avec les préférences humaines exprimées.
Alignement des Préférences Humaines
Objectif de l'IRL à partir de préférences visant à faire correspondre le comportement de l'agent aux valeurs et préférences implicites des humains.
Modèle de Préférence Ordinale
Approche de modélisation qui capture uniquement l'ordre relatif des préférences entre trajectoires sans nécessiter d'échelle numérique absolue des récompenses.
Échantillonnage Actif des Préférences
Stratégie d'interrogation intelligente qui sélectionne les comparaisons de trajectoires les plus informatives pour minimiser le nombre de préférences humaines nécessaires.
Inférence Bayésienne des Récompenses
Méthode probabiliste qui estime la distribution postérieure de la fonction de récompense étant donné les préférences observées et un a priori sur les récompenses.
Consistance des Préférences
Propriété garantissant que les préférences exprimées par les humains sont transitives et ne contiennent pas de cycles incohérents, essentielle pour un apprentissage stable.