KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
Transformeur pour POMDP
Architecture de réseau neuronal basée sur le mécanisme d'attention, adaptée pour modéliser les dépendances temporelles longues et les croyances dans les environnements partiellement observables.
État de Croyance (Belief State)
Distribution de probabilité sur l'ensemble des états possibles de l'environnement, représentant l'incertitude de l'agent sur l'état réel compte tenu de l'historique des observations et des actions.
Mémoire Épisode
Séquence historique des paires (action, observation, récompense) que le transformeur utilise pour mettre à jour son état de croyance et décider de la prochaine action.
Décodeur de Politique (Policy Decoder)
Partie du modèle transformeur qui prend la représentation enrichie de l'historique (encodée par l'encodeur) pour générer une distribution sur les actions possibles.
Masquage Causal (Causal Masking)
Mécanisme dans les transformeurs qui empêche un token à une position donnée d'atténuer les tokens des positions futures, garantissant que la prédiction pour un pas de temps ne dépend que du passé.
Généralisation à Long Terme
Capacité d'un modèle, comme un transformeur, à utiliser des informations provenant d'un passé très lointain pour prendre des décisions pertinentes dans le présent, un défi majeur dans les POMDP.
Filtre de Particules Transformer
Approche hybride où un transformeur est utilisé pour améliorer l'étape de propagation ou de pondération dans un filtre à particules, une méthode d'inférence séquentielle pour les POMDP.
Représentation Latente de l'Historique
Vecteur ou tenseur de dimension fixe produit par l'encodeur du transformeur, qui résume de manière compacte et riche l'ensemble de l'historique des interactions de l'agent.
Agent Transformer
Reinforcement learning agent whose decision core is a transformer architecture, used to process the history of observations and generate a policy.