Glosario IA
El diccionario completo de la Inteligencia Artificial
Pila de Codificadores
Apilamiento de capas idénticas que transforman la secuencia de entrada en representaciones ricas y contextuales, cada capa conteniendo atención y feed-forward.
Pila de Decodificadores
Arquitectura compuesta por capas que generan la secuencia de salida, utilizando atención enmascarada para prevenir fugas de información futura y atención cruzada con el codificador.
Atención Codificador-Decodificador
Mecanismo que permite al decodificador acceder y enfocarse en las representaciones del codificador para generar cada token de salida de manera informada.
Normalización de Capa
Técnica de estabilización del entrenamiento que normaliza las activaciones para cada posición, aplicada antes o después de las subcapas en la arquitectura transformer.
Autoatención Enmascarada
Variante de la autoatención utilizada en los decodificadores donde las posiciones futuras son enmascaradas para prevenir el uso de información no disponible durante la generación.
Atención de Producto Escalar Escalonado
Cálculo de atención que normaliza los productos escalares por la raíz cuadrada de la dimensión de las claves para estabilizar los gradientes durante el entrenamiento.
Cabezas de Atención
Subespacios independientes en la atención multi-cabeza, cada uno aprendiendo a enfocarse en diferentes tipos de relaciones y patrones en los datos.
Embedding de Token
Representación vectorial densa y continua de cada token de entrada, punto de partida de la arquitectura transformer antes de la adición de información posicional.