Glosario IA
El diccionario completo de la Inteligencia Artificial
Codificación de Posición
Técnica que añade información de posición absoluta o relativa a los embeddings de entrada para permitir que el modelo comprenda el orden de los tokens en una secuencia.
Normalización Pre-Capa
Variante de la normalización de capa aplicada antes de las subcapas de atención y feed-forward, mejorando la estabilidad de entrenamiento en Transformers profundos.
Normalización Post-Capa
Configuración original de la normalización de capa aplicada después de las subcapas de atención y feed-forward, combinada con conexiones residuales.
Normalización RMS
Variante eficiente de la normalización de capa que utiliza únicamente la raíz cuadrada media de las activaciones, reduciendo la complejidad computacional mientras mantiene el rendimiento.
Estructura Codificador-Decodificador
Arquitectura bidireccional compuesta por un codificador que procesa la secuencia de entrada y un decodificador que genera la secuencia de salida, base de los modelos Transformer.
Epsilon de LayerNorm
Parámetro de estabilidad numérica añadido en la normalización de capa para evitar la división por cero al calcular la varianza de las activaciones.