Glosario IA
El diccionario completo de la Inteligencia Artificial
Proyección Query-Key-Value
Transformaciones lineales aplicadas a las secuencias de entrada para generar los vectores queries, keys y values utilizados en el cálculo de atención.
Matriz de Atención Cruzada
Matriz de pesos de atención que representa las relaciones entre los tokens de la secuencia fuente y los tokens de la secuencia objetivo.
Atención Cruzada de Producto Escalar Escalado
Implementación matemática de la cross-attention utilizando el producto punto normalizado para calcular los scores de atención.
Normalización de Pesos de Atención
Aplicación de la función softmax a los scores de atención para obtener una distribución de probabilidades que suma a uno.
Capa de Atención Cruzada
Capa neuronal específica que implementa el mecanismo de cross-attention con sus propios parámetros aprendibles.
Cabeza de Atención Cruzada
Unidad de cálculo individual en multi-head cross-attention que opera en un subespacio de dimensión reducida de los embeddings.
Atención Cruzada Bidireccional
Configuración donde la atención fluye en ambas direcciones entre dos secuencias, utilizada en arquitecturas como BERT.
Conexión Residual de Atención Cruzada
Conexión residual aplicada después de la capa de cross-attention para facilitar el entrenamiento profundo y preservar el gradiente.
Normalización de Capa de Atención Cruzada
Normalización aplicada antes o después de la atención cruzada para estabilizar el entrenamiento y mejorar la convergencia.
Codificación Posicional de Atención Cruzada
Codificación posicional inyectada para proporcionar información de posición relativa entre tokens de diferentes secuencias.
Complejidad de Memoria de Atención Cruzada
Complejidad en memoria O(n²) para secuencias de longitud n y m, constituyendo el principal cuello de botella de los transformadores.
Flujo de Gradiente de Atención Cruzada
Propagación del gradiente a través de la matriz de atención durante la retropropagación, esencial para el aprendizaje de los pesos de atención.