Glosario IA
El diccionario completo de la Inteligencia Artificial
Visualización de Pesos de Atención
Técnica gráfica que representa los valores numéricos de atención entre los tokens de una secuencia, utilizando intensidades de color o tamaño para cuantificar las relaciones de importancia.
Mapas de Calor
Representación matricial bidimensional donde los colores codifican la intensidad de los pesos de atención, permitiendo identificar rápidamente las zonas de alta concentración atencional.
Análisis de Cabezas de Atención
Estudio comparativo de los patrones de atención individuales en cada cabeza del mecanismo multi-cabeza, revelando las especializaciones funcionales y redundancias entre las cabezas.
Patrones de Atención Multi-Cabeza
Visualización simultánea de los diferentes mecanismos de atención en una capa Transformer, mostrando cómo cada cabeza captura tipos distintos de relaciones sintácticas o semánticas.
Matriz de Auto-Atención
Matriz cuadrada que representa los pesos de atención entre todos los pares de tokens de una misma secuencia, donde cada elemento (i,j) indica la influencia del token j sobre el token i.
Visualización de Atención Cruzada
Representación gráfica de los pesos de atención entre dos secuencias diferentes, típicamente utilizada en los modelos codificador-decodificador para visualizar las alineaciones fuente-objetivo.
Propagación de Atención
Método de propagación recursiva de los pesos de atención a través de las capas sucesivas para calcular la influencia acumulada de un token en las predicciones finales del modelo.
Flujo de Atención
Técnica de visualización que muestra cómo fluye la información a través de las capas Transformer trazando los caminos de influencia atencional entre los tokens.
Atención Basada en Gradientes
Enfoque que utiliza los gradientes de la salida con respecto a los pesos de atención para identificar las contribuciones más relevantes a la predicción del modelo.
Atención de Token a Token
Visualización directa de las relaciones de atención por pares entre tokens, permitiendo identificar las dependencias locales y globales en la secuencia de entrada.
Análisis de Atención por Capas
Examen comparativo de los patrones de atención a través de diferentes profundidades de la red, revelando la evolución de las representaciones abstractas de las capas inferiores a las superiores.
Trayectoria de Atención
Visualización temporal de la evolución de los pesos de atención durante la inferencia o el entrenamiento, mostrando cómo los patrones se estabilizan o cambian dinámicamente.
Mapas de Saliencia de Atención
Mapas de calor superpuestos en el texto de entrada para resaltar los tokens que reciben más atención, facilitando la interpretación de las decisiones del modelo.
Propagación de Atención
Técnica que traza cómo las señales de atención se propagan y amplifican a través de la red, revelando los caminos críticos para la toma de decisiones.
Proyección de Atención
Reducción dimensional de los pesos de atención de alta dimensionalidad hacia espacios 2D/3D visualizables, utilizando técnicas como t-SNE o UMAP para identificar clústeres de patrones similares.
Agrupamiento de Atención
Agrupamiento automático de patrones de atención similares para identificar comportamientos recurrentes o especializaciones funcionales en los mecanismos de atención.
Clasificación de Patrones de Atención
Categorización automática de los tipos de patrones de atención (sintácticos, semánticos, posicionales) basada en sus características estructurales y distribucionales.