Glosario IA
El diccionario completo de la Inteligencia Artificial
Máscara binaria
Matriz que contiene solo valores 0 y 1 donde 1 indica las posiciones a conservar y 0 las que se deben enmascarar, aplicada generalmente por multiplicación elemento a elemento antes o después de la atención softmax.
Máscara causal triangular
Estructura matricial triangular donde los elementos por encima de la diagonal están enmascarados, creando una dependencia temporal estricta en los modelos transformadores para tareas secuenciales.
Máscara de longitud variable
Máscara dinámica que se adapta a las longitudes variables de las secuencias en un lote, optimizando el cálculo ignorando las posiciones irrelevantes mientras se preserva la alineación del lote.
Máscara de relleno de claves
Máscara específica aplicada a las claves en el mecanismo de atención para evitar que los tokens de relleno influyan en los puntajes de atención, generalmente agregada antes de la operación softmax.
Máscara de consulta
Máscara aplicada a las consultas para restringir qué posiciones pueden realizar consultas de atención, utilizada en arquitecturas especializadas que requieren un control granular de las interacciones.
Máscara de valor
Máscara aplicada a los valores después del cálculo de atención para filtrar las contribuciones no deseadas, permitiendo un control fino post-atención de las representaciones de salida.
Enmascaramiento de pesos de atención
Técnica que consiste en aplicar una máscara directamente a los pesos de atención después del softmax para forzar ciertas contribuciones a cero, ofreciendo un control explícito sobre los caminos de información.
Máscara Softmax
Máscara aplicada añadiendo un valor negativo grande (generalmente -inf) a los puntajes de atención antes del softmax, garantizando que las posiciones enmascaradas reciban una probabilidad cercana a cero.
Máscara de Logits
Máscara aplicada a nivel de logits (puntuaciones de atención brutas) para excluir ciertas interacciones antes de la normalización softmax, preservando la distribución matemática de las puntuaciones válidas.