Glosario IA
El diccionario completo de la Inteligencia Artificial
Matriz de Atención
Matriz cuadrada que representa los pesos de atención entre todos los pares de elementos de una secuencia, visualizando los patrones de interdependencia aprendidos por el modelo.
Atención Codificador-Decodificador
Mecanismo donde el decodificador atiende a las salidas del codificador, permitiendo la generación de secuencias condicionadas por una secuencia fuente en los modelos seq2seq.
Autoatención Enmascarada
Autoatención con enmascaramiento de posiciones futuras para evitar que los elementos vean información posterior, esencial en las tareas de generación de texto.
Normalización Softmax
Función de activación que transforma los puntajes de atención en una distribución de probabilidades, garantizando que la suma de los pesos de atención iguale 1 para cada posición.
Cabeza de Atención
Subcomponente de la atención multicabezal que realiza un cálculo de atención independiente con sus propios parámetros, capturando un tipo específico de relación secuencial.
Abandono de Atención
Regularización aplicada a los pesos de atención durante el entrenamiento, desactivando aleatoriamente algunas conexiones para prevenir el sobreaprendizaje de los patrones de atención.
Atención Multi-Escala
Variante de atención que procesa simultáneamente dependencias a diferentes escalas temporales o espaciales, combinando campos receptivos variados para una comprensión jerárquica.