Glosario IA
El diccionario completo de la Inteligencia Artificial
Mecanismo de Atención
Fundamento matemático que permite a los modelos ponderar la importancia relativa de los elementos en una secuencia de datos.
Autoatención
Mecanismo donde cada elemento de una secuencia calcula su atención con respecto a todos los demás elementos de la misma secuencia.
Atención de múltiples cabezas
Extensión de la atención que utiliza múltiples cabezas de atención en paralelo para capturar diferentes tipos de relaciones.
Codificación posicional
Técnica de incorporación de la posición secuencial de los elementos en los embeddings sin utilizar RNN.
Arquitectura codificador-decodificador
Estructura fundamental de los Transformers que separa el procesamiento de entrada (codificador) y la generación de salida (decodificador).
Escalado de atención
Normalización por raíz cuadrada de la dimensionalidad para estabilizar el entrenamiento y evitar los gradientes explosivos.
Atención cruzada
Mecanismo de atención entre dos secuencias diferentes, utilizado en tareas de traducción y multimodales.
Atención dispersa
Variante de atención calculada únicamente sobre un subconjunto de posiciones para reducir la complejidad computacional.
Máscaras de atención
Mecanismos de control que permiten enmascarar ciertas posiciones durante el cálculo de atención para evitar las fugas de información.
Transformadores de visión
Adaptación de la arquitectura Transformer a las tareas de visión por computadora tratando las imágenes como secuencias de parches.
Atención eficiente
Conjunto de optimizaciones destinadas a reducir la complejidad cuadrática de la atención estándar para secuencias más largas.
Atención jerárquica
Estructura de atención multinivel capturando relaciones a diferentes escalas jerárquicas en los datos.