Glosario IA
El diccionario completo de la Inteligencia Artificial
Self-Attention
Mecanismo fundamental que permite a los transformers calcular dinámicamente la importancia relativa de cada elemento en una secuencia con respecto a los demás.
Atención Multi-Cabeza
Extensión de la auto-atención donde múltiples cabezas de atención operan en paralelo para capturar diferentes tipos de relaciones en los datos.
Codificación Posicional
Técnica que incorpora información de posición secuencial en los embeddings para compensar la ausencia de recurrencia en los transformers.
Arquitectura Codificador-Decodificador
Estructura fundamental de los transformers originales que combina un codificador para procesar la entrada y un decodificador para generar la salida.
BERT (Representaciones del Codificador Bidireccional)
Familia de modelos preentrenados basados en la arquitectura de solo codificador con comprensión bidireccional del contexto.
GPT (Generative Pre-trained Transformer)
Arquitectura solo-decodificador optimizada para la generación de texto auto-regresivo, formando la base de los grandes modelos de lenguaje.
Vision Transformers (ViT)
Aplicación de arquitecturas transformer al procesamiento de imágenes dividiendo las imágenes en parches y tratándolos como secuencias.
Mecanismos de Atención Dispersa
Variantes de atención que reducen la complejidad computacional limitando las conexiones entre elementos de la secuencia.
Cross-Attention
Mecanismo de atención donde las consultas provienen de una secuencia mientras que las claves y los valores provienen de otra secuencia diferente.
Leyes de Escalado de Transformers
Principios empíricos que describen cómo el rendimiento de los transformers evoluciona con el tamaño del modelo, los datos y el cómputo.
Análisis de Cabezas de Atención
Estudio de los roles especializados de las diferentes cabezas de atención en los transformers para comprender su funcionamiento interno.
Atención Jerárquica
Arquitectura de atención organizada en múltiples niveles jerárquicos para procesar datos estructurados complejos.