Glosario IA
El diccionario completo de la Inteligencia Artificial
Mecanismo de Atención
Concepto fundamental que permite a los modelos ponderar dinámicamente la importancia de las diferentes partes de una secuencia.
Arquitectura Transformer
Estructura neuronal revolucionaria basada exclusivamente en mecanismos de atención sin redes recurrentes.
Atención Multi-Cabeza
Extensión del mecanismo de atención que permite focalizar simultáneamente en diferentes posiciones con diferentes representaciones.
Codificación Posicional
Técnica de codificación de información de posición en secuencias para compensar la ausencia de recurrencia.
BERT
Modelo Transformer bidireccional preentrenado para la comprensión del lenguaje natural.
GPT
Série de modèles Transformer autoregressifs optimisés pour la génération de texte et le transfert d'apprentissage.
Vision Transformers
Adaptación de la arquitectura Transformer para tareas de visión por computadora tratando las imágenes como secuencias.
Atención de Producto Puntual Escalado
Implementación matemática eficiente del mecanismo de atención con normalización por la raíz cuadrada de la dimensión.
Transformers Jerárquicos
Arquitecturas Transformer multi-escala para manejar datos estructurados con relaciones jerárquicas.
Transformers Eficientes
Variantes optimizadas de los Transformers que reducen la complejidad computacional de cuadrática a lineal.
Transformers Audio
Aplicación de arquitecturas Transformer al procesamiento de señales de audio para el reconocimiento de voz y la generación musical.
Transformadores Multimodales
Modelos Transformer que integran simultáneamente múltiples modalidades como texto, imagen, audio y video.
Self-Attention
Mecanismo que permite que cada elemento de una secuencia interactúe con todos los demás elementos de la misma secuencia.
Cross-Attention
Mecanismo de atención entre dos secuencias diferentes, fundamental para tareas de traducción y multimodales.
Sparse Attention
Variantes de atención que calculan selectivamente los pesos para reducir la complejidad computacional.