Glosario IA
El diccionario completo de la Inteligencia Artificial
Modelos de Lenguaje Causal
Arquitectura Transformer predictiva que genera texto token por token condicionando cada predicción en los tokens anteriores, utilizada en modelos como GPT.
Modelos de Lenguaje Enmascarado
Enfoque de auto-supervisión donde los tokens son enmascarados en la entrada y el modelo debe predecirlos, permitiendo un aprendizaje bidireccional del contexto.
Modelos Vision-Transformer (ViT)
Adaptación de la arquitectura Transformer al procesamiento de imágenes, reemplazando las convoluciones por mecanismos de atención en parches de imágenes.
Modelos Multimodales
Transformers capaces de procesar y generar simultáneamente múltiples tipos de datos (texto, imagen, audio) utilizando espacios de embedding compartidos.
Embeddings de Tokens
Representaciones vectoriales densas de los tokens de entrada, aprendidas durante el pre-entrenamiento y que capturan información semántica y sintáctica.
Escala de Atención
Parámetro que controla la distribución de la atención en los modelos Transformer, influyendo en la concentración o dispersión del enfoque contextual.
Modelos de Difusión basados en Transformer
Integración de la arquitectura Transformer en el proceso de eliminación iterativa de ruido de los modelos de difusión, mejorando la coherencia global de la generación.
Retropropagación por Atención
Mecanismo que permite analizar e interpretar las decisiones de los modelos Transformer visualizando los pesos de atención entre los tokens.
Modelos de Base (Foundation Models)
Grandes modelos Transformer preentrenados en datos masivos, que sirven como punto de partida para diversas aplicaciones mediante fine-tuning o prompting.