Glosario IA
El diccionario completo de la Inteligencia Artificial
Autoatención multi-cabeza
Mecanismo fundamental que permite al modelo enfocarse simultáneamente en diferentes posiciones de la secuencia con múltiples representaciones de atención.
Codificación Posicional
Técnica que permite integrar información sobre la posición de los tokens en las secuencias, ya que las Transformaciones no poseen recursividad intrínseca.
Arquitectura Codificador-Decodificador
Estructura bidireccional donde el codificador procesa la secuencia de entrada y el decodificador genera la secuencia de salida, utilizada en tareas de traducción.
BERT y Modelos Masked LM
Modelos preentrenados con objetivo de enmascaramiento de tokens, revolucionando el PLN con representaciones contextuales bidireccionales.
GPT y Modelos Autorregresivos
Arquitectura basada únicamente en el decodificador que genera texto token por token, prediciendo el siguiente token en función de los anteriores.
Transformadores de Visión (ViT)
Adaptación de los Transformadores para tareas de visión por computadora, tratando las imágenes como secuencias de parches.
Atención Lineal y Eficiente
Variantes de atención que reducen la complejidad cuadrática a lineal para procesar secuencias más largas de manera eficaz.
Transformadores Multimodales
Arquitectura unificada que procesa simultáneamente múltiples modalidades (texto, imagen, audio) en un mismo espacio de representación.
Ajuste Fino y Ingeniería de Prompts
Técnicas para adaptar modelos preentrenados a tareas específicas con pocos datos de entrenamiento.
Interpretabilidad de los Mecanismos de Atención
Estudio y visualización de los pesos de atención para comprender las decisiones del modelo e identificar las dependencias aprendidas.
Transformadores para Audio
Aplicación de las arquitecturas Transformer a las tareas de procesamiento de audio, reconocimiento de voz y generación musical.
Atención Dispersa
Variantes de atención que consideran solo un subconjunto de posiciones para reducir la complejidad computacional y la memoria.