Glosario IA
El diccionario completo de la Inteligencia Artificial
Decodificador-Solo
Estructura de red neuronal compuesta exclusivamente por bloques decodificadores Transformer, utilizada para tareas de generación de texto en modo auto-regresivo.
Preentrenamiento Auto-regresivo
Fase de entrenamiento en la que el modelo aprende las probabilidades condicionales de una secuencia maximizando la verosimilitud de predecir cada token dado su contexto.
Ajuste Fino por Instrucciones
Proceso de adaptación de un modelo preentrenado sobre un conjunto de datos de pares (instrucción, salida) para mejorar su capacidad de seguir comandos específicos.
Modelo Instruct (Modelo de Instrucciones)
Variante de un modelo base ajustado finamente para comprender y ejecutar mejor instrucciones, optimizado para diálogo y asistencia conversacional.
Decodificación mediante Búsqueda en Haz (Beam Search)
Algoritmo de decodificación heurística que mantiene un conjunto de 'k' secuencias candidatas más probables en cada paso para mejorar la coherencia de la generación.
Muestreo Núcleo (Nucleus Sampling / Top-p)
Técnica de muestreo que restringe la elección del siguiente token a un conjunto cuya probabilidad acumulada supera un umbral 'p', equilibrando diversidad y coherencia.
Temperatura de Decodificación
Parámetro que controla el grado de aleatoriedad en la generación dividiendo los logaritmos antes de aplicar la función softmax; valores altos aumentan la creatividad.
Codificación Posicional Absoluta
Método para incorporar la posición de un token en una secuencia, usando vectores senoidales fijos o aprendidos, esencial para modelos auto-regresivos.
Cache KV (Key-Value Cache)
Optimisation computationnelle qui stocke les clés et valeurs des tokens précédents pour éviter de recalculer les états d'attention lors de la génération auto-régressive séquentielle.
Few-Shot Learning (In-Context Learning)
Capacité d'un modèle à apprendre une nouvelle tâche à partir de quelques exemples fournis directement dans le contexte du prompt, sans mise à jour des poids du réseau.
Biais d'Exposition (Exposure Bias)
Phénomène où les modèles autorégressifs, entraînés à prédire le token suivant à partir de données réelles, accumulent des erreurs lors de l'inféquence car ils sont exposés à leurs propres prédictions erronées.