Glosario IA
El diccionario completo de la Inteligencia Artificial
Preentrenamiento autosupervisado
Fase de entrenamiento inicial donde un modelo aprende representaciones generales sobre grandes cantidades de datos no etiquetados antes del ajuste fino en tareas específicas.
Preentrenamiento generativo
Enfoque de autosupervisión donde el modelo aprende generando o reconstruyendo datos, desarrollando una comprensión profunda de la distribución subyacente.
Aumento de datos autosupervisado
Generación automática de variaciones de muestras para crear pares positivos/negativos utilizados como señal de entrenamiento supervisado implícito.
Codificador bidireccional
Componente que utiliza el contexto pasado y futuro para codificar los tokens, crucial para las tareas de enmascaramiento en autosupervisión generativa.
Predicción de la siguiente oración
Tarea pretexto donde el modelo predice si dos oraciones siguen lógicamente, aprendiendo relaciones inter-oracionales sin supervisión externa.
Modelado de lenguaje causal
Tarea autosupervisada donde el modelo predice los tokens futuros basándose únicamente en el contexto pasado, a diferencia del MLM bidireccional.
Diseño de tareas pretexto
Ingeniería de las tareas pretexto óptimas para capturar las estructuras relevantes de los datos sin supervisión externa, clave del éxito de la autosupervisión.