Glosario IA
El diccionario completo de la Inteligencia Artificial
Arquitectura Seq2Seq
Modelo de aprendizaje profundo compuesto por un codificador y un decodificador diseñado para transformar secuencias de longitud variable en otras secuencias. Esta arquitectura se utiliza fundamentalmente para las tareas de traducción automática, resumen de texto y generación de diálogo.
Teacher Forcing
Estrategia de entrenamiento donde el decodificador recibe los verdaderos valores anteriores como entrada en lugar de sus propias predicciones, acelerando la convergencia. Esta técnica estabiliza el aprendizaje pero puede crear una divergencia entre entrenamiento e inferencia conocida como exposure bias.
Masking
Procedimiento consistente en enmascarar ciertas posiciones de las secuencias para evitar que el modelo procese información irrelevante o futura. El masking es esencial para gestionar secuencias de longitudes variables e impedir las trampas durante el entrenamiento auto-regresivo.
Vector de embedding
Representación vectorial densa de tokens discretos que captura las relaciones semánticas y sintácticas en un espacio continuo. Los embeddings se aprenden durante el entrenamiento y constituyen la entrada fundamental de los modelos de procesamiento de secuencias.
Unidad Recurrente con Puertas
Variante simplificada de los LSTM que utiliza dos puertas (actualización y reinicio) para regular el flujo de información con menos parámetros. Las GRU ofrecen un rendimiento comparable a los LSTM siendo más eficientes computacionalmente.
Búsqueda Voraz
Estrategia de decodificación que selecciona sistemáticamente el token con la probabilidad más alta en cada paso de generación. Aunque rápida, este enfoque puede conducir a soluciones subóptimas ya que no considera secuencias alternativas.
Bidireccionalidad
Capacidad del codificador para procesar la secuencia de entrada en ambas direcciones (adelante y atrás) para capturar el contexto completo. Los codificadores bidireccionales mejoran la comprensión semántica considerando tanto el contexto pasado como futuro.
Embeddings de subpalabras
Técnica de tokenización que divide las palabras en unidades morfológicas más pequeñas, permitiendo gestionar palabras raras y vocabulario abierto. Los embeddings de subpalabras como BPE o WordPiece se han convertido en el estándar en los modelos modernos.