Glosario IA
El diccionario completo de la Inteligencia Artificial
Token enmascarado
Token en una secuencia de texto reemplazado por un símbolo especial durante el entrenamiento, forzando al modelo a aprender a predecir el token original.
BERT
Arquitectura revolucionaria de Transformer preentrenada que utiliza MLM para comprender el contexto bidireccional del lenguaje natural.
RoBERTa
Versión optimizada de BERT que elimina el Next Sentence Prediction y utiliza un enmascaramiento dinámico con hiperparámetros mejorados.
Atención bidireccional
Mecanismo que permite a cada token atender tanto a los tokens anteriores como a los siguientes en la secuencia, a diferencia de los modelos unidireccionales.
Embeddings de tokens
Representaciones vectoriales densas de los tokens de entrada que capturan sus características semánticas y sintácticas.
Enmascaramiento dinámico
Estrategia de enmascaramiento donde los tokens enmascarados cambian en cada época de entrenamiento, mejorando la robustez del modelo como en RoBERTa.
Enmascaramiento de palabras completas (WWM)
Técnica avanzada que enmascara todos los subtokens de una palabra completa en lugar de tokens individuales aleatorios.
Enmascaramiento de spans
Estrategia que enmascara secuencias contiguas de tokens de longitudes variables, imitando mejor los fenómenos lingüísticos naturales.
Estrategia de enmascaramiento
Conjunto de reglas que determinan qué tokens enmascarar, con qué probabilidad y cómo reemplazarlos durante el entrenamiento MLM.