Glosario IA
El diccionario completo de la Inteligencia Artificial
RoBERTa (Un Enfoque de Preentrenamiento BERT Optimizado Robusto)
Versión optimizada de BERT que modifica los hiperparámetros de entrenamiento y elimina la tarea de predicción de la siguiente oración (Next Sentence Prediction), resultando en un mejor rendimiento en muchas tareas de NLU.
Tarea Descendente (Downstream Task)
Tarea específica de aprendizaje automático (como NER, clasificación de texto, etc.) para la cual un modelo preentrenado es adaptado mediante fine-tuning.
Cabeza de Clasificación (Classification Head)
Capa final añadida a un modelo preentrenado durante el fine-tuning, específicamente diseñada para mapear las representaciones contextuales a las salidas de una tarea de clasificación o etiquetado de secuencias.
Etiquetado de Secuencias (Sequence Labeling)
Tipo de tarea NLP donde cada token de una secuencia de entrada recibe una etiqueta, como en NER donde los tokens son etiquetados como parte de una entidad o no.
Esquema de Etiquetado BIO
Convención de etiquetado para NER donde cada token es marcado como Beginning (inicio de una entidad), Inside (dentro de una entidad) o Outside (fuera de una entidad), para manejar entidades multi-token.
Enmascaramiento de Lenguaje (Masked Language Modeling)
Objetivo de preentrenamiento usado para modelos como BERT, donde un cierto porcentaje de tokens de entrada es enmascarado y el modelo aprende a predecirlos basándose en el contexto.
Hugging Face Transformers
Biblioteca de código abierto que proporciona miles de modelos preentrenados (BERT, RoBERTa, etc.) para el procesamiento del lenguaje natural, facilitando su uso y fine-tuning.
Puntuación F1 (F1-Score)
Métrica de evaluación que representa la media armónica de la precisión (precision) y la exhaustividad (recall), ofreciendo un equilibrio entre ambas para medir el rendimiento de un modelo de clasificación.