Glosario IA
El diccionario completo de la Inteligencia Artificial
DistilBERT (Distilled BERT)
Versión ligera de BERT creada por destilación de conocimiento, manteniendo el 97% del rendimiento de BERT base con solo el 40% de los parámetros para una inferencia más rápida.
Positional Embeddings
Vectores añadidos a los embeddings de tokens en BERT para codificar la posición secuencial, esenciales ya que la atención por sí sola no captura el orden de los tokens.
BERT-base vs BERT-large
Dos configuraciones principales de BERT: base (12 capas, 768 dimensiones ocultas, 110M parámetros) y large (24 capas, 1024 dimensiones, 340M parámetros) para diferentes compensaciones rendimiento/recursos.
Fine-tuning BERT
Proceso de adaptación de los pesos de BERT pre-entrenados a tareas específicas añadiendo capas de clasificación y entrenando con datos etiquetados de la tarea objetivo.
[SEP] Token
Token especial usado en BERT para separar diferentes segmentos de texto (como pares de frases en tareas QA o NSP), marcando los límites entre segmentos.
Pre-training Objectives
Tareas auto-supervisadas (MLM y NSP) usadas para pre-entrenar BERT en grandes corpus no etiquetados, permitiendo el aprendizaje de representaciones lingüísticas generales.
Transformer Encoder Stack
Arquitectura fundamental de BERT compuesta por múltiples capas de codificadores Transformer, cada una con mecanismos de atención multi-cabeza y redes feed-forward.
Domain-specific BERT
Variantes de BERT pre-entrenadas en corpus especializados (BioBERT para biomédico, SciBERT para científico, FinBERT para financiero) para mejor rendimiento en estos dominios.
BERT multilingüe (mBERT)
Versión de BERT preentrenada en 104 idiomas con vocabulario compartido, capaz de comprender y procesar texto en múltiples idiomas con un solo modelo.
BERTología
Campo de investigación dedicado al análisis, interpretación y mejora de modelos tipo BERT, estudiando sus comportamientos internos y capacidades lingüísticas.