Arquitectura BERT

Pre-entrenamiento

Fase de entrenamiento no supervizado en amplios corpus donde BERT aprende representaciones lingüísticas generales a través de MLM y NSP. Esta etapa establece las bases de conocimiento del modelo antes del ajuste fino específico para tareas.

← Volver