Arquitetura BERT

Pré-treinamento

Fase de treinamento não supervisionado em vastos corpora onde o BERT aprende representações linguísticas gerais através de MLM e NSP. Esta etapa estabelece as bases de conhecimento do modelo antes do ajuste fino específico para as tarefas.

← Voltar