BERT (Representaciones del Codificador Bidireccional)

Pre-training Objectives

Tareas auto-supervisadas (MLM y NSP) usadas para pre-entrenar BERT en grandes corpus no etiquetados, permitiendo el aprendizaje de representaciones lingüísticas generales.

← Volver