Pre-entrenamiento para el NLP

ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements)

Enfoque de preentrenamiento de dos pasos donde un generador reemplaza tokens y un discriminador identifica los tokens reemplazados, más eficiente que el MLM tradicional.

← Volver