BERT et ses Variantes

ELECTRA

Arquitectura de preentrenamiento eficiente que reemplaza el masked language modeling por el reemplazo de tokens corruptos. Utiliza un discriminador que identifica los tokens reemplazados, permitiendo un entrenamiento más rápido y con mejor rendimiento.

← Volver