Pré-entraînement pour le NLP

ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements)

Approche de pré-entraînement à deux étapes où un générateur remplace des tokens et un discriminateur identifie les tokens remplacés, plus efficace que le MLM traditionnel.

← Retour