Pré-treinamento para PNL

ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements)

Abordagem de pré-treinamento em duas etapas onde um gerador substitui tokens e um discriminador identifica os tokens substituídos, mais eficiente que o MLM tradicional.

← Voltar