BERT

RoBERTa

Variante optimisée de BERT éliminant l'objectif NSP, utilisant des mini-batchs dynamiques et un vocabulaire plus large, atteignant de meilleures performances sur plusieurs benchmarks.

← Retour