BERT et ses Variantes

TinyBERT

Version ultra-compacte de BERT réduisant les paramètres jusqu'à 7.5 fois tout en maintenant des performances élevées. Applique la distillation bidirectionnelle et une attention multi-niveaux pour la compression.

← Retour