BERT и его варианты

TinyBERT

Ультракомпактная версия BERT, сокращающая количество параметров до 7,5 раз при сохранении высокой производительности. Применяет двустороннюю дистилляцию и многоуровневое внимание для сжатия.

← Назад