BERT и его варианты

BART

Двунаправленная и авторегрессивная архитектура Transformer, объединяющая преимущества BERT и GPT. Использует кодировщик-декодер с искажением текста для предварительного обучения, отлично подходит для задач генерации.

← Назад