Глоссарий ИИ
Полный словарь искусственного интеллекта
ALBERT
Облегченная версия BERT, значительно сокращающая количество параметров за счет совместного использования эмбеддингов и матричной факторизации слоев. Сохраняет конкурентоспособную производительность, будучи более эффективной с точки зрения использования памяти.
ELECTRA
Эффективная архитектура предварительного обучения, заменяющая маскированное языковое моделирование заменой искаженных токенов. Использует дискриминатор, который определяет замененные токены, что позволяет обеспечить более быстрое и производительное обучение.
ERNIE
Китайская модель, интегрирующая структурированные и иерархические знания в базовую архитектуру Transformer. Одновременно маскирует слова, сущности и фразы для захвата многоуровневой семантики.
BART
Двунаправленная и авторегрессивная архитектура Transformer, объединяющая преимущества BERT и GPT. Использует кодировщик-декодер с искажением текста для предварительного обучения, отлично подходит для задач генерации.
Funnel Transformers
Иерархическая архитектура, которая постепенно сокращает длину последовательностей по мере прохождения слоев, сохраняя при этом важную информацию. Значительно экономит вычислительную память при работе с длинными последовательностями.
DeBERTa
Улучшенная версия BERT, включающая улучшенное декодирование с раздельным вниманием к содержанию и позиции. Использует механизм раздельного внимания (disentangled attention) и улучшенное маскирование размера для повышения производительности.
TinyBERT
Ультракомпактная версия BERT, сокращающая количество параметров до 7,5 раз при сохранении высокой производительности. Применяет двустороннюю дистилляцию и многоуровневое внимание для сжатия.
CamemBERT
Французская версия BERT, предварительно обученная на 138 ГБ французского текста. Сохраняет исходную архитектуру BERT, но специализирована для понимания и обработки французского языка.
FlauBERT
Французская языковая модель на основе Transformer с прогрессивным предобучением, использующая всё более крупные корпуса. Интегрирует языковые особенности французского языка для оптимальной производительности.
XLM-RoBERTa
Многоязычная версия RoBERTa, предварительно обученная на 100 языках с использованием массивного набора данных Common Crawl. Превосходит XLM и mBERT благодаря улучшенному предобучению и лучшей обработке низкоресурсных языков.
Sentence-BERT
Модификация BERT, оптимизированная для кодирования целых предложений в семантические векторы. Использует сиамские и тройственные сети для создания релевантных эмбеддингов для семантического сходства.
VideoBERT
Мультимодальное расширение BERT, обучающее совместным представлениям видео и текста. Выполняет предобучение на визуальных и лингвистических токенах для понимания видео.
Controlled BERT
Вариант BERT, позволяющий контролировать атрибуты стиля при генерации текста. Интегрирует контроллеры в архитектуру для модуляции желаемых лингвистических характеристик.