Глоссарий ИИ
Полный словарь искусственного интеллекта
Многоголовая Само-Внимание
Фундаментальный механизм, позволяющий модели одновременно фокусироваться на разных позициях последовательности с несколькими представлениями внимания.
Позиционное кодирование
Техника, позволяющая интегрировать информацию о позиции токенов в последовательности, поскольку Трансформеры не обладают внутренней рекурсией.
Архитектура Encoder-Decoder
Бидирекционная структура, где энкодер обрабатывает входную последовательность, а декодер генерирует выходную последовательность, используется в задачах перевода.
BERT и модели Masked LM
Предварительно обученные модели с целью маскирования токенов, революционизирующие NLP с двунаправленными контекстуальными представлениями.
GPT и авторегрессионные модели
Архитектура, основанная только на декодере, генерирует текст токен за токеном, предсказывая следующий токен на основе предыдущих.
Vision Transformers (ViT)
Адаптация Трансформеров для задач компьютерного зрения, обрабатывающая изображения как последовательности патчей.
Линейное и эффективное внимание
Варианты внимания, снижающие квадратичную сложность до линейной для эффективной обработки более длинных последовательностей.
Мультимодальные Трансформеры
Унифицированная архитектура, одновременно обрабатывающая несколько модальностей (текст, изображение, аудио) в едином пространстве представлений.
Тонкая настройка и инженерия промптов
Техники адаптации предварительно обученных моделей к конкретным задачам с малым количеством обучающих данных.
Интерпретируемость механизмов внимания
Изучение и визуализация весов внимания для понимания решений модели и выявления изученных зависимостей.
Трансформеры для аудио
Применение архитектур Transformer к задачам обработки аудио, распознавания речи и генерации музыки.
Разреженное внимание
Варианты внимания, учитывающие только подмножество позиций для снижения вычислительной сложности и использования памяти.