Глоссарий ИИ
Полный словарь искусственного интеллекта
Модели причинного языкового моделирования
Предсказательная архитектура Transformer, генерирующая текст токен за токеном, где каждое предсказание основывается на предыдущих токенах, используется в моделях таких как GPT.
Модели маскированного языкового моделирования
Подход самоконтролируемого обучения, где в входных данных маскируются токены, и модель должна предсказать их, что позволяет обучаться на двунаправленном контексте.
Модели Vision-Transformer (ViT)
Адаптация архитектуры Transformer для обработки изображений, заменяющая свёртки механизмами внимания на участках изображения.
Многомодальные модели
Трансформеры, способные обрабатывать и генерировать одновременно несколько типов данных (текст, изображение, аудио), используя общие пространства вложений.
Вложения токенов
Плотные векторные представления входных токенов, изучаемые во время предобучения и захватывающие семантическую и синтаксическую информацию.
Масштаб внимания
Параметр, контролирующий распределение внимания в моделях Transformer, влияющий на концентрацию или рассредоточение контекстуального фокуса.
Модели диффузии на основе Transformer
Интеграция архитектуры Transformer в итеративный процесс шумоподавления моделей диффузии, улучшающая общую согласованность генерации.
Обратное распространение через внимание
Механизм, позволяющий анализировать и интерпретировать решения моделей Transformer путём визуализации весов внимания между токенами.
Базовые модели (Foundation Models)
Большие модели Transformer, предварительно обученные на массивных данных, служащие отправной точкой для различных приложений с помощью тонкой настройки или промптинга.