Глоссарий ИИ
Полный словарь искусственного интеллекта
Механизм внимания
Алгоритм, позволяющий моделям взвешивать важность различных элементов в последовательности.
Многоголовое самовнимание
Расширение механизма внимания, позволяющее улавливать различные отношения параллельно.
Позиционное кодирование
Техника внедрения позиционной информации в нерекуррентные модели.
Архитектура кодер-декодер
Фундаментальная структура трансформеров с двумя компонентами для обработки последовательностей.
BERT и его варианты
Семейство предобученных двунаправленных моделей для понимания языка.
GPT и генеративные модели
Авторегрессионные трансформеры, оптимизированные для генерации текста.
Тонкая настройка и адаптация к предметной области
Процесс адаптации предобученных моделей к конкретным задачам или предметным областям
Подсловная токенизация
Техники сегментации текста на значимые единицы для трансформеров.
Визуальные трансформеры
Применение архитектуры трансформера к задачам обработки изображений.
Трансформеры для длинных последовательностей
Оптимизированные архитектуры для обработки последовательностей, превышающих стандартные ограничения
Дистилляция моделей
Сжатие крупных трансформеров в меньшие и более эффективные модели.
Промпт-инжиниринг и обучение в контексте
Техники взаимодействия с большими моделями без явной донастройки.
Мультимодальные трансформеры
Архитектуры, объединяющие текст, изображения и другие модальности в единое целое.
Оптимизация и масштабируемость
Методы эффективного обучения трансформеров в большом масштабе.
Бенчмарки и оценка
Стандартные метрики и наборы данных для оценки производительности трансформеров.