Глоссарий ИИ
Полный словарь искусственного интеллекта
Маскированное Внимание
Вариант самовнимания, используемый в декодере для предотвращения фиксации каждой позиции на последующих позициях, обеспечивая авторегрессионную генерацию и предотвращение утечки информации.
Двунаправленный Кодер-Декодер
Архитектура, в которой кодер обрабатывает входную последовательность в обоих направлениях (левый и правый контекст) для создания полного представления, в то время как декодер генерирует выход авторегрессионным способом.
Токенное Вложение
Плотное векторное представление каждого входного токена, изучаемое во время обучения, которое захватывает семантическую и синтаксическую информацию и служит отправной точкой для слоев внимания.
Косинусный Темп Обучения
Стратегия планирования темпа обучения, которая уменьшается по косинусной функции с начальной фазой разогрева, демонстрируя лучшую производительность сходимости для моделей Transformer.
Механизм Ключ-Значение-Запрос
Фундаментальная абстракция механизма внимания, где каждый токен проецируется в три вектора: запрос (что я ищу), ключ (что у меня есть) и значение (что я возвращаю), для вычисления весов внимания.