Глоссарий ИИ
Полный словарь искусственного интеллекта
KV Cache
Оптимизация при инференсе, которая кэширует ключи (keys) и значения (values) предыдущих токенов, чтобы избежать пересчёта состояний внимания при каждой новой генерации токена.
RLHF (Reinforcement Learning from Human Feedback)
Парадигма выравнивания, в которой модель донастраивается с помощью обучения с подкреплением, используя вознаграждения, полученные из человеческих предпочтений, для калибровки её поведения.
Механизм Внимания Многоголовый
Расширение механизма внимания, где несколько голов параллельно вычисляют внимательные представления в различных спроецированных подпространствах, позволяя модели фокусироваться на разных аспектах последовательности.
Только Декодер (Decoder-Only)
Архитектура Transformer, состоящая исключительно из декодерных блоков с каузальным маскированием, оптимизированная для задач авторегрессионного моделирования и генерации языка.
Моделирование Плотности Вероятности
Фундаментальная цель языковых моделей, которые учатся оценивать условную вероятность P(token_t | tokens_<t) для каждой позиции в последовательности.