Архитектура Encoder-Decoder

Механизм Ключ-Значение-Запрос

Фундаментальная абстракция механизма внимания, где каждый токен проецируется в три вектора: запрос (что я ищу), ключ (что у меня есть) и значение (что я возвращаю), для вычисления весов внимания.

← Назад