Глоссарий ИИ
Полный словарь искусственного интеллекта
Конкатенация и линейная проекция
Финальный этап multi-head attention, где выходы всех голов конкатенируются, а затем линейно проецируются для восстановления размерности модели, объединяя таким образом информацию из различных подпространств.
Каузальное внимание (Маскированное самовнимание)
Тип самовнимания, используемый в декодерах, где применяется маскированное внимание для предотвращения сосредоточения токена на будущих токенах, обеспечивая авторегрессивную природу модели.
Размерность головы (d_k)
Размерность векторов ключа и значения в каждой голове внимания, вычисляемая путем деления размерности модели на количество голов, влияющая на представительные возможности каждой головы.
Линеаризованное внимание
Семейство механизмов внимания, которые перезаписывают вычисление внимания, чтобы избежать материализации полной матрицы внимания, позволяя линейную сложность относительно длины последовательности.