Глоссарий ИИ
Полный словарь искусственного интеллекта
235
категории
2 988
подкатегории
33 628
термины
термины
Многоголовое самовнимание
Механизм внимания, который выполняет параллельно несколько функций внимания для захвата различных аспектов семантических отношений между токенами. Позволяет модели одновременно фокусироваться на разных позициях входной последовательности.
термины
Проекция выхода многоголового внимания
Финальный линейный слой, который объединяет выходы всех голов внимания в единую матрицу. Преобразует конкатенацию голов внимания в размеры, совместимые со следующими слоями.
🔍