Глоссарий ИИ
Полный словарь искусственного интеллекта
Двунаправленное внимание
Тип внимания, в котором каждая позиция может обращаться ко всем другим позициям последовательности без ограничений, что позволяет улавливать полные контекстуальные зависимости в обоих направлениях.
Остаточные соединения
Соединения-ярлыки, которые добавляют вход слоя к его выходу, обеспечивая более глубокое обучение за счет облегчения потока градиентов и сохранения информации по множеству слоев Трансформера.
Головы внимания
Независимые параллельные подпространства в многоголовом внимании, где каждая голова учит различные паттерны внимания, позволяя модели одновременно улавливать различные типы синтаксических и семантических отношений.
Межмодальное внимание
Расширение перекрестного внимания, где запросы, ключи и значения поступают из разных модальностей (текст, изображение, аудио), позволяя мультимодальным моделям выравнивать и объединять информацию между различными сенсорными представлениями.
Тепловая карта внимания
Визуализация весов внимания в виде тепловой карты, показывающая, как модель распределяет свое внимание между различными частями входных данных, являющаяся ключевым инструментом для интерпретируемости моделей Трансформера.