Глоссарий ИИ
Полный словарь искусственного интеллекта
AutoInt
Архитектура глубокой нейронной сети, разработанная для автоматического моделирования взаимодействий признаков высокого порядка в табличных данных с использованием механизма многоголового внимания.
Механизм многоголового внимания
Модуль, который позволяет модели одновременно концентрироваться на различных позициях входной последовательности, обучая несколько представлений внимания параллельно для фиксации сложных зависимостей.
Взаимодействие признаков высокого порядка
Нелинейная комбинация трёх или более входных переменных, фиксация которой имеет ключевое значение для повышения прогностической способности моделей на сложных структурированных данных.
Внедрение признаков
Плотное векторное представление низкой размерности категориальных признаков, позволяющее модели обрабатывать эти переменные как непрерывные входы и изучать их семантические отношения.
Сеть взаимодействий
Подсеть внутри AutoInt, ответственная за явный расчёт взаимодействий между векторами внедрения признаков перед применением механизма внимания.
Значение внимания
Взвешенный балл, рассчитанный механизмом внимания, который количественно определяет важность конкретного признака или взаимодействия для окончательного прогноза модели.
Пулинг внимания
Операция агрегации, которая использует веса внимания для объединения представлений признаков, создавая вектор контекста, подчёркивающий наиболее релевантную информацию.
Обучение автоматическим взаимодействиям
Парадигма, в которой модель самостоятельно обнаруживает и иерархизирует релевантные взаимодействия признаков без необходимости ручного проектирования или априорной спецификации.
Вектор Запроса (Query Vector)
В механизме внимания, вектор, представляющий текущее состояние модели и используемый для вычисления совместимости с каждым вектором ключа (key).
Вектор Ключа (Key Vector)
Представление характеристики или кандидата на взаимодействие, используемое для сравнения с вектором запроса для определения уровня внимания.
Вектор Значения (Value Vector)
Вектор, содержащий фактическую информацию о характеристике, которая взвешивается по баллу внимания и агрегируется для формирования выхода механизма внимания.
Масштабированное Скалярное Произведение
Функция сходства, используемая во внимании для вычисления баллов, где скалярное произведение делится на квадратный корень из размерности векторов для стабилизации обучения.
Остаток и Нормализация Слоя
Техника архитектуры, где выход слоя добавляется к его входу (остаточное соединение), а затем нормализуется, облегчая обучение глубоких сетей, таких как AutoInt.
Перекрестное Взаимодействие (Cross Interaction)
Специальная операция в AutoInt, которая вычисляет взаимодействия между парами характеристик с использованием поэлементного умножения, за которым следует линейное преобразование.
Голова Внимания (Attention Head)
Один из множественных механизмов внимания, работающих параллельно в модуле многоголового внимания, каждый учится концентрироваться на различных аспектах взаимодействий характеристик.
Агрегация Голов
Процесс объединения или усреднения выходов всех голов внимания для формирования единого представления перед передачей на следующий слой.
Моделирование дальнодействующих зависимостей
Способность механизма внимания улавливать взаимосвязи между удаленными признаками в пространстве вложений, превосходя ограничения локальных моделей, таких как CNN.
Интерпретируемость с помощью карты внимания
Метод для визуализации и понимания решений модели путем анализа весов внимания, выявляющий, какие взаимодействия признаков были наиболее влиятельными.