Глоссарий ИИ
Полный словарь искусственного интеллекта
TabNet
Архитектура последовательной нейронной сети, разработанная специально для табличных данных, использующая механизм внимательного маскирования для интерпретируемого выбора релевантных признаков на каждом этапе принятия решения.
Маскирование с вниманием (Attentive Masking)
Механизм в основе TabNet, который учит последовательно маскировать нерелевантные признаки, позволяя модели сосредоточиться на наиболее информативных переменных для данного прогноза.
Последовательное обучение признакам (Sequential Feature Learning)
Процесс, с помощью которого TabNet изучает представление данных через несколько этапов, где каждый этап уточняет выбор признаков на основе информации предыдущих этапов.
Трансформатор признаков (Feature Transformer)
Модуль TabNet, который преобразует маскированные входные признаки в новое представление более высокой размерности, используя полностью связанные слои и функцию активации GLU.
GLU (Gated Linear Unit)
Функция активации, используемая в Feature Transformer TabNet, которая позволяет управлять потоком информации, умножая линейную проекцию на сигмоидальный вентиль, улучшая способность сети моделировать сложные отношения.
Агрегатор (Attentive Transformer)
Компонент TabNet, который генерирует маску внимания для следующего этапа принятия решения, основываясь на предыдущем состоянии и преобразованных признаках для определения того, где сосредоточить внимание.
Шаг принятия решения (Decision Step)
Основная единица обработки в архитектуре TabNet, объединяющая Feature Transformer и Attentive Transformer для создания частичного вывода и маски для следующего этапа.
Сеть последовательной регрессии (SER - Series Regression Network)
Теоретическая концепция, на основе которой TabNet черпает вдохновение, заключающаяся в моделировании сложного прогноза как серии более простых решений, каждое из которых уточняет конечный результат.
Категориальное кодирование с использованием эмбеддингов
Техника предварительной обработки категориальных переменных для TabNet, где каждая категория отображается на вектор низкой размерности, изучаемый во время обучения, что позволяет модели захватывать семантические отношения между категориями.
Нормализация по пакету (Batch Normalization)
Слой, применяемый в блоках TabNet для стабилизации и ускорения обучения путем нормализации активаций каждого пакета до нулевого среднего и единичной дисперсии.
Регуляризация разреженностью (Sparsity Regularization)
Техника, используемая в TabNet для поощрения маски внимания выбирать только небольшое количество признаков, способствуя созданию более простых и интерпретируемых моделей.
Архитектура с переменной глубиной (Variable Depth Architecture)
Свойство TabNet, при котором количество фактически используемых шагов принятия решений может варьироваться для каждого образца, поскольку модель может научиться останавливаться, когда информации достаточно для надежного прогноза.
Табличные данные
Тип структурированных данных, организованных в строки и столбцы, типичный для электронных таблиц или реляционных баз данных, для которых TabNet специально оптимизирован.
Устойчивость к отсутствующим признакам
Способность TabNet эффективно обрабатывать отсутствующие значения во входных данных, изучая их маскирование и адаптацию к ним без необходимости сложной предварительной импутации.
Обучение с подкреплением для маскирования
Теоретическая перспектива, при которой процесс последовательного маскирования в TabNet можно рассматривать как процесс принятия решений, где модель изучает политику выбора признаков для максимизации награды за точность.
Маскированная нейронная сеть (Masked Neural Network)
Класс нейронных сетей, примером которых является TabNet, которые используют изученные маски для динамического выбора подмножеств входов или нейронов, улучшая эффективность и интерпретируемость.